[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN104123718B - 图像处理装置及方法 - Google Patents

图像处理装置及方法 Download PDF

Info

Publication number
CN104123718B
CN104123718B CN201410123175.1A CN201410123175A CN104123718B CN 104123718 B CN104123718 B CN 104123718B CN 201410123175 A CN201410123175 A CN 201410123175A CN 104123718 B CN104123718 B CN 104123718B
Authority
CN
China
Prior art keywords
mentioned
pixel
convex closure
image
marking area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410123175.1A
Other languages
English (en)
Other versions
CN104123718A (zh
Inventor
阮翔
卢湖川
佟娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN104123718A publication Critical patent/CN104123718A/zh
Application granted granted Critical
Publication of CN104123718B publication Critical patent/CN104123718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实现即使未提供与显著区域相关的先验信息，也能够有效地利用贝叶斯定理，从一张图像中高精度地检测显著区域的图像处理装置、图像处理方法、图像处理控制程序、以及记录介质。先验概率计算部件（123）以构成与周边的色距离大的超像素的各像素的先验概率高的方式计算显著区域的先验概率，似然度计算部件（126）计算显著区域的似然度，显著区域检测部件（127）使用上述先验概率和上述似然度，计算上述显著区域的后验概率。

Description

图像处理装置及方法
技术领域
本发明涉及用于检测图像的显著区域的图像处理装置、图像处理方法、图像处理控制程序、以及记录介质。
背景技术
以往，在图像处理的领域中，已知从图像检测（提取）在该图像中预想为人会关注的图像区域、或应关注的图像区域即显著区域的图像处理装置。此外，还进行使用这样的显著区域检测的技术而计算图像中的各点的显著程度（saliency measure），从而生成表示该图像的各点的显著程度的显著图图像。
这样的显著区域检测或显著区域检测的技术例如用于从图像检测被摄体。
那么，作为用于上述显著区域检测的算法，存在基于学习的算法以及基于物理模型的算法。
上述基于学习的算法使用大量图像的学习用数据库，使图像处理装置进行用于显著区域检测的学习之后，基于其学习结果进行显著区域检测。另一方面，上述基于物理模型的算法使用近似人或者其他物体的识别模型的算式而计算显著区域。
然而，在上述基于学习的算法中，图像处理装置的显著区域的检测性能依赖于学习用数据库的内容。但是，构筑显著区域的学习用数据库是困难的。
此外，在上述基于物理模型的算法中，需要使用近似人的识别模型的算式。但是，人的物理模型是复杂的，不能容易地以算式来表现。完整地定义人的物理模型根本就没有实现。
因此，例如，在专利文献1中，记载了不事先进行构筑图像的学习用数据库和定义识别模型，而是从图像提取显著区域，实现显著区域及其以外的区域之间的区域分割的显著区域视频生成装置。
具体而言，在上述显著区域视频生成装置中，根据构成输入视频的帧的输入图像，计算表示是显著区域的概率的显著区域先验概率图像、表示在显 著区域以及显著区域外的区域中分别包含的图像特征量的似然度的特征量似然度。并且，上述显著区域视频生成装置根据上述输入图像、上述显著区域先验概率图像、以及上述特征量似然度，提取表示上述输入图像的显著区域的显著区域图像。
由此，同文献中记载了：即使在关于某输入图像，完全没有提供与物体区域以及背景区域相关的先验信息的情况下，上述显著区域视频生成装置也能够从该输入图像提取显著区域，进行图像的区域分割。
此外，在非专利文献1以及非专利文献2中，公开了利用贝叶斯定理而计算显著程度（saliency measure）的方法。
现有技术文献
专利文献
专利文献1：（日本）特开2010－258914号公报（2010年11月11日公开）
非专利文献
非专利文献1：E.Rahtu,J.Kannala,M.Salo,and J.Heikkila,“Segmentingsalient objects from images and videos,”in Proceedings of European Conferenceon Computer Vision,2010
非专利文献2：Z.Tang,Z.Miao,Y.Wan,and J.Li,“Automatic foregroundextraction for images and videos,”in Proceedings of IEEE InternationalConference on Image Processing,2010
在专利文献1所述的上述显著区域视频生成装置中，为了提取上述显著区域图像，首先，根据构成输入视频的某时刻的帧的输入图像而生成先验概率图像。之后，基于根据上述某时刻的一个单位时间之前的输入图像而生成的显著区域图像，更新上述某时刻的先验概率图像。并且，使用更新后的先验概率图像，提取上述显著区域图像。
即，在上述显著区域视频生成装置中，为了从某输入图像提取显著区域，需要包含上述某输入图像的多个输入图像。因此，上述显著区域视频生成装置不能从静止图像提取显著区域图像。进而，存在以下问题：为了在显著区域的提取处理中处理多个输入图像，上述显著区域视频生成装置对于执行上述提取处理的运算装置的负荷大。
此外，在上述非专利文献1以及上述非专利文献2中，将显著区域的先 验概率假设为常数。
例如，在上述非专利文献1中，假设为规定的矩形窗（rectangular window）W中的像素分布（distribution of pixels）Z在矩形窗W的中心部（kernel）K以及周边部（border）B中具有常数的概率密度函数（probability density function）p。
因此，在非专利文献1中，图像的像素x的显著程度S0(x)仅依赖于中心部K以及周边部B中的特征量（feature）F(x)归一化后的频数分布（normalized histogram，归一化直方图）P(F(x)｜H0)以及P(F(x)｜H1)。H0、H1分别是在中心部K或者周边部B中包含的像素分布Z的事件（event）。
上述频数分布P(F(x)｜H0)以及P(F(x)｜H1)分别对应于显著区域的似然度、以及背景的似然度。
从而，上述非专利文献1中的显著程度S0(x)的计算结果与使用了仅依赖于似然度的一般的物理模型的计算结果等同。换言之，由于在上述非专利文献1中将上述概率密度函数（对应于先验概率）假设为常数，所以不能有效地利用与似然度的项一起还包含先验概率的项的贝叶斯定理。
发明内容
本发明是鉴于上述课题而完成的，其目的在于，实现即使完全没有提供与显著区域以及背景区域相关的先验信息的情况下，也能够有效地利用贝叶斯定理，从一张图像中高精度地检测显著区域的图像处理装置等。
本发明所涉及的图像处理装置是从图像中检测显著区域的图像处理装置，具备：像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相互相邻的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算部件，关于上述图像的各像素，计算上述显著区域可能性的先验概率；区域生成部件，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算部件，以越是具有与在上述像素小区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率，上述先验概率计算部件使在上述像素小区域图像中包含的像素小区域中，越是与相邻的像素 小区域的色距离更大的像素小区域，构成该像素小区域的各像素的上述先验概率越高。
此外，本发明的一个方式所涉及的图像处理方法是从图像中检测显著区域的图像处理方法，包含：像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类似的相互相邻的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算步骤，在上述像素小区域图像中包含的像素小区域中，以越是与相邻的像素小区域的色距离更大的像素小区域，关于构成该像素小区域的各像素，上述显著区域可能性的先验概率越高的方式，关于上述图像的各像素，计算上述先验概率；区域生成步骤，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算步骤，以越是具有与在上述显著区域含有区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率。
在此，角点是图像中显眼的点，一般而言，多在显著区域和背景的边界上产生。因此，通过连接上述角点之间而生成的显著区域含有区域中，显著区域的比例高。
根据上述的各结构，关于图像的各像素，计算显著区域可能性的先验概率。该先验概率用于在贝叶斯定理中求得显著区域可能性的后验概率。
如非专利文献1以及2所记载的那样，以往，使用贝叶斯定理求得显著区域的后验概率时，显著区域的先验概率被设为常数。因此，即使是与本发明相同地利用贝叶斯定理求得显著区域的后验概率的结构，以往的结构中的显著区域的先验概率没有本发明中的先验概率那样与特定的图像对应的精度高。其结果，以往的结构的显著区域的后验概率的精度也低。
另一方面，在本发明的一个方式所涉及的上述的各结构中，对每个图像的像素求得显著区域的先验概率。由此，比起以往，显著区域的先验概率与特定的图像对应的精度更高。
并且，其结果，将上述先验概率代入贝叶斯定理而得到的显著区域的后验概率也比以往精度高。换言之，在上述的各结构中，能够高精度地检测图像的区域。
此外，在上述的各结构中，提取显著区域时，仅需要一张图像。即，不需要像专利文献1所记载的以往的结构那样需要多张图像。
由此，还能够从由照相机拍摄的图像等静止图像提取显著区域，此外，与在显著区域提取处理时处理多张图像的以往的结构相比，能够以负担更小的处理进行显著区域提取。
像这样，根据本发明的一个方式，即使在完全没有提供与显著区域以及背景区域相关的先验信息的情况下，也能够从一张图像中高精度地提取显著区域。
另外，上述图像处理方法也可以通过计算机实现，此时，通过使计算机执行包含上述各步骤的处理，在计算机中实现图像处理方法的各步骤的图像处理程序以及将其记录的计算机能够读取的记录介质也包含于本发明的范畴。
进而，在本发明所涉及的图像处理装置中，也可以是以下结构：上述先验概率计算部件使越是相邻的其他像素小区域的面积更大的像素小区域，构成该像素小区域的各像素的先验概率越高。
根据上述的结构，关于某像素小区域，若处于该像素小区域的周围的像素小区域的面积更大，则该像素小区域中包含的像素的先验概率变得更高。
在此，像素小区域由颜色或者亮度值等类似的像素组构成。因此，在某像素小区域的面积大的情况下，在该像素小区域的区域内，颜色或者亮度值等为比较一定的较多的像素之间相邻。像这样，颜色或者亮度值等比较一定的区域大的情况表示该区域为图像中应关注的区域、即显著区域。
并且，在与某像素小区域相邻而存在作为显著区域的像素小区域的情况下，上述某像素小区域的区域也是显著区域的可能性高。
从而，根据上述的结构，能够使显著区域的可能性高的像素的先验概率提高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述先验概率计算部件使越是与上述图像的中心的距离更近的像素小区域，构成该像素小区域的各像素的先验概率越高。
根据上述的结构，接近图像的中心的像素的先验概率变高。另外，图像的中心部是该图像的显著区域的可能性高。
从而，根据上述的结构，能够使显著区域的可能性高的像素的先验概率 提高。
进而，本发明的一个方式所涉及的图像处理装置也可以是以下结构：还具备：边缘点校正部件，在上述像素小区域中包含的边缘点的数目为规定数以下的情况下，以越是上述边缘点的数目更多的像素小区域，构成该像素小区域的各像素的上述先验概率越低的方式进行校正，或在像素小区域中包含的上述边缘点的数目比规定数多的情况下，以构成该像素小区域的各像素的上述先验概率成为零的方式进行校正。
在此，图像的边缘（轮廓）点是临近的像素之间的对比度差大的点。在比较窄的区域内存在多个这样的边缘点的情况下，该区域是背景的可能性高。
根据上述的结构，由于构成边缘点的数目多的像素小区域的像素的先验概率降低，所以能够使显著区域的先验概率的精度提高。此外，关于边缘点的数目比规定数多的像素小区域，由于构成该像素小区域的像素的先验概率成为零，所以能够使显著区域的先验概率的精度进一步提高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述区域生成部件生成区域的各顶点的内角分别比180小的凸包区域作为上述显著区域含有区域，所述图像处理装置还具备：凸包区域调整部件，关于与上述凸包区域的至少一部分重合的上述像素小区域，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第一比例大的情况下，将该像素小区域的整体包含于上述凸包区域，另一方面，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第二比例小的情况下，将上述凸包区域之中与该像素小区域重合的部分从上述凸包区域去除，
上述似然度计算部件基于由上述凸包区域调整部件调整的凸包区域，关于上述图像的各像素，计算上述显著区域的似然度。
根据上述的结构，使用从图像提取的角点生成凸包区域。
此外，根据上述的结构，关于与所生成的凸包区域重合的超像素，根据构成该超像素的规定的比例以上的像素是否包含于上述凸包区域，调整凸包区域。
由此，调整后的凸包区域的轮廓与超像素的轮廓一致。像这样，通过调整凸包区域的形状，变得易于进行对由超像素构成的超像素图像的处理。
此外，根据上述的结构，越是具有与凸包区域内中包含的更多的像素的亮度值或者色度相同的亮度值或者色度的像素，显著区域的似然度越高。
在此，如上所述，凸包区域的显著区域的比例变高。这对调整后的凸包区域也同样。因此，认为凸包区域内中包含的像素的亮度值或者色度与显著区域的亮度值或者色度对应。
因此，根据上述的结构，能够使越是具有与凸包区域内的多数像素的亮度值或者色度相同的亮度值或者色度且包含于显著区域的可能性高的像素，显著区域的似然度越高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述凸包区域调整部件将在上述凸包区域中离上述图像的中心规定的距离以上的周边部中包含的部分，从上述凸包区域去除。
显著区域在图像的中心部存在的可能性高，在周边部存在的可能性低。
根据上述的结构，显著区域的可能性低的图像的周边部，从凸包区域被去除。由此，在凸包区域中，仅包含显著区域的可能性高的图像的中心部。
从而，认为根据上述的结构，能够使凸包区域中包含的显著区域的比例提高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的面积的其他凸包区域的面积的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上述凸包区域去除。
在有多个凸包区域部且这些凸包区域部之间的面积等同的情况下，这些凸包区域部每一个包含显著区域的可能性都高。
另一方面，在有多个凸包区域且这些凸包区域之间的面积有较大的差的情况下，较大的凸包区域部包含显著区域而较小的凸包区域是背景的可能性高。
根据上述的结构，认为由于将相对于其他凸包区域部的面积的比例比规定值小的凸包区域部从凸包区域去除，所以能够使凸包区域中包含的显著区域的比例提高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的平均先验概率的其他凸包区域的平均先验概率的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上述凸包区域去除。
上述平均先验概率是某凸包区域中包含的全部像素的先验概率的平均。
认为显著区域中包含的像素的先验概率与背景中包含的像素的先验概率相比更高。
根据上述的结构，比较两个凸包区域的平均先验概率之间，在相对于一方的凸包区域的平均先验概率的另一方的凸包区域的平均先验概率的比例比规定值小的情况下，将上述另一方的凸包区域从凸包区域去除。由此，认为由于背景的可能性高的上述另一方的凸包区域变得不是凸包区域，所以能够使凸包区域中包含的显著区域的比例提高。
进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在该凸包区域调整部件的调整后的上述凸包区域在上述图像的整体中占的比例比第一规定值大或比第二规定值小的情况下，上述凸包区域调整部件将该凸包区域调整部件的调整后的上述凸包区域恢复至调整前的凸包区域。
在通过凸包区域调整部件进行了凸包区域的调整后，该调整后的凸包区域过大的情况下，在调整的过程中凸包区域中包含的显著区域的比例变低的可能性高。
当凸包区域在图像中占的区域比某范围中包含的大小更大的情况下，凸包区域中所占的显著区域的比例低的可能性高。
根据上述的结构，在调整后的凸包区域的面积比规定的第一尺寸大的情况下，由于恢复至由凸包区域生成部件生成的凸包区域，所以能够抑制凸包区域中的显著区域的比例变小的可能性。
此外，在凸包区域图像中占的区域比某范围中包含的大小更小的情况下，凸包区域未包含显著区域的大部分的可能性高。
根据上述的结构，在调整后的凸包区域的面积比规定的第二尺寸小的情况下，由于恢复至由凸包区域生成部件生成的凸包区域，所以能够抑制凸包区域中不包含显著区域的可能性。
本发明的各方式所涉及的图像处理装置也可以通过计算机实现，此时，通过使计算机作为上述图像处理装置具备的各部件而动作从而在计算机中实现上述图像处理装置的图像处理装置的图像处理控制程序、以及将其记录的计算机能够读取的记录介质也包含于本发明的范畴。
以上那样，本发明所涉及的图像处理装置是从图像中检测显著区域的图像处理装置，具备：像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相互临近的像素构成的像素小区域设为单位结构的像 素小区域图像；先验概率计算部件，关于上述图像的各像素，计算上述显著区域可能性的先验概率；区域生成部件，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算部件，以越是具有与在上述像素小区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率，上述先验概率计算部件使在上述像素小区域图像中包含的像素小区域中，越是与相邻的像素小区域的色距离更大的像素小区域，构成该像素小区域的各像素的上述先验概率越高。
此外，本发明所涉及的图像处理方法是从图像中检测显著区域的图像处理方法，包含：像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类似的相互临近的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算步骤，在上述像素小区域图像中包含的像素小区域中，以越是与相邻的像素小区域的色距离更大的像素小区域，关于构成该像素小区域的各像素，上述显著区域可能性的先验概率越高的方式，关于上述图像的各像素，计算上述先验概率；区域生成步骤，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算步骤，以越是具有与在上述显著区域含有区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率。
由此，起到即使在完全没有提供与显著区域以及背景区域相关的先验信息的情况下，也能够有效地利用贝叶斯定理，从一张图像中高精度地检测显著区域的效果。
附图说明
图1是表示本发明的一个实施方式所涉及的图像处理装置的概略的结构的一例的功能框图。
图2是表示角点CP的具体例的图。
图3是表示凸包区域的具体例的图。
图4是表示图1所示的图像处理装置中的显著区域检测处理的流程的流程图。
图5是表示显著区域检测处理中先验概率计算处理的步骤的细节的流程图。
图6是表示显著区域检测处理中似然度计算处理的步骤的细节的流程图。
图7是表示使用本发明所涉及的显著区域检测的算法而生成的显著图的例的图。
图8是表示本发明所涉及的显著区域检测的算法的PR曲线的图表。
标号说明
1 图像处理装置
14 存储部
121 SP图像生成部件（像素小区域生成部件）
122 边缘检测部件（边缘点校正部件）
123 先验概率计算部件
124 凸包区域生成部件（区域生成部件）
125 凸包区域调整部件
126 似然度计算部件
127 显著图图像生成部件（显著区域检测部件）
具体实施方式
以下，参照图1～图7说明本发明的一个实施方式。
本发明以使用概率论估计显著区域为基本概念。详细地说，本发明所涉及的图像处理装置利用使用Bayesian理论（贝叶斯定理）的显著区域检测算法，实现高精度的显著区域检测。
以下，以式(1)表示上述贝叶斯定理。
【数1】
在式(1)中，
P＜F｜x＞表示像素x是显著区域的后验概率；
P(F)表示像素x是显著区域的先验概率；
P(B)＝(1－P(F))表示像素x是背景的先验概率；
P＜x｜F＞表示像素x的显著区域可能性（即，显著区域的似然度）；
P＜x｜B＞表示像素x的背景可能性。
在此，上述显著区域的先验概率是在未提供可能是显著区域的区域（相当于后述的凸包区域）的条件下，表示像素x的显著区域可能性的概率。
（图像处理装置1的结构）
以下，使用图1说明本发明所涉及的图像处理装置1的结构。同图是表示图像处理装置1的结构的功能框图。
如图1所示，图像处理装置1具备图像取得部11、控制部件12、输出部13、以及存储部14。
图像取得部11是从外部取得彩色的输入图像的部件。例示性地，图像取得部11根据用户的输入操作，从与图像处理装置1连接的数码照相机或数码摄像机等摄像装置，以实时（取得同步）或者非同步的方式取得输入图像。
但是，不特别限定输入图像的供应源。例如，图像取得部11可以取得存储部14中存储的图像数据作为输入图像，也可以从与图像处理装置1连接的周边设备取得输入图像，还可以经由有线或者无线的通信网络取得输入图像。
控制部件12是统一地控制图像处理装置1中的各种功能的部件。控制部件12的控制功能通过CPU（Central Processing Unit，中央处理单元）等处理装置执行控制程序而实现。
例如，控制部件12具备用于执行对从图像取得部11输入的输入图像的各种处理的功能以及结构。另外，控制部件12的详细的功能以及结构如后述。
输出部13是对外部输出控制部件12的输入图像的处理结果的部件。例如，输出部13也可以对各种图像应用输出上述处理结果。
存储部14是存储各种数据以及程序的部件。存储部14例如能够通过组合ROM（ReadOnly Memory，只读存储器）、RAM（Random Access Memory，随机存取存储器）、以及非易失性存储器（例如闪速存储器）等存储装置而实现。
在存储部14中，存储例如控制部件12中执行的程序、或该程序中处理的各种数据等。
（控制部件12）
接着，使用图1～图3分别说明控制部件12的各部。
如图1所示，控制部件12是包含SP图像生成部件（像素小区域生成部件）121、边缘检测部件（边缘点校正部件）122、先验概率计算部件123、凸包区域生成部件（区域生成部件）124、凸包区域调整部件125、似然度计算部件126、以及显著图图像生成部件（显著区域检测部件）127的结构。
SP图像生成部件121是将从图像取得部11取得的输入图像作为源图像，根据以像素为单位的源图像，生成以超像素（SP）为单位的超像素图像（SP图像）的部件。另外，关于超像素，以之后的补充进行说明。
边缘检测部件122是在由SP图像生成部件121生成的超像素图像中，计算各超像素的边缘点（轮廓点）的数目的部件。在此，边缘点是临近的像素之间的对比度差大的点。
此外，边缘检测部件122基于包含该像素k的超像素的边缘点的数目，校正由下述的先验概率计算部件123计算出的像素k的先验概率。
先验概率计算部件123是关于源图像的各像素k，计算显著区域的先验概率的部件。
凸包区域生成部件124是从图像检测角点（corner point），在图像内生成包含上述角点的至少一部分的、凸状的凸包区域（convex hull）的部件。在此，凸状意味着图形的各顶点的内角比180度小。
详细地说，凸包区域生成部件124将上述角点设为顶点，通过以直线连接这些角点之间，生成上述凸包区域。
另外，角点是图像中“显眼的点”。一般而言，这样的角点多在显著区域和背景的边界上产生。因此，通过连接上述角点之间而生成的凸包区域包含显著区域的可能性高。
特别是，在凸包区域生成部件124以包含图像中的全部的角点的方式生成了凸包区域的情况下，在上述凸包区域内包含显著区域的概率变得最高。
在本实施方式中，如图2所示，凸包区域生成部件124将源图像中两根以上的对比度线交叉的点、所谓哈里斯点（harris point）检测为角点（CP）。
图3表示由凸包区域生成部件124生成的凸包区域的具体例。在同图中，四张图像所示的多边形分别相当于凸包区域。另外，图像中的凸包区域都是五边形，但本发明不限于此。即，凸包区域是具有三个以上的顶点的凸状的 多边形即可。
凸包区域调整部件125是调整由凸包区域生成部件124生成的凸包区域，在图像中计算具有可能是显著区域的特征量的区域的部件。
似然度计算部件126是关于源图像的各像素x，计算显著区域的似然度的部件。
显著图图像生成部件127是使用由边缘检测部件122以及先验概率计算部件123计算出的关于各像素的显著区域的先验概率、和由似然度计算部件126计算出的关于各像素的显著区域的似然度，生成与源图像对应的表示显著区域的似然度的概率图像的部件。
进而，显著图图像生成部件127生成上述概率图像被平滑后的显著图图像。
（显著区域检测处理的流程）
接着，使用图4～图6说明由图像处理装置1的控制部件12执行的显著区域检测处理的流程。
图4是表示由控制部件12执行的显著区域检测处理的流程的流程图。此外，图5是表示图4所示的显著区域检测处理中的先验概率计算处理（S2）的步骤的细节的流程图。此外，图6是表示图4所示的显著区域检测处理中的似然度计算处理（S3）的步骤的细节的流程图。
首先，使用图4说明基于本发明所涉及的显著区域检测处理的显著区域检测处理的概略的流程。如同图所示，显著区域检测处理包含四个步骤：输入图像的读入（S1）、先验概率计算处理（S2）、似然度计算处理（S3）、以及显著区域检测处理（S4）。
上述显著区域检测处理中，控制部件12在取得了作为源图像的输入图像（S1）之后，使用根据该源图像生成的超像素图像，进行计算源图像的像素k是显著区域的概率Pk(F)的先验概率计算处理（S2）。
接着，控制部件12进行计算像素k的显著区域可能性、即像素k与显著区域相似的程度（似然度）的似然度计算处理（S3）。由此，得到表示源图像中显著区域可能性的频数分布的概率图像。
最后，控制部件12进行对上述概率图像进行平滑而生成显著图（saliency map）图像的显著区域检测处理（S4）。
以下，按顺序说明显著区域检测处理的S2～S4的三个步骤的各个的细 节。
（1.先验概率计算处理（S2））
在此，使用图5所示的流程图，说明基于本发明所涉及的先验概率计算算法的先验概率计算处理（S2）的流程。
如图5所示，在先验概率计算处理（S2）中，首先，SP图像生成部件121根据源图像生成多尺度超像素图像（以下，简单地简写为超像素图像）（S201）。
之后，先验概率计算部件123对源图像的各像素k，计算表示该像素k的显著区域可能性的先验概率（S202）。
接着，边缘检测部件122检测源图像的边缘点（S203），使用上述边缘点的信息来校正后述的式(4)的F(ri m)（S204）。
以上的步骤S201～S204的各处理关于源图像的全部像素执行（S205）。
（S202；计算像素的先验概率）
在步骤S202中，先验概率计算部件123对源图像的各像素k，使用以下的式(2)～式(4)，计算表示该像素k的显著区域可能性的先验概率（S202）。
【数2】
在此，
【数3】
【数4】
在式(2)中，
Pk(F)表示像素k是显著区域的先验概率；
M表示超像素图像的尺度数；
m表示超像素的尺度序号；
rk m表示包含像素k的尺度序号m的图像区域中包含的超像素。
此外，在式(3)中，
Dk m是用于对式(4)所示的F(ri m)进行归一化的归一化参数；
ε是为了防止Dk m的分母为零而加上的微小的值；
Ik是像素k的亮度值或者色度；
Ic(rk m)是包含像素k的尺度序号m的图像区域中包含的超像素的中心像素的亮度值或者色度。
此外，在式(4)中，
dc表示第i个超像素和图像的中心之间的坐标距离；
d(ri,rj)表示第i个超像素和第j个超像素的色距离；
Nm表示与第i个超像素相同的尺度m中包含的超像素的数目；
wj m表示与第i个超像素相同的尺度m中包含的超像素的总面积中的、第j个超像素的面积比例。
在此，作为上述面积比例的第一计算方法，也可以使用在第i个超像素的周围的一定范围内存在的超像素作为尺度m中包含的超像素而计算。此时，m与在第i个超像素的周围的一定范围内存在的超像素的数目对应。此外，作为上述面积比例的第二计算方法，也可以使用第i个超像素以外的全部的超像素作为尺度m中包含的超像素而计算。此时，尺度数M成为1。其中，从重视计算量和本地信息的观点来看，优选以第一计算方法计算上述面积比例。另外，能够基于选择能够导出更正确的显著区域的范围的判断基准，根据使用了多个图像的显著区域的计算结果，从经验上得到第一计算方法中的上述一定范围。
在此，在该图像为矩形的情况下，上述图像的中心可以是连接该图像的上下的边的中点之间的线段、和连接左右的边的中点之间的线段的交点。或者，在任意形状的图像中，上述图像的中心也可以是构成图像的全部像素的重心。
另外，上述尺度数M是，将超像素图像中包含的超像素按照包含一个以上的超像素的尺度m分类时的、上述尺度m的总数。
一个尺度例如包含相互连接的多个超像素。
根据式(4)，色距离（d(ri,rj)）越大则F(ri m)的值越大。从而，与同一个尺度m中包含的周边的超像素的色距离越大，或与多个超像素的色距离越大， 则第i个超像素的显著区域的先验概率越高。进而，上述先验概率还依赖于相同的尺度内包含的超像素的数目Nm。
此外，根据式(4)，处于第i个超像素的周边的第j个超像素的面积比例wj m越大则F(ri m)的值越大，即第i个超像素的先验概率越高。
从别的角度来看，根据面积比例wj m，对上述色距离（d(ri,rj)）加权。从而，可以说相对于上述面积比例大的超像素的色距离越大，则第i个超像素的先验概率越高。
另外，色距离（d(ri,rj)）也可以是例如在LAB色空间中定义的颜色之间的距离。
进而，根据式(4)，坐标距离dc越大则F(ri m)的值越小。从而，从上述图像的中心测量出的坐标距离越大，则第i个超像素的显著区域的先验概率越低。
（S203－S204；基于边缘点的校正）
在一般的图像中，与显著区域相比，背景存在更多的边缘点的情况较多。因此，边缘点的数目多的区域、特别是超像素，包含于背景的可能性高。
从而，基于边缘点的数目进行区分显著区域和背景的校正，从而能够使显著区域的先验概率的精度提高。
因此，在先验概率计算处理（S2）的步骤S203～S204中，边缘检测部件122检测源图像的边缘点，使用上述边缘点的信息，进行上述F(ri m)的校正。
以下，使用式(5)具体说明边缘检测部件122根据边缘点的信息来校正上述F(ri m)的方法。
【数5】
在此，edn(i)是第i个超像素具有的边缘点的数目。
边缘检测部件122基于式(5)，校正F(ri m)的值。
根据式(5)，edn(i)越增大，则F(ri m)的值以指数函数的方式减少。这表示边缘检测部件122使越是在边缘点的数目多的超像素中包含的像素，显著区域的先验概率越低。
此外，根据式(5)，在edn(i)比阈值T大的情况下，显著区域的先验概率 F(ri m)成为0。这表示边缘检测部件122在（第i个）超像素具有的边缘点的数目比阈值T多的情况下，将该超像素中包含的像素的先验概率设为零。
（2.似然度计算处理（S3））
接着，使用图6所示的流程图，说明基于本发明所涉及的显著区域检测算法的似然度计算处理（S3）的流程。
如图6所示，在似然度计算处理（S3）中，首先，凸包区域生成部件124从源图像检测角点（S301）。
接着，凸包区域生成部件124生成凸包区域（S302）。详细地说，凸包区域生成部件124生成从源图像选择三个以上的角点而构成的一个或者多个凸包区域。另外，在源图像的角点的总数小于三个的情况下，凸包区域生成部件124将图像整体设为凸包区域。
之后，凸包区域生成部件124生成根据源图像生成的超像素图像（S303）。
另外，凸包区域生成部件124也可以代替生成凸包区域，而利用在先验概率计算处理（S2）中生成的超像素图像。
接下来，凸包区域调整部件125根据以下的基准，调整由凸包区域生成部件124生成的凸包区域（S304）。
（a）基准1；将在源图像的周边部存在的像素从凸包区域去除。在此，上述周边部可以是离前述的图像的中心规定的距离以上的图像区域。
（b）基准2；关于与凸包区域的至少一部分重合的超像素，在上述超像素中包含的像素之中，上述规定的比例以上的像素包含于凸包区域中的情况下，将上述超像素中包含的全部像素包含于凸包区域。另一方面，在上述超像素中包含的像素之中，上述规定的比例以上的像素没有包含于凸包区域中的情况下，将上述超像素中包含的全部像素从凸包区域去除。
（c）基准3；作为图像的凸包区域，存在多个上述凸包区域，在相对于某凸包区域的面积的其他凸包区域的面积的比例比规定值小的情况下，将上述其他凸包区域从上述凸包区域去除。
（d）基准4；作为图像的凸包区域，存在多个上述凸包区域，在相对于某凸包区域的平均先验概率的其他凸包区域的平均先验概率的比例比规定值小的情况下，将上述其他凸包区域从上述凸包区域去除。在此，上述平均先验概率是在某凸包区域中包含的全部像素的先验概率的平均。
（e）基准5；在基于基准1～基准4调整的凸包区域在上述图像的整体 中占的比例比第一规定值大或比第二规定值小的情况下，将上述调整后的凸包区域恢复至调整前的凸包区域。
根据以上的基准1～基准5，完成凸包区域的调整。另外，调整后的凸包区域也可以不是凸状。
在本实施方式的显著区域检测算法中，凸包区域调整部件125的调整后的凸包区域作为假设的显著区域而处理。
从而，在调整后的凸包区域内存在的像素的特征量（亮度值/色度等）由于成为假设的显著区域的特征量，所以越是具有与该特征量接近的特征量的像素，显著区域的似然度越高。
接下来，似然度计算部件126基于以下的式(7)，关于源图像的各像素x，计算显著区域的似然度P＜x｜F＞以及背景的似然度P＜x｜B＞（S305）。
【数6】
【数7】
在式(6)以及式(7)中，
(L，a，b)的各元素表示LAB色空间中的各信道；
NF表示（调整后的）凸包区域内的全部像素数；
NB表示凸包区域外的全部像素数；
fL(xL)表示像素x的亮度值L在凸包区域中包含的全部像素的亮度值中产生的频率；
fα(xα)以及fβ(xβ)分别表示像素x的色度α或者β（β为α的补色）在凸包区域中包含的全部像素的色度中产生的频率。
此外，bL(xL)、bα(xα)以及bβ(xβ)分别表示位于像素x的像素的亮度值L或 者色度α、β在凸包区域外存在的全部像素的亮度值或者色度中产生的频率。
根据式(7)，像素x的亮度值/色度与调整后的凸包区域中包含的像素的亮度值/色度一致的频率越多，则该像素x是显著区域的似然度越高。另一方面，像素x的亮度值/色度与调整后的凸包区域中未包含的像素的亮度值/色度一致的频率越多，则该像素x是背景的似然度越高。
（3.显著区域检测处理（S4））
在显著区域检测处理（S4）中，显著图图像生成部件127使用由边缘检测部件122以及先验概率计算部件123计算出的上述先验概率、和由似然度计算部件126计算出的上述显著区域的似然度，生成表示源图像的显著程度的显著图图像。
详细地说，显著图图像生成部件127首先，通过对式(1)代入式(2)、式(6)、以及式(7)的计算结果，计算源图像的像素x是显著区域的后验概率P＜F｜x＞。
像这样，显著图图像生成部件127通过对源图像的各像素x分别求得上述后验概率，从而生成对源图像的各像素x和上述后验概率进行关联的概率图像。
之后，显著图图像生成部件127对上述概率图像进行平滑，从而生成上述显著图图像。另外，用于对上述概率图像进行平滑的处理方法不特别限定，例如能够使用引导滤波器（guided filter）。
在图7中，表示基于本发明所涉及的显著区域检测算法生成的显著图图像的例。同图中，左端的列的各图像分别是用于生成显著图图像的样本图像。
在图7中，从右端起第二列的各图像是从处于相同的行的上述样本图像，基于本发明所涉及的显著区域检测算法生成的显著图图像。
此外，在图7中，右端的列的各图像是从相同的行的上述样本图像，由人提取应关注的区域、即正确的显著区域（白色的区域）的黑白图像。
进而，在图7中，从左端起第二列，作为对本发明的比较例，还表示基于本发明所涉及的显著区域检测算法以外的算法生成的比较用显著图图像。
若观看图7，则可知基于本发明所涉及的显著区域检测算法生成的显著图图像与上述比较用显著图图像相比，接近白色的区域、即显著程度高的区域与上述黑白图像中的白色的区域（即正确的显著区域）非常一致。
这表示根据本发明所涉及的显著区域检测算法，能够比以往精度更高地 计算显著程度。
（与非专利文献的差异）
以上那样，本发明所涉及的显著区域检测算法是利用Baysian理论（贝叶斯定理），从图像中计算显著程度的算法。
另一方面，在非专利文献1以及非专利文献2中，公开了利用贝叶斯定理计算显著程度（saliency measure）的方法。
但是，如前述那样，在上述非专利文献1以及上述非专利文献2中，将显著区域的先验概率假设为常数。
从而，上述非专利文献1中的显著程度S0(x)的计算结果与使用了仅依赖于似然度的一般的物理模型的计算结果等同。换言之，在上述非专利文献1中，由于将上述概率密度函数（对应于先验概率）假设为常数，所以不能有效地利用与似然度的项一起还包含先验概率的项的贝叶斯定理。
另一方面，在本发明所涉及的先验概率计算算法中，与上述非专利文献1以及上述非专利文献2不同，关于源图像的各像素分别计算显著区域的先验概率。
从而，能够求得比以往更准确的先验概率。此外，其结果，能够求得比以往更准确的后验概率。即，根据本发明，能够有效地利用贝叶斯定理，比以往更精密地计算显著程度。
（本发明的显著区域检测的精度）
发明人为了评价本发明所涉及的显著区域检测算法，关于某图像，计算了使用该显著区域检测算法而检测的显著区域的PR（Precision-Recall，适合率-再现率）曲线。并且，发明人根据PR曲线，确认了上述显著区域检测算法与其他算法相比，在显著区域的检测中更优良（参照图8）。
图8是表示基于本发明所涉及的显著区域检测算法计算出的PR曲线的图表。在同图中，表示为proposed的图表是本发明所涉及的显著区域检测算法的PR曲线。另外，在图8中，为了比较，还表示了几个不是本发明所涉及的显著区域检测算法的其他算法的PR曲线。
根据图8，可知表示为上述proposed的PR曲线的适合率（precision）以及再现率（recall）的值与其他PR曲线相比更高。这表示本发明所涉及的显著区域检测算法能够比上述其他算法精度更高地检测显著区域。
具体而言，PR曲线能够如以下那样生成。首先，在图7所示的显著图图 像中，设定规定的阈值α，若后验概率P(F｜x)＞α则对应于P’(x)＝1，若P(F｜x)≤α则对应于P’(x)＝0，从而生成2值图像。在此，在所生成的2值化图像中，P’(x)＝1的区域对应于显著区域，P’(x)＝0的区域对应于背景。使用以上那样的2值图像的生成方法，将阈值α在一定的范围内（例如，0至255）阶段性地变更，并对各阈值α分别生成2值化图像。并且，能够根据所生成的各2值化图像，分别得到一组适合率和再现率。根据这样从多个2值化图像得到的多个适合率和再现率，生成PR曲线。
（关于PR曲线）
PR曲线成为表示计算显著区域的算法的精度的指标，表示适合率（Precision）和再现率（Recall）之间的关系。
在此，适合率是在根据源图像执行显著区域的检测时的检测结果A中包含的正确的显著区域C的比例（C/A）。此外，再现率是在正确的显著区域的整体B中的上述显著区域C的比例（C/B）。
观看图8所示的PR曲线的图表，再现率越接近0，即区域B中的区域C的比例越小，适合率越接近1。这表示若所要求的再现率小，则能够使得检测结果A能够大部分包含于区域B。
此外，在图8中，再现率为1时，适合率成为0.2。该适合率的值对应于图像整体中的显著区域的大小的比例（20％）。这表示为了完整地检测区域B，需要将图像整体设为检测结果A（凸包区域）。此外，表示无论区域B为任何形状，在检测结果A为图像整体的情况下，也完整地检测区域B。
[补充]
以下，作为补充而说明超像素。
（关于超像素）
在图像中，将由颜色或者亮度等各种参数的值相互类似且连接的多个像素构成的像素区域称为超像素。为了将以根据以像素为单位的源图像生成的超像素为单位的图像与源图像区分，称为超像素图像。
通过进行使用超像素图像代替源图像的图像处理，能够大幅度削减处理的数据量，或抑制上述各种参数（亮度、颜色等）的噪声。
作为超像素图像的生成算法，已知多个生成算法。无论哪个生成算法，都依赖于所使用的参数，所生成的超像素图像中包含的超像素的总数不同。
另外，通过使用多个参数而不是一个参数，从而还能够关于相同的图像 生成多个超像素图像。这样生成的超像素图像被称为多尺度超像素图像。
［软件的实现例］
最后，图像处理装置1的各块可以通过在集成电路（IC芯片）上形成的逻辑电路而以硬件的方式实现，也可以使用CPU（Central Processing Unit，中央处理单元）而以软件的方式实现。
在后者的情况下，图像处理装置1具备：执行实现各功能的程序的命令的CPU、存储了上述程序的ROM（Read Only Memory，只读存储器）、展开上述程序的RAM（Random AccessMemory，随机存取存储器）、存储上述程序以及各种数据的存储器等存储装置（记录介质）等。并且，将由计算机可读取地记录用于实现上述的功能的软件即图像处理装置1的控制程序的程序代码（执行形式程序、中间代码程序、源程序）的记录介质供应给上述图像处理装置1，该计算机（或者CPU或MPU）读出并执行记录介质中记录的程序代码，从而也可达成本发明的目的。
作为上述记录介质，能够使用非暂时的有形的介质（non-transitory tangiblemedium），例如磁带或盒式带等带类、包含软盘（注册商标）/硬盘等磁盘或CD－ROM/MO/MD/DVD/CD－R等光盘的盘类、IC卡（包含存储卡）/光卡等卡类、掩膜ROM/EPROM/EEPROM（注册商标）/闪速ROM等半导体存储器类、或PLD（Programmable logic device，可编程逻辑器件）或FPGA（Field Programmable Gate Array，现场可编程门阵列）等逻辑电路类等。
此外，也可以以能够与通信网络连接的方式构成图像处理装置1，经由通信网络供应上述程序代码。该通信网络能够传输程序代码即可，不特别限定。例如，能够利用互联网、内部网、外联网、LAN、ISDN、VAN、CATV通信网、虚拟专用网（Virtual Private Network）、电话线路网、移动体通信网、卫星通信网等。此外，构成该通信网络的传输介质是能够传输程序代码的介质即可，不限定于特定的结构或者种类。例如，能够利用IEEE1394、USB、电力线传输、电缆TV线路、电话线、ADSL（Asymmetric Digital Subscriber Line，非对称数字用户线）线路等有线，还能够利用IrDA或遥控器那样的红外线、Bluetooth（注册商标）、IEEE802.11无线、HDR（High Data Rate，高数据速率），NFC（Near Field Communication，近场通信）、DLNA（注册商标）（Digital Living Network Alliance，数字生活网络联盟）、便携电话网、卫星线路、地波数字网等无线。另外，本发明还能够以上述程序代码通过电子传输而具体化的、嵌入载波的计算机数据信号的方式而实现。
本发明不限定于上述的实施方式，在权利要求所示的范围内能进行各种变更，关于适当组合在实施方式中公开的技术手段而得到的实施方式，也包含于本发明的技术范围。
工业上的可利用性
本发明能够用于根据图像检测显著区域的图像处理装置等。

Claims (9)

1.一种图像处理装置，在图像中检测显著区域，其特征在于，具备：
像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相互相邻的像素构成的像素小区域设为单位结构的像素小区域图像；
先验概率计算部件，关于上述图像的各像素，计算上述显著区域可能性的先验概率；
区域生成部件，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；
似然度计算部件，以越是具有与在上述像素小区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及
显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率，
上述先验概率计算部件使在上述像素小区域图像中包含的像素小区域中，越是与相邻的像素小区域的色距离更大的像素小区域，构成该像素小区域的各像素的上述先验概率越高，
上述区域生成部件生成区域的各顶点的内角分别比180小的凸包区域作为上述显著区域含有区域，
所述图像处理装置还具备：
凸包区域调整部件，关于与上述凸包区域的至少一部分重合的上述像素小区域，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第一比例大的情况下，将该像素小区域的整体包含于上述凸包区域，另一方面，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第二比例小的情况下，将上述凸包区域之中与该像素小区域重合的部分从上述凸包区域去除，
上述似然度计算部件基于由上述凸包区域调整部件调整的凸包区域，关于上述图像的各像素，计算上述显著区域的似然度。
2.如权利要求1所述的图像处理装置，其特征在于，
上述先验概率计算部件使越是相邻的其他像素小区域的面积更大的像素小区域，构成该像素小区域的各像素的先验概率越高。
3.如权利要求1或2所述的图像处理装置，其特征在于，
上述先验概率计算部件使越是与上述图像的中心的距离更近的像素小区域，构成该像素小区域的各像素的先验概率越高。
4.如权利要求1或2所述的图像处理装置，其特征在于，还具备：
边缘点校正部件，在上述像素小区域中包含的边缘点的数目为规定数以下的情况下，以越是上述边缘点的数目更多的像素小区域，构成该像素小区域的各像素的上述先验概率越低的方式进行校正，或在像素小区域中包含的上述边缘点的数目比规定数多的情况下，以构成该像素小区域的各像素的上述先验概率成为零的方式进行校正。
5.如权利要求1所述的图像处理装置，其特征在于，
上述凸包区域调整部件将在上述凸包区域中离上述图像的中心规定的距离以上的周边部中包含的部分，从上述凸包区域去除。
6.如权利要求1或5所述的图像处理装置，其特征在于，
在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的面积的其他凸包区域的面积的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上述凸包区域去除。
7.如权利要求1或5所述的图像处理装置，其特征在于，
在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的平均先验概率的其他凸包区域的平均先验概率的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上述凸包区域去除。
8.如权利要求1或5所述的图像处理装置，其特征在于，
在该凸包区域调整部件的调整后的上述凸包区域在上述图像的整体中占的比例比第一规定值大或比第二规定值小的情况下，上述凸包区域调整部件将该凸包区域调整部件的调整后的上述凸包区域恢复至调整前的凸包区域。
9.一种图像处理方法，从图像中检测显著区域，其特征在于，包含：
像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类似的相互相邻的像素构成的像素小区域设为单位结构的像素小区域图像；
先验概率计算步骤，在上述像素小区域图像中包含的像素小区域中，以越是与相邻的像素小区域的色距离更大的像素小区域，关于构成该像素小区域的各像素，上述显著区域可能性的先验概率越高的方式，关于上述图像的各像素，计算上述先验概率；
区域生成步骤，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；
似然度计算步骤，以越是具有与在上述显著区域含有区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然度；以及
显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算上述显著区域可能性的后验概率，
上述区域生成步骤中，生成区域的各顶点的内角分别比180小的凸包区域作为上述显著区域含有区域，
所述图像处理方法还包含：
凸包区域调整步骤，关于与上述凸包区域的至少一部分重合的上述像素小区域，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第一比例大的情况下，将该像素小区域的整体包含于上述凸包区域，另一方面，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第二比例小的情况下，将上述凸包区域之中与该像素小区域重合的部分从上述凸包区域去除，
上述似然度计算步骤中，基于由上述凸包区域调整步骤调整的凸包区域，关于上述图像的各像素，计算上述显著区域的似然度。
CN201410123175.1A 2013-04-26 2014-03-28 图像处理装置及方法 Active CN104123718B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-094756 2013-04-26
JP2013094756A JP6136537B2 (ja) 2013-04-26 2013-04-26 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
CN104123718A CN104123718A (zh) 2014-10-29
CN104123718B true CN104123718B (zh) 2017-04-12

Family

ID=50238206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410123175.1A Active CN104123718B (zh) 2013-04-26 2014-03-28 图像处理装置及方法

Country Status (5)

Country Link
US (1) US9020270B2 (zh)
EP (1) EP2797052B1 (zh)
JP (1) JP6136537B2 (zh)
KR (1) KR101570290B1 (zh)
CN (1) CN104123718B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10032280B2 (en) * 2014-09-19 2018-07-24 Brain Corporation Apparatus and methods for tracking salient features
CN104680523B (zh) * 2015-02-11 2017-12-19 浙江工业大学 基于前景和背景先验的多模态区域一致性的显著性对象检测方法
US10424075B2 (en) * 2015-05-06 2019-09-24 Peking University Shenzhen Graduate School Depth/disparity map post-processing method and device
ITUB20153912A1 (it) * 2015-09-25 2017-03-25 Sisvel Tech S R L Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel
JP6819996B2 (ja) * 2016-10-14 2021-01-27 国立大学法人金沢大学 交通信号認識方法および交通信号認識装置
CN106709517B (zh) * 2016-12-19 2020-09-04 航天恒星科技有限公司 红树林识别方法及系统
CN107767373A (zh) * 2017-10-23 2018-03-06 苏州茂特斯自动化设备有限公司 一种芯片管脚宽度快速亚像素精度视觉检测方法
CN108171236A (zh) * 2018-01-08 2018-06-15 亿嘉和科技股份有限公司 一种led字符自动定位方法
KR102252189B1 (ko) * 2019-06-04 2021-05-13 배재대학교 산학협력단 머신 러닝을 이용한 고장 진단 관리 시스템 및 방법
CN113723424B (zh) * 2020-05-25 2024-08-13 中移(苏州)软件技术有限公司 一种目标检测方法及装置、设备、存储介质
CN111768375B (zh) * 2020-06-24 2022-07-26 海南大学 一种基于cwam的非对称gm多模态融合显著性检测方法及系统
US11496674B2 (en) * 2020-09-18 2022-11-08 Microsoft Technology Licensing, Llc Camera placement guidance
CN114913472B (zh) * 2022-02-23 2024-06-25 北京航空航天大学 一种联合图学习与概率传播的红外视频行人显著性检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6282317B1 (en) * 1998-12-31 2001-08-28 Eastman Kodak Company Method for automatic determination of main subjects in photographic images
JP4622140B2 (ja) * 2001-04-13 2011-02-02 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びにプログラム
JP5192315B2 (ja) 2008-07-18 2013-05-08 一夫 相坂 ２値画像を領域分割するための凹点検出方法
JP4800367B2 (ja) * 2008-10-17 2011-10-26 日本電信電話株式会社 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム
JP5235770B2 (ja) 2009-04-27 2013-07-10 日本電信電話株式会社 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体
JP2011034178A (ja) 2009-07-30 2011-02-17 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP5567448B2 (ja) 2010-10-15 2014-08-06 Ｋｄｄｉ株式会社 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
JP5771442B2 (ja) 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US8908948B2 (en) * 2011-12-21 2014-12-09 Institute Of Automation, Chinese Academy Of Sciences Method for brain tumor segmentation in multi-parametric image based on statistical information and multi-scale structure information
JP5968098B2 (ja) * 2012-06-14 2016-08-10 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722891A (zh) * 2012-06-12 2012-10-10 大连理工大学 一种图像显著度检测的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"贝叶斯框架下的图像显著性检测";谢玉琳;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120715(第7期);论文摘要及第10-25页 *

Also Published As

Publication number Publication date
JP2014215925A (ja) 2014-11-17
CN104123718A (zh) 2014-10-29
KR101570290B1 (ko) 2015-11-18
KR20140128226A (ko) 2014-11-05
US9020270B2 (en) 2015-04-28
EP2797052B1 (en) 2019-10-16
EP2797052A2 (en) 2014-10-29
JP6136537B2 (ja) 2017-05-31
EP2797052A3 (en) 2015-11-25
US20140321754A1 (en) 2014-10-30

Similar Documents

Publication Publication Date Title
CN104123718B (zh) 图像处理装置及方法
JP7365445B2 (ja) コンピューティング装置及び方法
US11010967B2 (en) Three dimensional content generating apparatus and three dimensional content generating method thereof
US9111132B2 (en) Image processing device, image processing method, and control program
EP3454250B1 (en) Facial image processing method and apparatus and storage medium
JP4893862B1 (ja) 画像処理装置、および画像処理方法
JP4903854B2 (ja) デジタル画像におけるオブジェクト検出方法
JP4893863B1 (ja) 画像処理装置、および画像処理方法
US9245330B2 (en) Image processing device, image processing method, and computer readable medium
CN103902958A (zh) 人脸识别的方法
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
WO2019075666A1 (zh) 图像处理方法、装置、终端及存储介质
WO2016165060A1 (en) Skin detection based on online discriminative modeling
US10380853B1 (en) Presence detection and detection localization
US20160092726A1 (en) Using gestures to train hand detection in ego-centric video
CN111611934A (zh) 一种人脸检测模型生成和人脸检测方法、装置及设备
US20150317510A1 (en) Rating photos for tasks based on content and adjacent signals
CN108428214A (zh) 一种图像处理方法及装置
CN107239729B (zh) 一种基于光照估计的光照人脸识别方法
CN104794693A (zh) 一种人脸关键区域自动检测蒙版的人像优化方法
CN103679697A (zh) 图像处理装置及图像处理方法
CN109063588B (zh) 一种基于人脸框提取图像中人脸部肤色的方法
CN114373205B (zh) 一种基于卷积宽度网络的人脸检测和识别方法
CN113781330A (zh) 图像处理方法、装置及电子系统
US11323627B2 (en) Method and electronic device for applying beauty effect setting

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant