CN1711559A - 特征区域提取装置、特征区域提取方法和特征区域提取程序 - Google Patents

Abstract

在现有技术图像检索中，检索精度不是足够的。希望提供一种通用性高并可高速检索特征部位的方法。该方法包括：取得以点阵形状的象素表现图像的图像数据；基于图像数据检测图像的边缘象素；当由所检测边缘象素及其周围象素形成的图形接近于规定的提取对象时将该边缘象素提取作为特征点；以及将在上述图像内分布了很多所提取特征点的规定区域假定为特征区域。

Description

特征区域提取装置、特征区域提取方法和特征区域提取程序

技术领域

本发明涉及特征区域提取装置、特征区域提取方法和特征区域提取程序。

背景技术

近年来，在实施用于检索通过数字摄像机等得到的摄像图像或者其一部分的图像检索和实施当连接全景照相图像时的连接位置检索之际，提出了用于检索图像中特征部位的各种方法。(例如参考，通过DRA的特征点提取流程，[在线]，[平成14年11月20日检索]，因特网＜URL：http：//www.koshi-lab.sccs.chukyo-u.ac.jp/research/picasso/side/dra.html＞)。

在上述现有技术的图像检索中，检索精度不是足够的。希望提供一种通用性高并可高速检索特征部位的方法。例如，根据上述非专利文献1中的方法，由于通过提取图像边缘、从某个边缘象素和其周围边缘象素的关系当中删除具有特定条件的边缘象素、在变成再样本件数之前重复该删除而提取特征，因此计算量大，处理速度慢。如果以多个边缘集合形成了闭曲线为前提，则通用性降低。而且，检索精度也不是很高。

发明内容

鉴于考虑到上述问题，本发明的目的在于提供一种特征区域提取装置、特征区域提取方法和特征区域提取程序，其特征区域提取精度高，具有通用性，并可高速进行处理。

为了实现上述目的，根据本发明，提取图像内的边缘，判定边缘形状是否与提取对象的形状一致，以及将一致的部位作为特征区域。为此，本发明包括图像数据取得装置和边缘象素检测装置，通过图像数据取得装置取得图像数据，和通过边缘象素检测装置检测图像中的边缘象素。而且，根据本发明，还包括特征点提取装置和特征区域判定装置，判定在特征点提取装置检测的边缘象素和其周围象素是否是接近于规定提取对象的图形。

通过这，边缘形状近似于规定图形的部位的边缘象素被提取作为特征点。作为特征点被提取的边缘象素变成用于构成特征区域的候补象素。特征区域判定装置将特征点分布很多的规定区域作为特征区域。该特征区域是非常特征的区域，其包含很多用于形成规定提取对象图形的特征点。通常，构成照片图像的象素是复杂的，其形成了各种边缘，但是通过关注包含很多特征点的方面，能够容易地识别和提取图像中非常特征的区域。

更具体地，在提取特征点时，由于提取近似于提取对象图形的区域，作为特征点，通常可发现多个候补。但是，包含很多该特征点的区域非常有限。因此，由于将图像中特征点很多的区域作为特征区域，即使微观上规定提取对象是包含很多的图像，从该图像中也能够限定应该作为特征区域的候补，以及能够从该限定的候补中容易地提取特征部位。根据该构成，错误的发生率非常低，能够进行高精度的图像检索和图像对照。

即，由于在真正应该提取的特征区域中包含了规定提取对象的图形，因此即使只简单地判定边缘象素周围是否与图形吻合也能可靠地提取该区域内的特征点。但是，在只简单地判定是否与图形吻合中，也会提取出用于形成了与该图形近似之象素的不是特征区域的部位。因此，提取错误变多。特别是，用于形成自然照片图画的象素因为是复杂的，导致这种提取错误的可能性变大。

因此，在本发明中，当由边缘象素和其周围象素形成的图形接近于规定提取对象时将该边缘象素作为特征点，并将被提取特征点多的区域作为特征区域。该特征区域由于是包含很多提取对象的部位，因此即使在自然照片画面中也是非常独特的区域，在同一图像内存在很多类似区域的可能性变得非常低。因此，能够以非常高的精度来提取该特征区域。

特别是，当在图像的一部分中寻找是否存在特定区域时，例如，当检索在用于连接全景照片图像端部的照片图像端部之间吻合的部位时，在构成连接对象之图像的每一个上存在多个这种特征区域的可能性很低。但是，如果图像相连接，则在各个图像中平均一处几乎可靠地存在特征区域。因此，如果根据本发明进行特征区域的提取，能够以非常高的准确率在各个图像中检索出能够构成图像连接位置的被摄体的部分。因此，能够非常高精度地提取出特征区域。当应用于图像连接等时，通过诸如在图像右端和左端的每一个中将特征点数成为最大的部位各一处作为特征区域以及分配其他束缚条件，能够进行精度高的图像检索。

在本发明中，通过边缘象素的检测能够提取作为特征区域内候补的特征点。此时，即使自然画面的边缘是比较多的象素，从整个图像中找到特征点的数量也变得非常少。而且，在提取特征点之后，能够判定只将此数量作为指标的特征区域。因此，与对图像内象素进行依次比较来提取规定图形的图形匹配等相比，用对非常少的处理对象进行判断就能够提取特征区域并能够实施高速处理。而且，与对边缘象素进行用于算出再样本件数边缘象素的各种处理的上述现有技术例子比较，用非常少的处理次数就能够提取特征区域并能够实施高速处理。

再有，边缘象素的检测中有各种方法，并且是非常通用的方法。而且，当提取特征点时，可以将边缘检测后的数据和规定提取对象进行比较，其适用于与图像和边缘象素无关的所有图像数据。由于特征区域的判定也将特征点的数目作为指标，判断对象是可适用于与图像和边缘象素无关的所有图像数据。因此，没有如上述现有技术例子那样在连接边缘象素时形成闭曲线的前提，本发明是能够适用于所有图像的非常通用的方法。

在边缘象素检测装置中可以采用各种方法，例如为能够检测图像数据中的边缘象素，通过使用Sobel过滤器、Prewitt过滤器、Roberts过滤器、Laplacian过滤器等各种过滤器来算出某个象素的边缘程度(灰度值梯度)，并且通过判定该边缘程度是否超过规定阈值来判定是否是边缘的方法。显然，作为阈值，是可以根据应该作为边缘检测出的图像梯度来适当调整，检测对象的图像数据的颜色不被特别限定。即，当用每个颜色成分的灰度值来表现颜色时可以对各个颜色检测出边缘，一旦算出各个象素的亮度值之后也可以检测出该亮度值的边缘。

在特征点提取装置中，可以判定由边缘象素和其周围象素形成的图形是否近似于规定的提取对象。这里，作为边缘象素周围的象素，由于是边缘象素或者是非边缘象素，因此当考虑是否形成了图形时，在采用通过将边缘象素作为“1”、将非边缘象素作为“0”来判定是否是近似于规定提取对象图形的结构之后，可以简单和高速地实施处理。

为了处理的简单化和高速化，优选准备作为规定提取对象图形的预定图形和优选存储点阵形状的过滤器。即，如果预先存储通过表示边缘象素的过滤器值和表示非边缘象素的过滤器值形成了构成提取对象的图形的过滤器，则能够容易地将使边缘象素作为“1”非边缘象素作为“0”的边缘检测数据和规定提取对象图形进行对照。在对照时，可以采用各种构成，但是例如也可采用通过重复边缘检测数据和过滤器来算出表示是否是边缘象素的值(1或者0)和过滤器值之间的与(AND)的构成。

作为对照，能够判定边缘检测数据所形成的图形是否是接近于规定提取对象图形，也能够采用诸如判定过滤器值和边缘检测数据相一致的数目是否是规定数或者以上的结构。更具体地，可以采用这种结构：当表示边缘象素即过滤器中心象素周围的两个或者以上位置的边缘象素的过滤器值和上述边缘检测数据的边缘象素吻合时将该中心的边缘象素作为特征点。显然，所谓两个以上位置的条件是一个例子，根据通过在作为特征点提取时的精度和特征点数的多少来调整处理速度的意图，可以改变该条件。

作为用于提取特征点设定的规定提取对象图形，也能够采用各种图形。即，在该提取对象图形多个存在于图像内的某个区域时，可以将该区域与其他区域区别开，根据该意图使得带有该区域的特征，并且作为特征区域提取出。作为例子，优选采用当边缘形成了90°以上和不足180°的角时的图形。即，图像内不变化的部位例如空的和单色墙面的图像缺乏变化，使得对这类图像标记特征是困难的。

为了使得对图像标记特征，优选地，与其说边缘是缺乏变化的部位，还不如说边缘上最具有特征，并且，在自然画面中，将该特征被多个发现的那种部位作为提取对象。因此，如果将边缘形成角的部位作为提取对象，则能够将边缘角多的部位提取作为图像内的特征部位。这里，鉴于边缘不可是180°的角以及90°角在实际图像内不多以及难以提取之类的状况，因此角作为90°以上和不足180°的角。尽管可以检测关于0°～90°的边缘，但噪音多，产生很多无效处理。根据申请人的实验，当将135°角作为提取对象的图形时，在很多图像内检测了很多的角。

而且，即使作为用于形成上述提取对象图形的过滤器也能够采用各种过滤器。例如，可以采用3×3象素和5×5象素等各种大小的，作为图形可形成各种图形，以及预先设定多个过滤器等。作为用于实现高速和高精度的优选例子，在3×3象素的过滤器中，举出了在除了中央象素的象素中将邻近的4个象素作为边缘象素的过滤器值和将邻近的其他4个象素作为非边缘象素的过滤器值的例子。

即，如果是3×3象素，由于具有尽管为小象素数的面积，也能够表达规定的图形，并可以通过少的处理来实施对照。而且，过滤器中，在中央象素表示边缘以及中央以外邻近的4象素表示边缘象素时，在3×3象素中，通过中央以外排列的3个边缘象素和在包含中央的位置上排列的两个边缘象素共计5个象素形成了135°的角。通过该图形，即使是3×3象素这样少的象素，也能够形成90°以上和不足180°的角，并且能够形成可以提取多个特征点的提取对象图形。因此，能够高速和高精度地进行处理。

在特征区域判定装置中，能够将上述图像内该提取特征点很多分布的规定区域作为特征区域。例如，可以采用这种构成：预先判定特征区域的大小(纵向横向的象素数)，当将该大小的区域应用于特征点很多分布的区域中时将在该区域内特征点最多分布的区域作为特征区域。

而且，可以将图像分割成规定象素数的多个区域，当该区域内包含的上述特征点数为规定阈值以上时将该区域作为上述特征区域。在这些构成中，从特征点很多分布的区域中可以进一步限定特征区域，例如，可以算出各个区域之每一个上所包含的象素之边缘程度的平均值，并将平均值高的区域作为特征区域。在该处理中，尽管叠加区域内各个象素的边缘程度，但是由于该区域是从整个图像中提取的有限数目的区域，因此与对于整个图像进行处理的情况相比，其能够高速地进行处理。

作为用于将本发明适用于在连接全景照片图像时的连接位置检索的具体构成，可以采用这种构成：其从多个图像中的至少一个图像中提取特征区域，并且对照在其他图像内是否具有与该特征区域类似的区域。为此，例如，通过上述图像数据取得装置取得第一和第二图像数据。通过上述边缘象素检测装置和特征点提取装置进行对这些图像的任何一个或者两者的处理。

通过特征区域判定装置，如果对上述第一图像的特征点进行处理，则能够提取第一图像内的特征区域。因此，如果对照该特征区域内的象素和上述第二图像内的象素，则能够从第二图像中提取出与第一图像特征区域吻合的区域。由于推断所提取区域的图像和特征区域的图像几乎是相同内容的图像，因此通过该对照，从包含同一被摄体和可重合部位的多个图像中能够容易且准确地提取出重合的部位。

这里，从第一图像提取特征区域，以及能够从第二图像中提取出与该特征区域吻合的部位，根据从第一图像提取特征区域的意图，边缘象素检测装置和特征点提取装置的处理对象是第一图像。显然，在必须具有对照时参考第二图像内特征点以及使用第二图像内特征区域等的情况下，可以通过边缘象素提取装置和特征点提取装置合适地执行对于第二图像的处理。

在区域对照装置中，能够对照特征区域内的象素和上述第二图像内的象素。即，通过在象素之间进行对照，能够在第二图像内提取出由类似于特征区域内象素之象素构成的区域。作为用于实现该构成的具体方法，可以采用各种方法。例如，可以采用能够在象素的对照中判定第一图像和第二图像内的象素是否类似、以及比较象素之灰度值的构成。就是说，如果灰度值的差异小，则能够判定两者类似。

这里，灰度值差异小的判断指标是可以通过各种指标来实现的。例如，如果从第二图像中提取与第一图像特征区域吻合的多个候补区域，则能够通过判定灰度值差异是否是在规定阈值以下来提取候补区域。如果从第二图像中提取最接近第一图像特征区域的区域，则可以通过提取出灰度值差异变为最小的区域来提取出作为目的的区域。显然，作为在对照各个象素时使用的灰度值，可以采用各种灰度值。例如，在用多个色成分之每一个的灰度值来表达各个象素的颜色时，可以使用该色成分之每一个的灰度值，并且可以使用表示各个象素之颜色值(亮度值、色度值、色调值等)的灰度值。

作为进行对照时的具体方法，可以采用在上述第二图像内提取上述特征区域和同等大小的比较对象区域、以及对照比较对象区域内象素和特征区域内象素的构成。这里，所谓同等大小的区域，就是象素数基本相同的区域。显然，根据对照象素内容的意图，两图像必须是相同的比例尺。因此，对于表示在相同状况下摄影的照片的图像数据，放大处理时就不进行缩小处理，并且可以比较相同象素数的区域，当比例尺不同时，通过对至少一方的图像实施放大处理或缩小处理后来进行比较。

如果根据同等大小来判定特征区域和比较对象区域，对于两者象素的灰度值，通过算出在对应位置的象素之间的差分，能够评价两区域的类似度。因此，如果通过叠加这些差分的大小来作为对照值，则能够通过该对照值客观地评价两区域的类似度。即，该对照值越小，就能够评价这两区域越类似。

当通过区域对照装置进行对照时，也可以采用参考特征点的构成。例如，可以采用这种构成：为了做成通过在特征点的象素之间进行对照来提取与特征区域吻合的区域，在上述特征区域内的象素是上述特征点时，在上述比较对象区域内提取出与该特征点位置相当的象素和其周围象素，并且当这些象素是特征点时，将其灰度值和上述特征区域内特征点的灰度值的差分大小加到上述对照值。

就是说，当上述特征区域内的象素是上述特征点时，在上述比较对象区域内提取与该特征点位置相当的象素和其周围的象素，并判定这些象素是否是特征点。当这些象素是特征点时，算出特征点的象素之间灰度值的差分大小。如果表示对照值越小各个区域越类似，则能够根据特征点之间的差分大小相加来算出反映特征点之间比较结果的对照值。

当叠加对照值时，如果特征点之外的点做到没有实质贡献(诸如不进行计算或者如果是特征点以外则使对照值相加值做成最大值(灰度值差分的最大值)等)，则可以只基于特征点来实施对照。通过在上述比较对象区域内提取与该特征点位置相当的象素再加上其周围象素，能够提高对照结果的可靠性。即，尽管在不同图像当中被重合的区域之间，在各个区域之间对应位置的象素的灰度值变成基本相同，但是象素位置完全对应不是限定性的，在象素单位中，也有产生稍微偏差的时候。

例如，在照片象素的重合中，由于诸如摄影装置中透镜像差的种种影响，即使对同一被摄体，也能够产生象素位置的相对偏差。因此，通过在比较对象区域内提取与特征点位置相当的象素再加上其周围的象素，能够更可靠地提取与特征区域内的特征点相对应的比较对象区域内的特征点并进行对照。当提取与特征点位置相当的象素周围的象素时，只要在以相当于特征点位置的象素为中心提取例如3×3象素量等，预先确定被提取的象素即可。

为了如上述在第二图像中参考特征点，有必要如上述通过边缘象素提取装置和特征点提取装置来对第二图像进行处理。如上述，如果能够通过区域对照装置来提取与上述特征区域吻合的第二图像内的区域，通过重合被对照的区域来结合第一图像和第二图像，则能够一边使合适的位置重合一边结合图像。

而且，可以通过边缘象素提取装置和特征点提取装置来对第二图像进行处理，并且构成通过特征区域判定装置来提取第二图像中的特征区域，以及基于在第一图像和第二图像中提取的特征区域来进行对照。在区域对照装置中，将在第一图像内提取的特征区域的象素和在上述第二图像内提取的特征区域及其周边区域内的象素进行对照。即，在第一图像和第二图像重合的区域之间，由于区域内各个象素的灰度值变成基本相同，通过对第一图像和第二图像适用相同的算法所提取的特征区域是该重合的区域，其可能性很高。

另一方面，通过进行包含在第二图像中提取的特征区域周边区域上的对照，能够可靠地提取与第一图像特征区域吻合的第二图像内的区域。在该对照中，在第二图像提取的特征区域及其周边的区域成为对照对象，不必要将第二图像的全部作为对照对象。因此，有可能一边有效限定应该对照的区域一边进行对照，省去了无用对照，使得高速结束对照处理成为可能。显然，作为特征区域周边的区域，可以预先确定成使得对于将特征区域作为中心在周围N个象素(N是自然数)以内具有的区域进行对照，并可以采用各种构成。

而且，可以作为这种构成：从第一图像提取特征区域而不实施对每个区域的对照处理来提取与第一图像特定部分吻合的第二图像内区域即第二图像内的特征区域。作为这种结构例，可以采用通过边缘象素提取装置和特征点提取装置来执行对第一图像和第二图像的处理以提取特征点并且对照特征点分布的结构。

就是说，通过基于第一图像内特征点来生成表示其分布图形的分布图形数据以及基于该分布图形数据来从第二图像中提取与该分布图形基本吻合的特征点，有可能特定第一图像和第二图像相重合的部分。而且，用于判定第二图像内特征点分布是否与分布图形基本吻合的构成可以采用种种构成。

例如，可以采用这种构成：通过特定特征点相对位置关系的数据来构成分布图形数据，一个一个地提取出第二图像内的特征点，以及将各个特征点作为基点来判定在与分布图形数据所表示的相对位置关系相同的位置上是否存在特征点。显然，在这里，通过包括与分布图形数据所表示的相对位置关系相同的位置再加上其周边的位置，可以在第二图像内检测有无特征点。

也可以采用这种构成：不仅判定在第二图像内按照上述分布图形的特征点是否存在，在特征点存在时还比较其象素的灰度值。总之，根据该构成，可以提取第一图像的特征点，不实施对每个特征区域的对照，由此提取在第一图像和第二图像中吻合的部位。显然，作为从第二图像提取的特征区域，不局限于矩形区域，包含特征点的任何形状的区域都可以成为特征区域。

可是，上述特征区域提取装置可以有被单独实施的情况，也可以有在与某个设备组合的状态下根据其他方法被实施的情况，作为发明思想，包含了各种形式的情况，可以适当变更。通过提取上述特征点并根据其分布来判定特征区域的方法，在根据规定流程进行处理的情况下，成为使发明根本上存在于该流程中是当然的。因此，作为方法本发明也是适用的，根据权利要求16、权利要求18的本发明基本上构成同样的作用。在实施本发明时，也具有在特征区域提取装置中执行规定程序的情况。因此，即使作为该程序也是适用的，根据权利要求17、权利要求19的本发明基本上构成同样的作用。

显然，不言而喻，权利要求2～权利要求15记载的构成对应于上述方法和程序也是可能的。也可以使用任何记录介质来提供程序。例如，可以是磁记录介质和磁光记录介质，今后开发的任何记录介质也能够完全同样地考虑。一部分由软件一部分由硬件实现的情况不是与本发明的思想完全不同的，还包括将一部分预先记录在记录介质上根据需要来适当读入的形式。毫无疑问，对于一次拷贝、二次拷贝等拷贝阶段也是相同的。

附图说明

图1是计算机系统的框图。

图2是特征区域提取程序的功能框图。

图3是表示图形过滤器的例子的示意图。

图4是根据特征区域提取程序的处理流程图。

图5是说明操作例的说明图。

图6是特征区域提取/结合程序的功能框图。

图7是根据特征区域提取/结合程序的处理流程图。

图8是表示对照/结合处理的流程图。

图9是说明操作例的说明图。

图10是另一实施例中用于说明操作例的说明图。

图11是另一实施例中用于说明操作例的说明图。

图12是另一实施例中表示对照/结合处理的流程图。

具体实施方式

这里，根据下面的顺序说明本发明的实施方式。

(1)系统硬件构成：

(2)特征区域提取程序的构成和处理：

(3)特征区域提取处理的例子

(4)其他实施方式：

(5)图像的结合处理：

(1)系统硬件构成：

图1用框图表示了计算机系统，其执行涉及本发明一实施方式的特征区域提取程序。图中，计算机系统10作为图像输入装置包括扫描器11a、数字静像摄像机11b和视频摄像机11c，并连接到计算机主体12。各个输入装置生成用点阵像素来表达图像的图像数据并可输出到计算机主体12，这里，相同图像数据通过在RGB三基色中分别用256灰度等级显示而成为可以表达1670万个颜色。

在计算机主体12上连接了作为外部辅助存储装置的软盘驱动器13a、硬盘13b和CD-ROM驱动器13c。在硬盘13b上记录了系统关联的主要程序，可以从软盘13a1和CD-ROM13c1等上读入合适的必要程序和图像数据等。

而且，调制解调器14a被连接作为用于将计算机主体12连接到诸如外部网络上的通信装置，并且可以变成通过介入相同的公用通信线路而连接到外部网络以及下载和输入软件和图像数据等。在本例中，尽管可以做到介入电话线路通过调制解调器14a来访问外部，但也可以做成通过介入LAN适配器对网络进行访问的结构，以及通过介入路由器(router)来访问外部线路。此外，还连接了计算机主体12的操作所使用的键盘15a和鼠标15b。

作为图像输出装置，包括显示器17a和彩色打印机17b。关于显示器17a，其具有水平方向1024个象素以及垂直方向768个象素的显示区域，在每个象素上都可以显示上述1670万个颜色。当然，该清晰度只不过为一例，其可以进行合适的变更，例如为640×480象素以及800×600象素等。

另一方面，在通过使用这种图像输入装置输入图像的同时，为了在图像输出装置上显示或者输出，在计算机主体12内可以执行规定的程序。其中，作为基本程序而运行的是操作系统(OS)12a，在该操作系统12a上安装了用于在显示器17a上实现显示的显示驱动器(DSPDRV)12b和用于在彩色打印机17b上实现打印输出的打印机驱动器(PRTDRV)12c。该驱动器12b，12c的类型依赖于显示器17a和彩色打印机17b的种类，根据各个种类，可对操作系统12附加变更。还可做成能够依赖于种类而实现在标准处理之上的附加功能。即，在如操作系统12a之类的标准系统上维持通用的处理体系的同时，还能够实现在被容许范围之内的各种附加处理。

当然，作为执行这种程序的前提，在计算机主体12内还包括CPU12e、ROM12f、RAM12g和I/O12h等，执行运算处理的CPU 12e将ROM 12f使用作为临时工作区和设定存储区，或者使用作为程序区，同时适当地执行在RAM 12g上写入的基本程序，以及控制通过介入I/O 12h所连接的外部设备和内部设备等。

在作为该基本程序的操作系统12a上执行应用程序(APL)12d。应用程序12d的处理内容是各式各样的，可以监视作为操作装置的键盘15a和鼠标15b的操作、在操作时通过适当控制各种外部设备而执行对应的运算处理等，并且将处理结果显示在显示器17a上或者输出到彩色打印机17b上。

这里，通过介入打印机驱动器12c将应用程序12d的处理结果作为打印数据输出在上述彩色打印机17b上，彩色打印机17b通过使用色墨将点印在打印纸上而打印出对应的文字和图像。根据本发明的特征区域提取程序还能够作为上述的应用程序12d提供，以及还能够作为用于实现打印机驱动器12c、扫描器驱动器以及应用程序12d一部分功能的程序提供。根据本发明的特征区域提取程序特别优选适用于全景照片的合成程序和图像检索程序。

(2)特征区域提取程序的构成和处理

图2表示特征区域提取程序的功能框图和处理中使用的数据，图3表示图形过滤器(pattern filter)的例子。图4表示根据特征区域提取程序的处理流程。下面，根据这些图说明程序的功能和处理。特征区域提取程序20包括如图2所示的图像数据获得模块21、边缘(edge)象素检测模块22、特征点提取模块23和特征区域判定模块24。

尽管图中说明了将构成特征区域提取之对象的图像数据保存在硬盘13b中的例子，显然，其也可以保存在其他介质中，其可以是从数字静像摄像机11b等设备中获得的数据，也可以是通过介入调制解调器14a而取得的数据。当开始特征区域提取程序20的处理时，图像数据获得模块21在步骤S100从硬盘13b中读出图像数据并临时存储在RAM 12g中(图像数据12g1)。

在步骤S105，边缘象素检测模块22对图像数据12g1的各个象素应用规定的边缘检测过滤器。通过这，算出该应用象素的边缘程度，根据本实施方式，使各个象素的边缘程度作为边缘程度数据12g2存储到RAM 12g中。尽管边缘程度是可以通过各种边缘检测过滤器算出，并且可以在过滤器应用之后进行诸如标准化的各种处理，但不管如何，在该边缘程度数据12g2中也可以包括对每个象素表示该象素之边缘梯度强弱的灰度值。

在步骤S110，边缘象素检测模块22通过参考上述算出的边缘程度数据12g2来判定各个象素是否是边缘。即，在本实施方式中，预先规定用于附加判定是否是边缘的阈值，通过将上述各个象素的边缘程度和该阈值进行比较而将边缘程度比阈值大的象素作为边缘象素。在判定边缘象素之后，将用于表示各个象素是否是边缘的边缘检测数据12g3保存在RAM12g中。本实施方式中的边缘检测数据12g3是各个象素的2个二进制位数据，其用“1”表示是边缘象素，用“0”表示不是边缘象素。

在步骤S115，判别是否将用于判定是否是边缘象素的处理实施于上述所取得的图像数据12g1的全部象素中，当在步骤S115判别出在全部象素中实施该处理之前，重复步骤S105、S110。结果，对于上述图像数据12g1的所有象素，边缘程度数据12g2和边缘检测数据12g3就成为分别表示边缘程度和是否是边缘的数据。

在步骤S120～S140，特征点提取模块23对边缘检测数据12g3应用图形过滤器数据12g4，在从边缘象素中提取特征点的同时，将表示该特征点的特征点数据12g5保存到RAM 12g中。在本实施方式中，图形过滤器数据12g4是表示由边缘象素和其周围象素形成之图形的过滤器数据，对于3×3个象素的每个，其包括“1”或者“0”的数据。

图3表示在本实施方式中RAM 12g所保存的图形过滤器数据所展示的多个过滤器。在这些图形过滤器中，“1”表示是边缘象素，“0”表示是非边缘象素。这些图形过滤器的中央全是“1”，而其周围的8个象素，在任何一个过滤器中有4个连续“1”和4个连续“0”。而且，对于“1”或者“0”位置不同的过滤器，图形过滤器数据12g4包括共计8个数据。

图中所示的图形过滤器中，在“1”和“0”之间的边界上，包括纵向或者横向连续的2个“1”、和相对中央的“1”而位于斜边的“1”。因此，“1”和“0”之间的边界形成了135°的角，在本实施方式中，可以提取通过3×3个象素图形过滤器的135°的角。

特征点提取模块23在步骤S120参考上述边缘检测数据12g3，对于边缘象素应用上述图形过滤器数据12g4。即，使边缘象素和上述图3所示图形过滤器中央的象素重合。在步骤S125，用边缘检测数据12g3和图形过滤器数据12g4比较与中央之周围8象素(周边象素)相关的值，并判别相同位置的值双方都是“1”的象素是否存在2处或者以上。即，判定图形过滤器和边缘检测数据12g3是否相近。

由于相对边缘象素应用图形过滤器数据12g4，根据边缘检测数据12g3和图形过滤器数据12g4，如果周边象素中的值双方都是“1”的象素为2处或以上，则在3处或者以上的位置上一致为“1”。在本实施方式中，当满足该条件时，边缘检测数据12g3内的边缘象素的周边和图形过滤器形成的图形相近。因此，根据上述条件，能够判定在边缘检测数据12g3形成的边缘上是否存在近似为135°角的图形。

在步骤S125，当判定在边缘象素的周边存在一致为两个或者以上“1”的地方时，在步骤S130将该边缘象素登录作为特征点。对于作为特征点登录的象素，将其假设为表示是特征点的标志“1”，并将该数据作为特征点数据12g5保存在RAM 12g上。特征点数据12g5可以至少包括特征点位置和表示其是特征点的数据，除了在点阵数据中将特征点作为“1”、将特征点之外的作为“0”的数据之外，其也能够通过表示特征点坐标的数据构成。

在步骤S135，判别对边缘检测数据12g3中的全部边缘象素是否应用图形过滤器，当判别出对全部边缘象素应用图形过滤器时，对于一个图形过滤器，就重复步骤S120～S130的处理。而且，在步骤S140，对于图3所示图形过滤器的全部，判别是否进行了步骤S120～S135的处理，在判别出对于图形过滤器的全部进行了步骤S120～S135的处理之前，重复步骤S120～S135的处理。结果，获得将形成了作为规定提取对象即135°角的边缘象素作为特征点取出的特征点数据12g5。

在步骤S145～S160，特征区域判定模块24通过参考特征点数据12g5和边缘程度数据12g2来提取特征区域。为此，首先在步骤S145，将图像分割成规定大小的区域。在步骤S150，参考上述特征点数据12g5，在被分割的每个区域上测量特征点的数量，以及提取在各个区域之内特征点有α个或者以上的区域。这里，α是预先确定的阈值。

即，通过阈值α判别来限定包含特征点多的区域数以及缩小候补的特征区域。在步骤S155，参考上述边缘程度数据12g2，将在上述步骤S150提取的各个区域内存在的象素边缘程度叠加，并算出其平均值。然后，在步骤S160，将该平均值为β或者以上的区域作为特征区域，将图像内表示特征区域位置的特征区域数据12g6保存在RAM 12g中。这里，β是预定的阈值。

(3)特征区域提取处理例子

下面，说明根据上述构成和处理的操作例。图5是对于图像数据12g1用于说明提取特征区域之情况的说明示意图，其是将山作为被摄体的照片。边缘象素检测模块22通过将边缘检测过滤器应用于该图像数据来生成边缘程度数据12g2和边缘检测数据12g3。尽管图5中将Sobel过滤器表示作为边缘检测过滤器，显然，作为过滤器，能够采用除此之外的各种过滤器。

尽管在边缘程度数据12g2和在边缘检测数据12g3中都可以展示从图像数据12g1中检测的边缘，但边缘程度数据12g2提供了对于各个象素用于表示边缘梯度的灰度值，是各个象素为8位的数据。对于边缘象素，变成图中所示为“230”的大灰度值，对于非边缘象素，变成图中所示为“0”的小灰度值。

特征点提取模块23参考边缘检测数据12g3对边缘象素应用图形过滤器数据12g4。结果生成的特征点数据12g5是点阵数据，如图5所示，其在边缘象素中，将其周边象素与图形过滤器所示图形相近的象素用“1”表示，将特征点以外的象素用“0”表示。图5的特征点数据12g5通过将特征点用黑点、将与边缘部位相当的位置用虚线来表示出。根据上述处理，从图像数据中缩小了候补的特征区域。即，图像内作为特征与其他部位有差别的部位被限定成存在特征点的部位。可以从该限定的部位中真正探出特征部位，而不必要进行过多的探索处理。

特征区域判定模块24将图像分割成每个规定的区域，抽出各个分割区内的特征点有α个或者以上的区域，如图5最下面所示。图中，将各个分割区用虚线表示，抽出的区域用实线表示。该图表示了当抽出特征点有2个或者以上的区域时的例子。在本实施方式中，算出所提取的各个区域内的边缘程度的平均值。将该平均值为β或者以上的区域假设为特征区域。图5中，作为特征区域被提取的区域用粗实线表示。

如上述，在本实施方式中，将整个象素作为对象进行的处理只是边缘检测，边缘检测是通过很多数目的象素过滤器而进行的运算。对于其他处理，处理对象是图像当中的极少一部分，诸如为边缘象素和特征点等。因此，作为整体其能够进行非常高速的处理。

(4)其他实施方式

上述特征区域提取处理的结构和处理是一个例子，采用其他各种结构也是可以的。例如，尽管图5的例子将各个数据假设为点阵状的象素数据，但也可以是表示所检测边缘和特征点之坐标的数据。如果采用这种数据，很多情况下能够减少数据容量。显然，采用其他的数据形式也是可以的。

当提取特征区域时，尽管通过分割图像来测量该分割区内的特征点数，但也可以在特征点数据12g5中提取特征点分布多的部位并对于该部位将规定大小的区域假设为特征区域。而且，在上述实施方式中，尽管将边缘程度之平均值大的区域假设为特征区域，但是不使用该条件，也可以将特征点数多的区域假设为特征区域。

在上述实施方式中，尽管使用了用于判定特征点是否多的阈值以及使用了用于判定边缘程度之平均值是否大的阈值，但是显然这些数值不是特别限定性的。在使用阈值的结构以外，也可以判定特征点数和边缘程度之平均值是否是最大，或者采用诸如采用直到上一级3位为止的各种结构。如果根据前者，则能够提取一处最特征的区域，如果根据后者，则能够提取多个特征区域。

而且，即使将图形过滤器应用于边缘象素且判定是否形成了规定提取对象图形的结构，也可以采用各种结构。例如，图形过滤器中，可以构成为不是只对照过滤器的值“1”，也可以构成使得对照“0”。这样，通过变更条件，能够调整规定提取对象的提取精度。

本发明能够应用于各种情况。例如，当在如上述全景照片合成时所连接照片之间识别相符区域的情况下，当对两个图像实施根据本发明的特征区域提取程序后，两图像中作为特征区域被提取的区域相符。因此，可以容易地识别用于连接两者的位置。

这种情况下，即使调整上述阈值以便提取多个特征区域，通过分配在一个图像左侧和另一个图像右侧中的特征区域是应该相符之类的条件等，也能够提高识别相符区域的精度。除此之外，也能够分配其他各种条件，诸如将在两图像中提取的特征区域的特征点数和边缘程度的平均值进行比较，并将具有最相似值的区域假设为相符区域等。

另一方面，将本发明应用于图像检索也是可以的。例如，当检索包含与某个检索源图像相符或者类似之部位的图像时，算出有关该检索源图像的上述特征点的数目和边缘程度的平均值，从而进行提取有关该检索对象之图像的特征区域的处理。由于算出了所得特征区域中的特征点数目和边缘程度平均值，因此将这些特征区域和上述检索源图像中的特征点数和边缘程度平均值进行比较。如果存在特征点数和边缘程度平均值相符的特征区域，则可以将包含该特征区域的图像作为检索结果提示，如果存在构成相似之值的特征区域，则可以将包含该特征区域的图像作为类似图像提示。

(5)图像的结合处理

下面，说明当进行多个图像的连接时的实施例。图6表示特征区域提取/结合程序200的功能框图和处理中使用的数据，其为当提取特征区域之后用于实施使2个图像结合的结合处理。图7表示根据特征区域提取/结合程序的处理流程。下面，根据这些图说明程序的功能和处理。特征区域提取/结合程序200的功能和处理与上述特征区域提取程序20相通用的部分很多。因此，通用部分使用与上述图2、图4相同的符号表示，这里，重点说明不通用的部分。

特征区域提取/结合程序200与图2相同地包括：图像数据获得模块21；边缘象素检测模块22；特征点提取模块23和特征区域判定模块24，除此之外还包括：区域对照模块250以及图像结合模块260。在本实施例中，为了使2个图像结合，将图像数据130a和图像数据130b保存在硬盘13b上。将图像数据130a代表的图像在下面称为图像A，而将图像数据130b代表的图像在下面称为图像B。在本实施例中，图像A相当于权利要求书中的第1图像，图像B相当于权利要求书中的第2图像。

尽管在上述图像数据获得模块21、边缘象素检测模块22、特征点提取模块23和特征区域判定模块24中实施与上述图2所示特征区域提取程序20同样的处理，但在本实施例中，将2个图像数据假设为处理对象。即，图像数据获得模块21在步骤S100′从硬盘13b中读出图像数据130a，130b并将其临时存储在RAM12g中(图像数据121a，121b)。

这样，处理对象成为2幅图像。边缘象素检测模块22和特征点提取模块23通过步骤S105～S142进行因图像数据121a，121b造成的处理。这里，步骤S105～S142的处理是与上述图4所示的处理相同。即，在步骤S105～S142的一次循环中，边缘象素检测模块22基于上述图像数据121a检测出图像A的边缘程度而作为边缘程度数据122a和边缘检测数据123a，特征点提取模块23基于边缘检测数据123a和图形过滤器数据12g4来提取特征点而作为特征点数据125a。

当基于图像数据121a的处理结束后，在步骤S142判别有关图像数据121b(图像B)的处理没有结束，则在步骤S144将处理对象切换到图像数据121b并返回到步骤S105。结果，边缘象素检测模块22生成边缘程度数据122b和边缘检测数据123b，特征点提取模块23生成特征点数据125b。

在本实施例中，提取只针对图像A的特征区域，以及检索在图像B内是否存在与该特征区域一致的区域。为此，在步骤S145′～步骤S160′的处理中，图像A是处理对象。即，特征区域判定模块24在步骤S145′将图像分割成规定大小的区域。在步骤S150，参考上述特征点数据125a而对该被分割的每个区域测量特征点数目，并且在各个区域内提取出特征点有α个或者以上的区域。在步骤S155，还参考上述边缘程度数据122a，叠加在上述步骤S150中被提取的各个区域内存在的象素的边缘程度，并算出其平均值。

然后，在步骤S160′，将该平均值为β或者以上的区域假定为图像A的特征区域SA，并将图像A之特征区域的坐标(表述为SA(X，Y))所代表的特征区域数据126a保存在RAM12g中。在本实施例中，作为上述特征点数据125a被提取的特征点数目和上述阈值α不是特别限定的，当结合自然画图像时，可以将其调整到各种值，例如上述被提取的特征点数目可以变为200～300个，或者使阈值α成为10～30个等。由于调整被提取的特征点数目，因此能够实现调整用于在上述步骤S110中判定是否是边缘象素的阈值。能够根据坐标SA(X，Y)来识别特征区域，但本实施例设想预定大小的矩形并指定其角坐标。显然，可以设想矩形的特征区域并指定该矩形对角的坐标，可以采用各种结构。

如上述，如果生成表示图像A特征区域的特征区域数据126a，则上述区域对照模块250和图像结合模块260在步骤S165实施图像A、图像B的对照/结合处理。图8是表示对照/结合处理的流程图。区域对照模块250是参考上述特征区域数据126a和特征点数据125a，125b并从图像B中提取合乎特征区域SA之区域的模块，其实施步骤S200～步骤S280的处理。

在步骤S200，在图像B中，为了将与特征区域SA相同大小的区域设定作为候补区域SB，将候补区域的位置坐标SB(X，Y)设定作为变量并将其坐标初始为(0，0)。而且，通过设定用于置换特征区域SA内象素和候补区SB内象素之对照值最小值的最小对照值变量M0并且置换作为对照值可获得值的最大值来进行初始化。这里，对照值是叠加区域内各个象素灰度值之差的值，由于当灰度值用8位表达时灰度值变成0～255，因此对照值的最大值是256×(区域内象素数)。

在步骤S205，将坐标偏移(offset)(I，J)设定作为表示用于指定特征区域SA内象素和候补区SB内象素之位置的坐标，并将该值初始化到(0，0)。设定用于替换对各个区域所计算的对照值的对照值变量M，并将该值初始化到0。在步骤S210，设定在对照象素时用于替换每个象素的差值的差值变量V，通过替换作为差值所取得值的最大值来初始化。在这里，差值是象素灰度值的差，当用8位来表示灰度值时，由于灰度值变成0～255，最大值是255。

在本实施方式中，与特征区域SA内特定象素相比较的候补区SB内的象素并不局限于与该特定象素对应位置的象素，也可对照包含其周边的象素。因此，在步骤S210，设定用于指定该周边象素的周边象素变量(K，L)，并将其值初始化到(0，0)。在步骤S215，参考表示象素A之特征点的特征点数据125a和特征区域数据126a，判别坐标SA(X+I，Y+J)是否是特征点。

在该步骤S215，当没有判别出坐标SA(X+I，Y+J)是特征点时，在步骤S250中，用对上述对照值变量M加上差值变量V的值来更新对照值变量M。即，当算出对照值时，对于不是特征点的象素，不计算象素灰度值的差分而加上差分值变量V的最大值。在步骤S215，当判别出坐标SA(X+I，Y+J)是特征点时，在步骤S220，参考表示图像B之特征点的特征点数据125b，判别坐标SB(X+I+K，Y+J+L)是否是特征点。

在步骤S220，当没有判别出坐标SA(X+I+K，Y+J+L)是特征点时，在步骤S240，将“-1，0，1”的任何一个代入K，L当中的各个变量中，并判别是否对所有的组合实施了处理。在步骤S240，如果没有判别出对整个组合实施了处理，则在步骤245进行更新使得通过“-1，0，1”的任何一个来变更(K，L)的值。并且重复步骤S220以后的处理。

即，由于通过(K，L)的值是“-1，0，1”来对所有的任意组合实施处理，对将坐标SB(X+I，Y+J)作为中心的3×3象素就实施步骤S220～S235的处理。由于坐标SA和坐标SB的任何一个也都指定了各个区域的公用角(例如左上角等)，坐标SA(X+I，Y+J)对特征区域SA之角的相对位置关系和坐标SB(X+I，Y+J)对候补区SB之角的相对位置关系是一致的。因此，在本实施例中，不仅是与特征区域SA内特征点对应的候补区SB内的坐标，而且通过包含该坐标的周边像素来判别是否是特征点。

在步骤S220，当判别出坐标SB(X+I+K，Y+J+L)是特征点时，算出abs(PA(X+I，Y+J)-PB(X+I+K，Y+J+L))，并代入到差分值的临时变量V0。这里，abs表示绝对值，PA(X+I，Y+J)代表坐标SA(X+I，Y+J)之象素的灰度值，PB(X+I+K，Y+J+L)代表坐标SB(X+I+K，Y+J+L)之象素的灰度值。

作为各象素的灰度值，可以使用诸如在将各个象素用灰度表达成每个颜色成分时的灰度值和在用灰度表达用于表示各个象素之颜色的颜色值(亮度值、色度值、色调值等)时的灰度值的各种值。在步骤S220，当没有判别出坐标SB(X+I+K，Y+J+L)是特征点时，跳过步骤S225、S230而进行步骤S240的判别。

在步骤S230，判别差分值之临时变量V0的值是否比上述每个象素之差分值变量V小，当判别出差分值之临时变量V0的值是比上述每个象素之差分值变量V小时，在步骤S235将变量V0的值代入变量V。当在步骤S235判别出差分值之临时变量V0的值不比上述每个象素之差分值变量V小时，跳过步骤S235。

在上述处理之后，进行步骤S240的判别，当在步骤S240判别出通过选择“-1，0，1”任何一个所生成的(K，L)的全部组合已经实施了处理之后，在步骤S250，用对上述对照值变量M加上差分值变量V的值来更新对照值变量M。当经过步骤S220～S245的处理时，由于当差分值之临时变量V0比差分值变量V更小时不进行更新该变量V的处理，差分值变量V在通过对照上述3×3象素所得的差分值之中将被代入最小的值。

在步骤S255，判别区域内的全部象素是否实施了上述处理，即对坐标偏移(I，J)，在通过使用直到I，J规定的上限值为止的任意值而获得的全部组合上是否实施了设定的处理，如果判别出对区域内的全部象素已经实施了上述处理，则在步骤S260更新(I，J)和重复步骤S210以后的处理。

通过上述处理，对于特征区域SA内的全部象素，并不算出与候补区域SB内象素的差分，而是进行通过算出特征区域SA内特征点和候补区域SB内特征点之间的差分并相加到对照值变量M的处理。在不是特征点的情况下，将上述每个象素的差分最大值相加到对照值变量M。这个处理的结果使得来自非特征点象素的贡献全部构成相同的值(最大值)。因此，如果最终获得的对照值M之值小的越小，则特征点象素的灰度值差就变得越小。

在步骤S265，判别对照值变量M的值是否是比最小对照值变量M0的值还小，当判别出对照值变量M的值是比最小对照值变量M0的值还小时，将变量M的值作为是此时刻的最小值，并在步骤S270用变量M的值更新变量M0。在本实施例中，将对照值成为最小值的候补区域SB看着是与特征区域SA吻合的区域。因此，在步骤S270，将表示与特征区域SA吻合之图像B内区域的对照位置坐标SB(X0，Y0)设定为变量，将坐标SB(X，Y)的值代入坐标SB(X0，Y0)。

在步骤S265，当没有判别出对照值变量M的值是比最小对照值变量M0的值还小时，将候补区域SB作为不与特征区域SA吻合并跳过步骤S270。然后，在步骤S275中，判别图像B全范围内的处理是否结束，即判别对于在图像B内取得的全部坐标是否已经设定了候补区域位置的坐标SB(X，Y)，如果在该步骤S275判别出在图像B全范围内的处理还没有结束，则在步骤S280更新坐标SB(X，Y)并重复步骤S205以后的处理。

通过步骤S275的判别，当判别出在图像B全范围内的处理已经结束时，则结束对于图像B内存在的候补区域的对照。对照的结果，成为最小对照值M的区域坐标变成了坐标SB(X0，Y0)。因此，通过该角坐标SB(X0，Y0)识别了与特征区域SA吻合的图像B内的区域。

因此，在步骤S285，图像结合模块260接收该坐标SB(X0，Y0)，并且通过参考上述特征区域数据126a取得坐标SA(X，Y)，结合图像数据121a，121b使得坐标SA(X，Y)和坐标SB(X0，Y0)重合以及输出作为结合图像数据。根据上述处理，使图像A和图像B中构成相同内容的部分能够正确地重合，同时能够结合图像。

下面，说明根据上述构成和处理的操作例。图9是说明图像A和图像B在适当位置重合和结合情况的说明图，图像A和图像B是使山作为被摄体的照片。图中所示的图像A构成为前面有一座大山，该山后面可见另一座山的山峰。图像B构成为将这些山的右侧作为被摄体，而将前面的山偏向图像的左侧，使得后面的山有很大的可见性。

当边缘象素检测模块22和特征点提取模块23基于表示这些图像的图像数据121a，121b进行处理时，例如在山脊棱线上检测出多个特征点。尽管通过特征点数据125a，125b表示特征点，但在这些数据中，对于点阵形状的各个象素，将使特征点为“1”，不是特征点的象素作为“0”。因此，构成了如在图9第二段示意表示的数据。

对于图像A，通过特征区域判定模块24提取特征区域，如图9第三段所示，确定特征区域SA左上角的坐标SA(X，Y)。对于图像B，通过特征区域判定模块24设定候补区域SB。区域对照模块250一边改变候补区域SB的位置即一边扫描在图像B内的区域，一边算出对照值M。在该扫描结束时刻，提供最小对照值M0的区域(坐标SB(X0，Y0))通过与特征区域SA比较是特征点象素之灰度值之间差分为最小的区域。

因此，如图9所示，该坐标SB(X0，Y0)的图像和坐标SA(X，Y)的图像相吻合，并且在图像结合模块260中，通过使该坐标之间重合同时使图像A，B结合，能够准确地使图像重合。在本实施例中，从图像A中提取特征点，并基于特征点判定图像A的特征区域。因此，从图像A中，能够容易且高速地提取构成重合时之基准的部位。

在本实施方式中，对于在图像A、图像B中的这些特征点计算差分。因此，不必要算出图像A，B全部象素的差分和进行诸如尝试匹配的处理就能够进行快速的处理。而且，通过提取边缘来检测特征点，即使是复杂的图像，也能够容易且客观地提取图像的特征部分并基于该特征部分来进行用于图像结合的对照。因此，能够高精度和高速地实施处理。

用于提取特征点并在多个图像内识别应该结合的位置的处理不局限于上述处理。例如，也可以是将通过候补区SB来进行扫描的对象不假设为图像B的全体、而是构成其一部分的结构。更具体地，尽管可以通过与上述图6所示结构几乎相同的结构来实现，但特征区域判定模块24也提取图像A中的特征区域SA再加上图像B中的特征区域SB’。作为特征区域SB’，优选通过调整用于作为比较对象的上述阈值α和将平均边缘程度是规定阈值或者以上的区域假定为特征区域SB’等来提取多个区域。

图10表示对于上述图9所示图像A，B当使用该实施例时的例子。即，对于特征点数据，通过与图6所示结构相同的结构来生成特征点数据125a，125b，通过特征区域判定模块24提取特征区域SA、特征区域SB’。这里，尽管通过与上述图8几乎相同的处理来进行对照，但对于构成作为候补区域SB之扫描对象的区域可以是特征区域SB’和其周边区域。例如，将图10所示的包围特征区域SB’之四周的虚线作为扫描对象，并在步骤S280中通过变更这种被限定区域内的坐标来进行对照。

即，如果利用在提取图像A中特征区域时的算法，则可推断从图像B中可以提取具有与该特征区域相同特征的区域。因此，如果对于图像B使用与图像A相同的算法来提取图像B中的特征区域，则不必要将整个图像B假定为候补区域，因此能够非常快速地结束处理。在图10中，包含了作为扫描对象的特征区域SB’的周边，通过它能够可靠地提取与特征区域SA吻合的部位。显然，根据所要求可靠性的程度，能够调整作为特征区域SB’周边所应该采用的区域的面积，以及也可以对于周边区域采用不进行扫描的构成。

而且，如上述实施例那样，对于诸如矩形等特定形状区域内的象素并非必须是进行对照的构成。例如，通过特征点相对位置关系也可以检测图像A和图像B中应该吻合的部位。图11是当对于图9所示图像A，B适用本实施例时的例子，图12是说明该处理的流程图。该实施例也通过与上述图6的共同构成来实现。

即，通过图6中的模块处理算出图像A的特征点数据125a和图像B的特征点数据125b，并算出图像A中的特征区域SA。在图11的左侧，放大示出了从图像A提取的特征区域的例子。该放大图中黑点是特征点。在该实施方式中，区域对照模块进行与上述图6所示区域对照模块250不同的处理。即，将特征区域SA内特征点的分布图形取得作为分布图形数据，从图像B中提取成为该分布图形的部位。

为此，在本实施例中，区域对照模块执行图12所示处理以代替图8所示处理。即，根据特征区域SA内具有的特征点，提取位于最左侧的象素并假定坐标A(X0，Y0)(步骤S1650)。接着，生成表示该坐标A(X0，Y0)和其他特征点之相对位置关系的分布图形数据(步骤S1655)。

例如，从坐标A(X0，Y0)朝向右侧检索特征点，如果特定出位于在最初发现的特征点和坐标A(X0，Y0)之间的横向象素数(xa)和纵向象素数(yb)，则能够描述两者的相对位置关系。因此，对于当从坐标A(X0，Y0)向着右侧移动时发现的特征点，如果将横向象素数和纵向象素数顺序假定为(xa，ya)，(xb，yb)，…，则能够形成分布图形数据。

显然，分布图形数据的形式不局限于这种形式，不管如何，在生成分布图形数据之后，要基于这个分布图形数据来与图像B的特征点对照。即，通过从特征点数据125b中提取一个特征点并将其坐标代入坐标b(X0，Y0)(步骤S1660)。接着，在参考上述分布图形数据以及位于该坐标b(X0，Y0)之右侧的同时，依次提取相当于特征区域SA内特征点位置的象素。即，依次进行诸如通过将xa加到坐标b(X0，Y0)的x坐标和将ya加到y坐标来特定象素的位置以及通过将xb，yb加到该坐标上来特定象素位置的处理。然后，取得各个象素的灰度值，并与上述图像A中的特征点对照。即，在算出图像A中各个特征点象素的灰度值和作为与各个特征点对应的象素即从图像B中所提取象素的灰度值之间的差分的同时，叠加该差分值并假定为对照值M(步骤S1665)。

如果算出了对照值M，则判别其是否比应该代入最小对照值的变量M0的值更小(步骤S1670)，当判别出对照值M的值是比变量M0的值更小时，将该变量M的值作为此时刻的最小值，并用变量M的值更新变量M0(步骤S1675)。此时，将坐标b(X0，Y0)的值代入变量B(X0，Y0)，变量B(X0，Y0)是应该代入与坐标A(X0，Y0)应该重合的图像B上的坐标。在处理的开始阶段，通过将充分大的值预先代入变量M0来预先初始化。

在步骤S1680，判别是否结束了将图像B内全部特征点值作为坐标b(X0，Y0)的处理，在判别出全部特征点的处理结束之前，在步骤S1685更新坐标b(X0，Y0)的同时，重复步骤S1665以后的处理。在上述重复处理之后，作为坐标B(X0，Y0)之值被登录的坐标是图像B内的坐标，也是应该与图像A之坐标A(X0，Y0)重合的坐标。因此，在图像结合模块中，进行一边使坐标A(X0，Y0)和坐标B(X0，Y0)重合一边结合图像A和图像B的处理。

根据上述处理，不用实施在图像B内形成预定大的区域和对该区域内的象素进行对照那样的处理，而有可能结合图像A和图像B。在本实施例中，能够通过从图像A中提取在分布图形中具有某种特征的部位来形成分布图形数据，而不必要进行从图像A中提取特征区域的处理。而且，上述实施例不限定于2个图像。例如，在其他图像结合到某个图像之左右的情况下，就变成相对某个图像来对照其他两个图像，在其他图像结合到某个图像的上下左右的情况下，就变成相对某个图像来对照其他四个图像。

工业实用性

根据如上述说明的本发明，当实施用于检索由数字摄像机等产生的摄像图像或者其一部分的图像检索和在连接全景照片图像之际的连接位置检索时，能够提供用于实现在图像内检索特征部位之功能和连接多个图像之功能的计算机等。

Claims (19)

1、一种特征区域提取装置，其特征在于，包括：

图像数据取得装置，用于取得以点阵形状的象素表现图像的图像数据；

边缘象素检测装置，用于基于图像数据检测图像的边缘象素；

特征点提取装置，用于当由所检测边缘象素及其周围象素形成的图形接近于规定的提取对象时将该边缘象素提取作为特征点；和

特征区域判定装置，用于将在所述图像内分布了很多所提取特征点的规定区域判定为特征区域。

2、根据权利要求1所述的特征区域提取装置，其特征在于，

所述特征点提取装置是通过表示边缘象素的过滤器值和表示非边缘象素的过滤器值所形成的点阵形状的过滤器，其通过对照由各个过滤器值的分布来形成构成了提取对象之图形的多个过滤器和检测出所述边缘象素之后的边缘检测数据，来判定相当于所述过滤器中央的象素是否是特征点。

3、根据权利要求2所述的特征区域提取装置，其特征在于，

在所述对照时，对各个边缘象素适用所述过滤器，在该边缘象素周围当表示所述边缘象素的过滤器值和所述边缘检测数据的边缘象素在2处或者以上位置相一致时，将使用了过滤器的边缘象素假定为特征点。

4、根据权利要求1～3中任一项所述的特征区域提取装置，其特征在于，所述提取对象图形是当边缘形成90°以上和不足180°的角时的图形。

5、根据权利要求2～3中任一项所述的特征区域提取装置，其特征在于，所述过滤器是3×3象素的过滤器，在除了其中央的象素中，邻接的4象素是表示边缘象素的过滤器值，邻接的其他4象素是表示非边缘象素的过滤器值。

6、根据权利要求1～5中任一项所述的特征区域提取装置，其特征在于，所述特征区域判定装置将所述图像分割成规定象素数的多个区域，当该区域内所包含的所述特征点数在规定阈值以上时，将该区域假定为所述特征区域。

7、根据权利要求6所述的特征区域提取装置，其特征在于，所述特征区域判定装置算出在所述多个区域的每个上所包含的象素的边缘程度之平均值，将该平均值高的区域假定为所述特征区域。

8、根据权利要求1～7中任一项所述的特征区域提取装置，其特征在于，所述图像数据取得装置取得表示第一图像的第一图像数据和表示第二图像的第二图像数据，所述特征区域判定装置判定在所述第一图像内的特征区域，并且具有对照该特征区域内象素和所述第二图像内象素的区域对照装置。

9、根据权利要求8所述的特征区域提取装置，其特征在于，所述区域对照装置比较所述特征区域内象素的灰度值和所述第二图像内象素的灰度值，并提取出两者之差小的第二图像内的区域。

10、根据权利要求9所述的特征区域提取装置，其特征在于，所述区域对照装置在所述第二图像内提取出与所述特征区域同等大小的比较对象区域，通过叠加所提取比较对象区域象素的灰度值和所述特征区域内象素的灰度值之差分大小来作为该提取区域的对照值，并且提取出对照值成为小值的区域。

11、根据权利要求10所述的特征区域提取装置，其特征在于，所述区域对照装置在所述特征区域内的象素是所述特征点时在所述比较对象区域内提取出与该特征点位置相当的象素和其周围象素，并且在这些象素是特征点时将其灰度值和所述特征区域内特征点的灰度值的差分大小加到所述对照值。

12、根据权利要求8～11中任一项所述的特征区域提取装置，其特征在于，包括结合图像数据生成装置，其生成表示结合图像的结合图像数据，结合图像是通过将在所述区域对照装置中通过对照而被提取的第二图像内的区域和所述特征区域相重合而使所述第一图像和第二图像相结合的图像。

13、根据权利要求1～7中任一项所述的特征区域提取装置，其特征在于，所述图像数据取得装置取得表示第一图像的第一图像数据和表示第二图像的第二图像数据，所述特征区域判定装置判定针对所述第一图像和第二图像之每一个的特征区域，并且具有区域对照装置，其用于对照在第一图像内被提取特征区域内的象素和在所述第二图像内被提取特征区域和其周边区域内的象素。

14、一种特征区域提取装置，其特征在于，包括：

图像数据取得装置，作为以点阵形状的象素表现图像的图像数据，用于取得表示第一图像的第一图像数据和表示第二图像的第二图像数据；

边缘象素检测装置，用于基于第一图像数据和第二图像数据之每一个来检测图像的边缘象素；

特征点提取装置，用于当由所检测边缘象素和其周围象素形成的图形接近于规定的提取对象时将该边缘象素作为特征点，并分别提取第一图像内的特征点和第二图像内的特征点；

分布图形数据生成装置，用于基于所述被提取第一图像内的特征点来生成表示该分布图形的分布图形数据；和

特征区域判定装置，用于参考被生成的分布图形数据，将所述第二图像内特征点与该分布图形基本吻合的区域提取作为特征区域。

15、根据权利要求14所述的特征区域提取装置，其特征在于，所述分布图形数据是用于特定特征点相对位置关系的数据。

16、一种特征区域提取方法，其特征在于，包括：

图像数据取得步骤，用于取得以点阵形状的象素表现图像的图像数据；

边缘象素检测步骤，用于基于图像数据检测图像的边缘象素；

特征点提取步骤，用于当由所检测边缘象素和其周围象素形成的图形接近于规定的提取对象时将该边缘象素提取作为特征点；和

特征区域判定步骤，用于将在所述图像内分布了很多所提取特征点的规定区域判定为特征区域。

17、一种特征区域提取程序，在规定存储介质上临时存储表示图像的图像数据并从该图像中提取特征区域，其特征在于，在计算机中实现下述功能：

边缘象素检测功能，用于基于所述存储介质中存储的所述图像数据来检测图像的边缘象素；

特征点提取功能，用于当由所检测边缘象素和其周围象素形成的图形接近于规定的提取对象时将该边缘象素提取作为特征点；和

特征区域判定功能，用于将在所述图像内分布了很多所提取特征点的规定区域判定为特征区域。

18、一种特征区域提取方法，其特征在于，包括：

图像数据取得步骤，作为以点阵形状的象素表现图像的图像数据，用于取得表示第一图像的第一图像数据和表示第二图像的第二图像数据；

边缘象素检测步骤，用于基于第一图像数据和第二图像数据之每一个来检测图像的边缘象素；

特征点提取步骤，用于当由所检测边缘象素和其周围象素形成的图形接近于规定的提取对象时将该边缘象素作为特征点，并分别提取第一图像内的特征点和第二图像内的特征点；

分布图形数据生成步骤，用于基于所述被提取第一图像内的特征点来生成表示该分布图形的分布图形数据；和

特征区域判定步骤，用于参考被生成的分布图形数据，将所述第二图像内特征点与该分布图形基本吻合的区域提取作为特征区域。

19、一种特征区域提取程序，将表示第一图像的第一图像数据和表示第二图像的第二图像数据临时存储在规定的存储介质中，并且从第二图像中提取可与第一图像的一部分重合的特征区域，其特征在于，在计算机上实现下述功能：

边缘象素检测功能，用于基于所述存储介质中存储的第一图像数据和第二图像数据之每一个来检测图像的边缘象素；

特征点提取功能，用于当由所检测边缘象素和其周围象素形成的图形接近于规定的提取对象时将该边缘象素作为特征点，并分别提取第一图像内的特征点和第二图像内的特征点；

分布图形数据生成功能，用于基于所述被提取第一图像内的特征点来生成表示该分布图形的分布图形数据；和

特征区域判定功能，用于参考被生成的分布图形数据，将所述第二图像内特征点与该分布图形基本吻合的区域提取作为特征区域。

Images