CN1131495C

CN1131495C - 特征信息赋予方法及装置

Info

Publication number: CN1131495C
Application number: CN97199124A
Authority: CN
Inventors: 松本幸则; 寺崎肇; 杉本和英; 荒川勉
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1996-08-29
Filing date: 1997-08-28
Publication date: 2003-12-17
Anticipated expiration: 2017-08-28
Also published as: CN1234128A; US6356272B1; CN1480903A; WO1998009253A1; US20010005204A1; US7106348B2; US6847371B2; US20020060686A1

Abstract

本方法基于使实际存在的物体每旋转任意的角度被拍摄的多个物体图像信息，利用多边形表示3维形状模型，并对于各多边形根据该多边形具有最大的投影面积的物体图像信息，赋予特征信息。为了改善相邻的多边形间的色彩连续性，选择对应于与所注意的多边形和相邻的多边形的物体图像信息，以便成为拍摄位置和拍摄方向接近的物体图像信息。另一个方法是将物体图像分割成多个区域，以区域为单位求得物体图像和背景图像的差分，以区域为单位导出差分的绝对值的平均值，并检测差分的绝对值的平均值在阈值以上的区域作为物体部分。另一个其它的方法是仅拍摄对象物体的背景，同时一边使对象物体旋转一边进行拍摄，得到多个物体图像。然后，借助于在物体图像和背景图像之间进行差分处理，生成轮廓图像，以该轮廓图像为基础在体元空间进行表决处理，以利用表决处理得到的立体形状为基础生成多边形，并将从物体图像获得的特征映射到多边形上。

Description

特征信息赋予方法及装置

技术领域

本发明涉及根据对真实的对象物体进行拍摄得到的物体图像、将特征信息赋予该对象物体的形状模型用的特征信息赋予方法，从物体图像除去背景那样的不要的部分以抽取物体部分用的物体抽取方法，以及生成对象物体的立体模型的立体模型生成方法及其装置。

背景技术

由于计算机图形学等的进展，正在盛行开发3维图形学的实用的系统。但是，随着这种实用化系统的普及，一个显著的问题是形状数据的输入方法。也就是说，将具有自由曲面的物体和存在于自然界的很多物体等的复杂的3维形状输入到计算机等中，是非常麻烦、复杂和困难的作业。

此外，在计算机内等再次构成物体的场合，在单单仅再次构成物体形状中的情况下，很难表现更加实际的物体表面的质感等。

因此，如果以通过拍摄实际的物体所得到的图像信息为基础，能在计算机内再次构成形状信息和色彩/质感信息等，则能简单地进行3维图像信息的处理。

另一方面，在例如因特网等的3维图像通信中，由作为信息发送者的一般用户生成3维图像的机会增加。因此，也需要用简便而且小型的装置构成来生成3维图像。

(1)在日本特开平5-135155号公报中公开了一种立体模型生成装置，该装置能在普通的照明条件下，根据在旋转台上的对象物体的连续轮廓图像，构成3维模型。

这种3维模型构成装置，用拍摄机对在旋转台上旋转的对象物体连续地进行拍摄，并利用图像处理计算机由拍摄的图像进行对象物体的轮廓图像的抽取。在这种轮廓图像中，由这种轮廓图像的轮廓测量到垂直旋转轴的水平距离，并根据这种水平距离和旋转角度生成3维模型。也就是说，由连续拍摄的轮廓图像抽取对象物体的轮廓，作为3维模型进行显示。

图1是表示基于由拍摄机连续拍摄的图像信息、对于如前述生成的3维模型附加特征信息的方法的示意图。

在前述的日本特开平5-135155号公报中，对连续地旋转对象物体、并拍摄对象物体进行了说明，也就是说，对以人类对于3维模型的形状识别的分辨率程度得到图像信息的场合进行了说明。更具体地说，例如每隔1度旋转角拍摄图像，则对象物体得到360张图像，对于这种情况进行说明。

下面，为简单说明起见，对于每隔较大的角度拍摄图像的场合进行说明，但其本质上是相同的。

如图1所示所考虑的情况是，使对象物体不断地每隔固定的角度旋转，同时拍摄共计n张图像。这种场合，对各个图像信息作为标记号码分别相应取1，2，··· ，n。

用使用多边形(三角形拼块)的形状模型(wire frame model：线框模型)300，表示对象物体。在对于这种形状模型300赋予特征信息时，对于各个三角形拼块，对应于拍摄对象物体的拍摄机的方向，赋予对应的标记号码的图像信息的色彩信息(特征信息)。

更详细地说是这样的方法，即考虑向量是从形状模型300的旋转轴指向所注意的三角形拼块时，是从该向量和拍摄方向向量的方向最一致的图像，获得对于这种三角形拼块的特征信息。或者，更直观地进行说明是这样的方法，即在表面模型上假定地球仪那样的经线，对于0度到1×360/n度范围的三角形拼块从1号图像信息获得特征信号，对于1×360/n度到2×360/n度范围的三角形拼块从2号图像信息获得特征信息。下面，称这种特征信息的获得方法为中心投影方式。

采用前述的中心投影方式有这样的优点，即对于构成各个三角形拼块或者与其相当的形状模型的构成要素(下面称为立体形状构成要素)，能与图像信息一一对应，而且很容易决定这种对应关系。

但是，对于中心投影方式的缺点是，在从旋转轴看的情况下，对于不存在于同一旋转角范围内的立体形状构成要素，因根据不同的图像信息(标记号码不同的图像信息)赋予特征信息，所以由于照明等的关系在色彩信息的光泽和质感有微妙不同时，其特征的接缝明显。

此外，根据对象物体的形状，在从某个拍摄方向得到的图像信息中，因不能看到对应的立体形状构成要素，所以在对应的图像信息中，常常不能全部包含该立体形状构成要素对应的特征信息。

图2是用于说明这种情况的示意图。也就是说，在图2中，示出了在包含对象物体旋转轴的垂直平面中旋转轴、对象物体剖面和投影在拍摄机内的物体像的关系。当对象物体的形状在图2所示的场合，即包含有从拍摄机侧不能看到的部分的场合，在从这种角度方向拍摄的图像信息中，不存在这种没有看到的部分的特征信息。但是，从例如与这种拍摄方向有一定的角度的其它的拍摄方向，有可能获得这种没有看到的部分的特征信息。

(2)作为从物体图像仅抽取物体部分的以往的方法，是基于使用辅助工具的人工的方法。具体地说，将与背景一起拍摄对象物体得到的物体图像分割成多个区域。然后，人们用鼠标器等选择物体图像中的背景部分，并逐步消除背景部分。但是，这种方法的问题是，因采用手工的方法，所以工作量很大。

此外，作为以往其它的物体抽取方法，有使用色度键技术的方法。具体地说，用同色的背景板从物体图像抽取物体部分。但是，用这种方法的问题是，必须准备同色背景板的特殊的环境。

此外，作为以往其它的物体抽取方法，有使用单纯差分的方法。具体地说，在物体图像和仅拍摄对象物体的背景的背景图像之间进行差分处理，并求出差分。然后，抽取差分的绝对值在阈值以上的部分作为物体部分。但是，用这种方法的问题是，当在对象物体中存在与背景色相同部分的情况下，就不能抽取该部分作为物体部分。也就是说，存在物体部分的抽取精度差的问题。

此外，作为以往其它的物体抽取方法，有利用基于立体法得到的进深信息的方法。具体地说，从与背景一起拍摄对象物体得到的物体图像抽取进深信息在阈值以下的部分作为物体部分。但是，用这种方法的问题是，在对象物体和背景的边界附近进深差较大，未必能得到正确的进深信息。因此存在错误抽取背景图像的一部分作为物体部分的问题。

此外，采用任何一种前述以往的方法，必须预先给定阈值。这里的问题是，考虑到对图像进行AD变换的A/D变换器的变换特性和照明的特性，很难确定适当的阈值。特别，在A/D变换器的变换特性和照明的特性变动的场合，还存在必须重新修改确定阈值的问题。

(3)作为读取对象物体形状的以往的装置，有3维数字化仪。3维数字化仪包括具有多个关节的臂和笔。人使这种笔接触对象物体并在对象物体上移动。这样，一移动笔，臂的关节的角度就变化。以这种臂的关节的角度信息为基础，求得对象物体的3维形状。但是，因这种数字化仪是用人工进行测量，所以存在作业时间和工作量非常大的问题。

此外，作为以往其它的装置有激光扫描器。激光扫描器借助于将激光照射在对象物体上进行扫描，求得对象物体的3维形状。但是，用这种激光扫描器的问题是，不能得到由吸收光的材料组成的对象物体的立体模型。此外的问题是，装置非常复杂并且价格高。再有，因必须在暗室进行对象物体的测量，所以存在受拍摄环境限制的问题。此外，还存在难于取入色彩信息的问题。

在美国专利4982438号中公开了立体模型生成装置。在这种装置中，用对象物体的轮廓图像算出假定存在区域。假定存在区域是以拍摄机的投影中心为顶点，以对象物体的轮廓为剖面形状的锥体状的区域。用体元(voxel)模型描述这种锥体状的区域(假定存在区域)。对于多个轮廓图像进行前述那样的处理。然后，求得共同假定存在区域，生成对象物体的立体模型。这里，共同假定存在区域是对于多个轮廓图像的多个假定存在区域的逻辑积部分。但是，在这种装置中，因由逻辑积得到立体形状，所以问题是，当有1个轮廓图像不正确时，就不能生成高精度的立体模型。此外，因仅从水平方向(与旋转轴垂直的方向)拍摄对象物体，所以还存在色彩信息不足或者不能识别局部地方的凹部的问题。

在前述日本特开平5-135155号公报公开了的立体模型生成装置中，用拍摄机拍摄用旋转台旋转的对象物体，得到多个轮廓图像。以这种多个轮廓图像为基础，得到在多个水平面(垂直于旋转轴的面)的对象物体的多个形状。然后，在相邻的水平面中，用三角形拼块连接对象物体形状的轮廓上的点。这里，对每个规定的角度规定1个水平面上对象物体的形状轮廓线上的点。这样，生成对象物体的立体模型。但是，这种装置的问题是，为了生成轮廓图像，必须使用背景板的特殊的拍摄环境。此外的问题是，因利用多个水平面的对象物体的形状生成立体模型，所以数据量大，处理时间长。

因此，本发明的目的是提供在基于拍摄实际存在的物体的图像信息并在计算机内等再次构成立体模型的场合，能将特征信息赋予构成形状模型的各个立体形状构成要素而与对象物体的形状无关的特征信息赋予方法及其装置。

本发明的其它的目的是提供在基于拍摄实际存在的物体的图像信息并将特征信息赋予形状模型时，能从被拍摄的图像信息赋予更加接近实际存在的物体所具有特征的特征信息的特征信息赋予方法及其装置。

本发明的其它的目的是提供在以拍摄实际存在的物体而得的图像信息为基础将特征信息赋予形状模型时，赋予各个构成形状模型的立体形状构成要素的特征的不连续性(接缝)不明显的特征信息赋予方法及其装置。

本发明的其它的目的是提供即使对象物体存在与背景的色彩相同的部分的场合，也能抽取该部分作为物体部分的物体抽取方法及其装置。

本发明的其它的目的是提供即使在各种特性变动的场合，也总是能稳定并抽取正确的物体部分的物体抽取方法及其装置。

本发明的其它的目的是提供减少人工作业、同时不需要特殊的拍摄环境的物体抽取方法及其装置。

本发明的其它的目的是提供能减少人工作业的立体模型生成方法及其装置。

本发明的其它的目的是提供对拍摄环境和对象物体的材料的限制小、结构简单的立体模型生成方法及其装置。

本发明的其它的目的是提供即使多个轮廓图像中的若干个不正确也能生成高精度的立体模型的立体模型生成方法及其装置。

本发明的其它的目的是提供能得到充分的色彩信息、也能识别对象物体的局部地方的凹部的立体模型生成方法及其装置。

本发明的其它的目的是提供不需要特殊的拍摄环境、处理的数据量少并能高速地生成立体模型的立体模型生成方法及其装置。

发明内容

按照本发明的1个方面，对于形状模型的特征信息赋予装置，包括

将对象物体的形状作为基于多个立体形状构成要素的集合的形状模型进行描述的装置，

根据借助于从不同的视点对对象物体进行拍摄所获得的多个物体图像信息，对于每个立体形状构成要素、对应于各物体图像信息的立体形状构成要素的特征信息量，对于形状模型赋予特征信息的装置。

比较理想的是，对于每个立体形状构成要素，基于各立体形状构成要素的面法线方向和对各物体图像信息进行拍摄的方向的一致程度，表示所述特征信息量。

比较理想的是，对于每个立体形状构成要素，基于投影在各物体图像信息的立体形状构成要素的面积，表示所述特征信息量。

按照本发明的另1个方面，对于形状模型的特征信息赋予装置，包括

根据借助于从不同的视点对对象物体进行拍摄所获得的多个物体图像信息，对于每个立体形状构成要素、对应于各物体图像信息的立体形状构成要素的特征信息量和立体形状构成要素间的特征连续性的两个方面，对于形状模型赋予特征信息的装置。

比较理想的是，在赋予所述特征信息的装置中，根据对应于每个立体形状构成要素的物体图像信息，对于形状模型赋予特征信息，以便使随着特征信息量的增加而减少并且随着立体形状构成要素间的特征连续性的改善而减少的评价函数极小化。

比较理想的是，在所述评价函数中，用分别与所注意的立体形状构成要素和与其相邻的立体形状构成要素对应的物体图像信息的拍摄位置和拍摄方向的差的函数，表示特征连续性。

比较理想的是，在所述评价函数中，在伴随位置变化对物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，用随着分配给所注意的立体形状构成要素的标记号码和分配给与所注意的立体形状构成要素相邻的立体形状构成要素的标记号码之差的增加而增加的函数，表示特征连续性。

比较理想的是，在所述评价函数中，在伴随规则的位置变化对物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，用随着分配给所注意的立体形状构成要素的标记号码和分配给与所注意的立体形状构成要素相邻的立体形状构成要素的标记号码之差的增加而增加的函数，表示特征连续性。

比较理想的是，在所述评价函数中，对于每个立体形状构成要素，用投影到各物体图像信息中的立体形状构成要素的面积的函数，表示特征信息量。

比较理想的是，在所述评价函数中，对于每个立体形状构成要素，用各立体形状构成要素的面法线方向和对各物体图像信息进行拍摄的方向的一致程度的函数，表示特征信息量。

比较理想的是，在所述评价函数中，用分配给第i号(i：自然数)立体形状构成要素的标记号码和分配给与第i号立体形状构成要素相邻的立体形状构成要素的标记号码之差的全部立体形状构成要素的总和，与用投影到分配给第i号立体形状构成要素的标记号码对应的物体图像信息的第i号立体形状构成要素的面积的全部立体形状构成要素的总和的线性组合，表示特征信息量。

按照本发明的其它另外的1个方面，对于形状模型的特征信息赋予装置，包括

将标记号码与每个立体形状构成要素加以对应，以便在伴随位置变化对多个物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，使随着对于各立体形状构成要素的特征信息量的增加而减少并且随着分别分配给各立体形状构成要素和与其相邻的立体形状构成要素的特征信息的特征连续性的改善而减少的评价函数极小化的装置。

基于与加以对应的标记号码相对应的物体图像信息和与包含加以对应的标记号码的规定数的标记号码相对应的物体图像信息，借助于进行对应于投影到各物体图像信息的立体形状构成要素的面积的加权平均处理，将特征信息赋予立体形状构成要素的装置。

比较理想的是，在将特征信息赋予立体形状构成要素的装置中，对于前述立体形状构成要素，求出投影到对应于与立体形状构成要素对应的标记号码的物体图像信息和对应于包含前述对应的标记号码的规定数的标记号码的物体图像信息的面积，并以其作为进行后述的加权平均处理时的加权系数。然后，求出前述立体形状构成要素投影到前述物体图像信息的部位，并用加权平均处理来处理这种投影部的图像信息(色彩、浓度或者亮度)，作为前述立体形状构成要素的特征信息。

将标记号码与每个立体形状构成要素加以对应，以便在伴随规则的位置变化对多个物体图像信息进行拍摄的场合将标记号码给予各物体图像信息时，使随着对于各立体形状构成要素的特征信息量的增加而减少并且随着分别分配给各立体形状构成要素和与其相邻的立体形状构成要素的特征信息的特征连续性的改善而减少的评价函数极小化的装置。

借助于从不同的视点拍摄对象物体以获得多个物体图像信息的装置，

借助于对相应于分别投影到多个物体图像信息的立体形状构成要素相应的面积的全部物体图像信息进行加权平均处理，将得到的特征信息赋予各立体形状构成要素的装置。

比较理想的是，在将特征信息赋予立体形状构成要素的装置中，对于前述各立体形状构成要素，求出投影到物体图像信息的面积，并以其作为进行后述的加权平均处理时的加权系数。然后，求出前述立体形状构成要素投影到前述物体图像信息的部位，并用加权平均处理来处理这种投影部的图像信息(色彩、浓度或者亮度)，作为前述立体形状构成要素的特征信息。

因此，采用前述特征信息赋予装置，则在基于拍摄实际存在的物体的图像信息并在计算机内等再次构成形状模型的场合，能从拍摄该对象物体的多个图像信息中有选择地将最适合的图像信息赋予形状模型，作为最实际存在的物体具有的特征信息。

此外，对于作为多个立体形状构成要素的集合表现的形状模型，在赋予特征信息(色彩信息)的场合，能抑制各立体形状构成要素间的特征信息的不连续性，同时有选择地将与实际存在的物体具有的特征信息更接近的特征信息赋予各立体形状构成要素。

此外，对于多个立体形状构成要素，因能基于从实际的对象物体拍摄的物体图像信息，将赋予特征信息的处理置换成对于各立体形状构成要素的附标记(labelling)问题进行处理，所以能以计算机处理等适合的顺序进行对于各立体形状构成要素的特征信息的赋予处理。

按照本发明的其它另外的1个方面，从拍摄对象物体得到的物体图像中除去不希望要的部分并抽取物体部分的物体抽取装置，包括

区域分割装置和抽取装置。

区域分割装置将物体图像分割成多个区域。

抽取装置借助于进行将物体图像的各图像信息汇总在每个区域中的处理，确定并抽取物体图像中的物体部分

这里，不希望要的部分是例如背景部分。

比较理想的是，在抽取装置中，将物体图像的各象素信息汇总在每个区域中的处理是在每个区域中将物体图像的各象素的信息加以平均化的处理。

比较理想的是，抽取装置借助于对于汇总在每个区域中的各象素的信息进行阈值处理，确定物体图像中的物体部分并进行抽取。

比较理想的是，物体图像的各象素的信息是在仅拍摄对象物体的背景的背景图像和物体图像间进行差分处理得到的差分信息。

比较理想的是，抽取装置包括差分处理装置，平均值导出装置和阈值处理装置。

差分处理装置在仅拍摄对象物体的背景的背景图像和物体图像间进行差分处理。

平均值导出装置对于由差分处理得到的差分的绝对值，求出各区域内的平均值。

阈值处理装置比较区域内的平均值和预定值，并抽取平均值在预定值以上的区域作为物体部分。

平均值导出装置算出物体图像的各区域内的象素的平均值，

差分处理装置在物体图像的各区域内的象素的平均值和与该区域对应的背景图像的区域内的象素的平均值间进行差分处理，

阈值处理装置比较基于差分处理得到的差分的绝对值和预定值，并抽取差分的绝对值在预定值以上的区域作为物体部分。

比较理想的是，物体图像的各象素的信息是进深信息。

进深信息算出装置、区域分割装置、平均值算出装置和抽取装置。

进深信息算出装置算出物体图像的进深信息，

区域分割装置将物体图像分割成多个区域，

平均值算出装置对每个区域算出进深信息的平均值，

抽取装置抽取多个区域中平均值在预定的范围内的区域作为物体部分，特别在物体图像中不包含位于较对象物体更加前方位置的物体的场合，抽取其平均值比预定值小的区域作为物体部分。

按照本发明的其它另外的1个方面，基于拍摄对象物体得到的物体图像和多次仅拍摄对象物体的背景得到的多个背景图像，从物体图像除去不希望要的部分并抽取物体部分的物体抽取装置，包括

差分装置、抽取装置和阈值决定装置。

差分装置算出物体图像和背景图像的差，

抽取装置抽取物体图像中差值比阈值大的部分作为物体部分，

阈值决定装置基于多个背景图像的分布，统计决定阈值。

算出装置、差分装置和抽取装置。

算出装置在多个背景图像中，对于每个象素算出相互位于相同坐标上的象素的平均值和标准偏差，

差分装置算出物体图像的各象素的值和与该象素对应的背景图像的象素的平均值之差，

抽取装置抽取物体图像的象素中差值比标准偏差的规定倍数大的象素作为物体部分。

平均/标准偏差算出装置、区域分割装置、差分装置、平均差算出装置、平均标准偏差算出装置和抽取装置。

平均/标准偏差算出装置在多个背景图像中，对于每个象素算出相互位于相同坐标上的象素的平均值和标准偏差，

区域分割装置将物体图像分割成多个区域，

差分装置算出物体图像的各区域内的各象素值和与该区域对应的背景图像的区域内对应的象素的平均值之差，

平均差算出装置对每个区域算出差的平均值，

平均标准偏差算出装置对每个区域算出标准偏差的平均值，

抽取装置抽取多个区域中差的平均值比标准偏差的平均值的规定倍数大的区域作为物体部分。

平均/标准偏差算出装置、区域分割装置、平均算出装置、差分装置、平均差算出装置、平均标准偏差算出装置和抽取装置。

区域分割装置将物体图像分割成多个区域，

平均算出装置算出物体图像的各区域内的象素的平均值，

差分装置算出物体图像的各区域内的象素的平均值和与该区域对应的背景图像的区域内的象素的平均值之差的绝对值，

平均差算出装置对每个区域算出差的绝对值的平均值，

平均标准偏差算出装置对每个区域算出标准偏差的平均值，

抽取装置抽取多个区域中差的绝对值的平均值比标准偏差的平均值的规定倍数大的区域作为物体部分。

平均/标准偏差算出装置、区域分割装置、平均算出装置、差分装置、平均标准偏差算出装置和抽取装置。

区域分割装置将物体图像分割成多个区域，

平均算出装置在算出物体图像的各区域内的象素的平均值的同时，算出背景图像的象素平均值的各区域内的平均值，

差分装置算出物体图像的各区域内的象素的平均值和与该区域对应的背景图像的区域内的象素平均值的区域内的平均值之差的绝对值，

平均标准偏差算出装置对每个区域算出标准偏差的平均值，

抽取装置抽取多个区域中差的绝对值比标准偏差的平均值的规定倍数大的区域作为物体部分。

按照本发明的其它另外的1个方面，基于多次拍摄对象物体得到的多个物体图像和多次仅拍摄对象物体的背景得到的多个背景图像，从物体图像除去不希望要的部分并抽取物体部分的物体抽取装置，包括

平均/标准偏差算出装置、平均算出装置、区域分割装置、差分装置、平均差算出装置、平均标准偏差算出装置和抽取装置。

平均算出装置在多个物体图像中，对于每个象素算出相互位于相同坐标上的象素的平均值，

区域分割装置将物体图像分割成多个区域，

差分装置算出物体图像的各区域内的各象素的平均值和与该区域对应的背景图像的区域内的对应的象素的平均值之差的绝对值，

平均差算出装置对每个区域算出差的绝对值的平均值，

平均标准偏差算出装置对每个区域算出标准偏差的平均值，

因此，采用前述的物体抽取装置，则即使对象物体存在与背景的色彩相同部分时，也能检测并抽取该部分作为物体部分。此外，能减少采用人工的作业，同时不需要特殊的拍摄环境。

按照本发明的其它另外的1个方面，生成对象物体的立体模型的立体模型生成装置，包括

拍摄对象物体的背景而且包含背景拍摄对象物体的拍摄装置，

求出仅拍摄背景得到的背景图像和包含背景拍摄对象物体得到的多个物体图像的差分、并生成轮廓图像的轮廓生成装置，

用多个轮廓图像生成对象物体的立体模型的装置。

比较理想的是，前述的立体模型生成装置，还包括

使对象物体旋转的旋转装置。

生成对象物体的多个轮廓图像的轮廓生成装置，

以多个轮廓图像为基础，推定体元空间中对象物体的存在区域的推定装置，

用由推定装置得到的对象物体的存在区域，生成对象物体的立体模型的装置。

比较理想的是，推定装置对体元空间进行表决(voting)处理。

比较理想的是，前述的立体模型生成装置，还包括

以表决处理的结果、投票数在规定的阈值以上的部分，作为对象物体的存在区域的阈值处理装置。

因此，采用前述的立体模型生成装置，则因用进行差分处理而得到的轮廓图像生成立体模型，所以不需要同一色彩的背景板等那样的特殊的拍摄环境。

此外，因以多个轮廓图像为基础进行对体元空间的表决处理生成立体模型，所以即使多个轮廓图像中有几个不正确，也能高精度地生成立体模型。

此外，因通过将切断对象物体的立体形状得到的多个切断面的轮廓线用多边形近似而生成立体模型，所以能减少用于生成立体模型的数据量，并能高速地进行处理。

此外，因通过将对象物体的多个剖面形状的轮廓线用多边形近似而生成立体模型，所以能减少用于生成立体模型的数据量，并能高速地进行处理。

附图说明

图1是表示以往的特征信息赋予方法的示意图。

图2是表示以往的特征信息赋予方法的问题的剖视图。

图3是表示本发明实施形态1的立体模型生成装置的结构的概略方框图。

图4是表示图3所示的立体模型生成装置中色彩信息赋予处理单元的结构的概略方框图。

图5是表示从实际存在的物体生成立体模型的处理流程的流程图。

图6A是用于说明图5的步骤S10的图像拍摄的图。

图6B是用于说明图5的步骤S12的轮廓图像生成的图。

图6C是用于说明图5的步骤S14的表决处理的图。

图6D是用于说明图5的步骤S16的多边形生成的图。

图6E是用于说明图5的步骤S18的特征映射的图。

图7是表示表决处理的概念的透视图。

图8是表示表决处理中假定存在区域的P平面剖视图。

图9是表示表决处理的概念的P平面剖视图。

图10A是表示用于说明多边形生成处理的示意图。

图10B是图10A中的10B部分的放大图。

图11是表示基于多边形的3维形状模型的图。

图12A是表示特征信息赋予处理的示意图。

图12B是表示图12A中的12B部分的放大图。

图13是表示对各立体形状结构要素的特征信息赋予的处理流程的流程图。

图14是表示实施形态1的特征信息赋予方法的处理流程的流程图。

图15是表示记录实施形态1的特征信息赋予方法的记录媒体的示意图。

图16是表示实施形态2的特征信息赋予方法的处理流程的流程图。

图17是表示实施形态3的特征信息赋予方法的处理流程的流程图。

图18是表示对图4中的色彩信息存储器的特征信息的存储方法的示意图。

图19是表示实施形态4的特征信息赋予方法的处理流程的流程图。

图20是表示实施形态5的特征信息赋予方法的示意图。

图21是表示实施形态5的特征信息赋予方法的处理流程的流程图。

图22是表示本发明的实施形态6的物体抽取装置(图像切出装置)的整体结构图。

图23是表示本发明的实施形态6的物体抽取装置(图像切出装置)的概略的方框图。

图24是表示图22的运算单元的概略方框图。

图25A-图25C是用于详细地说明图24的差分处理单元、平均值导出单元和阈值处理单元的处理的图。

图26是表示本发明的实施形态7的物体抽取装置的主要结构流程图。

图27A是表示分割成图26所示的物体抽取装置中得到的多个区域R的物体图像的图。

图27B是表示用亮度显示进深信息的图像的图。

图27C是表示从物体图像除去背景部分抽取的物体部分的图像的图。

图28是表示实施形态8的物体抽取装置的主要结构的流程图。

图29是表示实施形态9的物体抽取装置的主要结构的流程图。

图30是表示实施形态10的物体抽取装置的主要结构的流程图。

图31是表示实施形态11的物体抽取装置的主要结构的流程图。

图32是表示实施形态12的立体模型生成装置的概略方框图。

图33是表示图32所示的立体模型生成装置的处理流程的流程图。

图34是用于说明在图33的步骤S8求得的透视(perspective)比的图。

图35A-图35C是用于说明在图33的步骤S8求得的拍摄机和旋转台的位置关系的图。

图36是用于说明在图33的步骤S14中用的圆柱坐标系体元空间的体元的图。

图37是用于说明图33的步骤S14的表决处理的图。

图38是用于说明图33的步骤S14的表决处理结果的图。

图39A是用于说明图33的步骤S16中多边形生成的具体内容的图。

图39B是图39A中的39B部分的放大图。

图40是用于说明图33的步骤S16的多边形生成的流程图。

图41是表示用图40中步骤SA2求得的对应于相邻切断面的轮廓线的顶点间的关系图。

图42是用于说明图40中步骤SA3的局部的最接近点相邻策略的图。

图43是表示由图40中步骤SA3的局部的最接近点相邻策略得到的多边形的图。

图44是表示图40中步骤SA3的局部的最接近点相邻策略的多边形生成的一部分流程图。

图45是表示图40中步骤SA3的局部的最接近点相邻策略的多边形生成的另外一部分流程图。

图46是用于说明图40中步骤SA3的大区域的最短连接策略的多边形生成的流程图。

图47是表示记录用于使对象物体的立体模型生成在图3计算机上的程序的CD-ROM的图。

具体实施方式

下面，参照附图对本发明的实施形态详细地进行说明。此外，在图中相同的或者相当的部分附以相同的标号并省略重复的说明。

实施形态1

图3是表示本发明实施形态1的用于从实际存在的物体再次构成3维模型的立体模型生成装置1000的结构的概略方框图。参照图3，在旋转台110上装有对象物体100。旋转台110根据例如来自计算机130的控制信号，控制其旋转角度。拍摄机120对于各个指定角度对旋转的对象物体100进行拍摄，并将得到的图像数据供给计算机130。另一方面，从输入装置140将旋转台110的旋转间隔等拍摄条件的数据供给计算机130。

计算机130根据由拍摄机120提供的图像信息，从对应于各拍摄角度的图像信息抽取轮廓图像，生成3维形状模型。这里，作为3维形状模型，能用例如多边形(三角形拼块)的集合来表示。此外，所谓的前述图像信息是指例如对应于由拍摄机120输出的各象素的亮度、色彩或者浓度所表示的数值信息。但是，作为立体模型的表示方法不限于这种表示方法，例如也能用不同形状的表面形状要素的集合进行表示。因此，下面将用于表示形状模型的要素的形状总称为立体形状构成要素。

接着，计算机130根据在各角度中拍摄的图像信息，对于再次构成的形状模型赋予特征信息。这里，所谓的计算机图形学(CG)领域中的色彩信息(特征信息)是指贴附在物体表面上的、用于表示这种表面的微细的凸凹和图案、样子、材料质感的图像信息。这样，将再次构成的立体模型显示在显示装置150上。

在对于3维图像信息的色彩信息(更一般地说是特征信息)的赋予方法详细地进行说明前，首先对从实际存在的物体到生成物体的3维形状模型为止的流程简单地进行说明。

图5是表示从生成物体图像开始到将特征信息赋予形状模型为止的处理流程的流程图。图6A到图6E是表示各流程的过程中数据处理的概要的概念图。

首先，参照图6A，计算机130根据由输入装置140供给的拍摄条件数据，控制旋转台110的旋转角。对于各旋转角取入拍摄机120拍摄的物体图像A1～An(步骤S10)，例如假设对于每隔10°角度取入来自拍摄机120的物体图像，则1转取入36张物体图像A1～An。

接着，参照图6B，计算机130从各被拍摄的物体图像A1～An抽取物体像的轮廓，生成从各个方向看到的物体的轮廓图像B1～Bn(步骤S12)。

这里，得到的轮廓图像B1～Bn表示从各个方向看到的对象物体100的轮廓。因此，如图6C所示，根据这些从各方向看到的物体的轮廓图像，对于分割成假想的体元(voxel)后的3维空间，用后面说明的表决处理在这种体元空间251内推定对象物体100的存在区域(步骤S14)。

接着，参照图6D，对在这种体元空间251表示的物体区域进行变换，以便用多边形(三角形拼块)27的形状模型300来表示(步骤S16)。这里，要求例如用于表示所必要的多边形数要减少，而且维持表示形状的精度。因此，能例如用以下的方法生成多边形27。

也就是说，首先，在用圆柱坐标系表示的体元空间251中，对用圆柱坐标系的θ表面的切断面轮廓线进行多边形近似，决定多边形27的顶点。接着，将各顶点分别与最接近的3顶点连接，生成三角形拼块。

接着，参照图6E，对于生成的多边形27的各三角形拼块，由在步骤S10中拍摄的图像信息赋予特征信息(步骤S18)。

按照前述的流程，以用拍摄机120拍摄现实存在的物体的图像信息为基础，在计算机130内再次构成立体模型27。

此外，如前所述，做成将对象物体100安装在旋转台110上并用拍摄机120以固定的状态然后使旋转台旋转对图像进行拍摄的结构，但获得图像信息的方法不限于这种结构。

例如，也可以是这样构成，即对象物体100保持静止，人拿着拍摄机120并移动，从多个视点拍摄对象物体100，从而得到图像数据。这种场合，如果知道各图像拍摄时的拍摄机120的位置和进行拍摄的方向，则以这些信息为基础利用与下述相同的方法也能进行3维形状模型300的再次构成和特征信息的赋予。

下面，对于图5所示的各处理步骤进一步详细地进行说明。

(图像拍摄和轮廓图像生成)

如前所述，用图3所示的结构进行图像拍摄时，将对象物体100安装在旋转台110上，一边使旋转台110旋转一边拍摄若干幅物体图像A1～An。然后，为了下一步骤S12的轮廓图像抽取，还进行背景图像的拍摄。

接着，利用对象物体图像A1～An与背景图像间的差分处理，生成仅切出对象物体的轮廓图像B1～Bn。

这时，由于不需要将背景图像形成单一色彩的特殊的拍摄环境，而且能进行稳定的轮廓图像生成，所以还能够不是单纯的图像间差分，而是进行加上如后所述的区域分割处理的图像差分。

也就是说，对物体图像A1～An进行区域分割，接着以区域为单位进行与背景图像的差分处理。这里，所谓的差分处理是指对于每个象素将被拍摄的物体图像信息就其信号强度算出差分的处理。再进一步，对区域单位中的差分平均进行阈值处理，进行物体部分的抽取。

在如前所述的方法中，即使在象素级中存在与背景同色的物体，只要在区域级中有不同与背景的色彩，则一般具有能检测出作为物体部分的性质。因此，能提高生成轮廓图像精度。

(表决处理)

如前所述，能得到从多个视点拍摄对象物体100的轮廓图像信息。为了从这些多个轮廓图像信息再次构成物体的3维形状，进行如后所述的表决处理。

下面，首先参照图7对用于描述3维形状的体元模型和体元空间251进行说明。

体元模型是用有无立体的格网点描述3维形状的模型，并称定义体元的空间为体元空间251。以包含识别物体那样的大小、位置来配置体元空间251。下面，对应于一边使对象物体100旋转、一边进行图像拍摄，用能更加自然地表现对象物体形状的圆柱坐标系表示这种体元空间251。

因此，当假设圆柱坐标的半径方向的坐标为r、角度方向的坐标为θ、轴方向的坐标为z时，各体元成为表示用等间隔分割各r、θ、z时的体积要素。用这种体积要素的集合表示3维形状模型是体元模型。

下面，对于从轮廓图像B1～Bn再次构成这种体元模型的步骤简单地进行说明。

首先，基于1个轮廓图像，在体元空间251内算出对于对象物体的假定存在区域50。这里，如图7所示，假定存在区域50表示以拍摄机120的投影中心51为顶点、以图像的物体像为剖面形状的锥体状的区域。也就是说，对象物体100必定存在在这种区域的内侧。

所谓表决处理是表示，对于存在在这种假定存在区域50内的各个体元，在相当于对于例如1个轮廓图像的假定存在区域50的场合，则进行分配(投票)数值1的处理。

图8是表示与图7所示的z轴垂直的平面P上的轮廓图像和圆柱体元空间251的剖面图。

如前所述，因以拍摄机120的投影中心51形成的锥体状的区域相当于假定存在区域50，所以对于存在于这种区域50中的圆柱体元空间251内的各体元，分配数值1。

图9是在基于多个轮廓图像B1～Bn进行表决处理的场合，表示平面P剖面的圆柱体元空间251的剖视图。

图9示出了基于从5个视点拍摄的轮廓图像B1～B5对圆柱体元空间251进行表决处理的情况。这种情况下，由于基于各轮廓图像的表决处理将对于各自的轮廓图像的假定存在区域50分配数值1，所以在基于5个轮廓图像B1～B5进行表决处理的场合，图9中的用交叉影线表示的区域将与全部的基于轮廓图像B1～B5的假定存在区域50重合。换言之，在这种交叉影线的区域内的体元中，分配分别基于5个轮廓图像B1～B5的表决处理的结果即数值5。

因此，在例如圆柱体元空间251内的体元中，如果仅抽取分配5以上的体元，则能算出对象物体100在这种圆柱体元空间251内存在的区域。

更一般地说，对应于被拍摄的物体图像数，设定适当的阈值，通过这样能表决处理算出圆柱体元空间251内的对象物体的存在区域。利用前述的处理，能在圆柱体元空间251内抽取对象物体100存在的区域。

作为用体元空间251的3维模型生成方法，虽然有其它的在美国专利4982438号中公开的锥体相关法，但是这种方法存在生成的轮廓图像的误差保持不变从而影响再次构成的物体形状的问题。与此不同，利用表决处理的3维模型生成方法的特点是，即使在作为基础的轮廓图像中包含误差，也能通过设定适当的阈值，以抑制获得的3维形状的精度降低。

(多边形生成)

接着，将用体元空间251表示的物体区域变换成用多边形(三角形拼块)27的形状模型300来表示。

图10A和图10B是表示这种多边形生成的过程的示意图。参照图10A和图10B，对用圆柱体元空间251表示的物体区域的用圆柱坐标系θ1平面(在圆柱坐标系中是θ＝θ1平面)的切断面轮廓线进行多边形近似。由这种多边形近似得到的轮廓线Lθ1的各顶点，如后面说明的那样，相当于多边形27的顶点。同样地，对用圆柱坐标系θ2平面的切断面轮廓线进行多边形近似，得到Lθ2。对于全部的体元相应的θ平面，进行以上的操作。

接着，将这些各轮廓线的各顶点分别与最接近的3个顶点连接，生成三角形拼块27。借助于用这样的轮廓线的多边形近似和连接最接近的3顶点的手续、生成三角形拼块27，能将用于表示所必须的多边形数减少至最少，而且能维持所表示形状的精度。

图11所示为用多边形27表示对象物体100的3维形状模型300。利用前述的操作，能对于对象物体的形状在计算机内等进行再次构成。

以上，是假定圆柱体元空间251进行了说明，但也可以用正交体元空间。此外，在多边形生成处理中，也可以借助于连接相邻的体元，在一旦生成细小的多边形后就将它们合并以减少多边形数。

(特征映射)

接着，如前所述，为了对于在计算机内等再次构成的物体形状赋予特征信息、并生成更加真实的3维模型，将包含在拍摄的物体图像A1～An中的特征信息对于前述的3维形状模型300进行赋予处理。

具体地说，在提供各多边形27的特征信息的物体图像(下面称为参照图像)决定后，将多边形27投影到参照图像上，并将其投影部分的特征信息赋予对应的多边形27。

图12A和图12B是用于说明这种特征信息的赋予处理的示意图。下面，为简单说明起见，取标记号码1～8的8张具有物体图像信息的图像作为参照图像。也就是说，存在从每隔45°的角度拍摄对象物体的物体图像。此外，在下面的说明中，是基于围绕1个旋转轴并每隔固定的角度拍摄对象物体的参照图像，对将特征信息赋予形状模型300的场合进行说明，但本发明不限于这种场合，也能适用于基于从任意的位置和方向拍摄对象物体的多个参照图像，对于形状模型300赋予特征信息的场合。

在对于所注意的多边形27，当决定是对应于哪一个参照图像时，作为应该考虑的地方，是首先采取选择对于该多边形27的特征信息量大的参照图像的方针。

因此，在前述的方针下，通过对于各多边形27相应的参照图像、即标记号码的分配，能对于用多边形27表示的形状模型300赋予特征信息。

图13是表示到赋予特征信息为止的处理流程的流程图。另一方面，图4是表示在计算机130中，用于进行特征信息赋予的色彩信息赋予处理单元200的结构的示意方框图。

色彩信息赋予处理单元200包括存储并保持由拍摄机120拍摄的物体图像信息(参照图像信息)的图像存储单元220，基于存储在图像存储单元220中的参照图像信息、生成对象物体的形状模型300的运算单元210，存储由运算单元210生成的形状模型300、更具体地说存储各多边形27的位置和形状的形状存储单元230，和如后所述将基于保持在图像存储单元220中的参照图像信息、运算单元210对于各多边形27分配的特征信息进行存储保持的色彩信息存储单元240。

如前所述，参照图13和图4，图像存储单元220存储例如使对象物体旋转一定的角度同时进行拍摄的图像信息(步骤S20)。

接着，基于拍摄的图像信息，运算单元210生成形状模型300，并使该形状数据保持在形状存储单元230中(步骤S22)。

接着，按照后面说明的顺序，运算单元210进行立体形状构成要素(例如多边形27)和保持在图像存储单元220中的参照图像信息的对应(步骤S24)。

运算单元210将对应的各多边形27和特征信息保持在色彩信息存储单元240中(步骤26)。

下面，对前述步骤S24的立体形状构成要素和参照图像信息的对应处理进一步详细地进行说明。

图14是更加详细地表示步骤S24中用于进行立体形状构成要素和参照图像信息的对应的处理流程的流程图。

在下面的处理中，利用各立体形状构成要素(多边形27)的法线向量和与拍摄参照图像的方向平行的图像拍摄面的法线向量的方向的一致性，判断特征信息量的大小。也就是说，对于对应的多边形27最正对的参照图像，判断为对于该多边形27的特征信息最大。

在画面拍摄(步骤S20)和形状模型生成(步骤S22)的各处理结束后，运算单元210首先进行在后面的运算处理中使用的变量的初始化。

也就是说，将立体形状构成要素代入到变量Emax中，将拍摄的图像数代入到变量Imax中。此外，在以下的处理中将对与拍摄图像对应的标记号码进行计数用的辅助变量Icnt初始化为0。

此外，将分别对应于第i号(i＝0～Emax-1)的立体形状构成要素的1维数组变量Prod[i]的值全部初始化为0，另一方面，将第i号码的立体形状构成要素对应的参照图像的标记号码代入的1维数组变量Id[i]的值全部初始化为-1(步骤S2402)。

接着，将对多边形27的号码进行计数用的辅助变量Ecnt的值初始化为0(步骤S2403)。

接着，计算第Icnt号的图像拍摄面的法线向量和第Ecnt号的立体形状构成要素的法线向量的内积的值，并代入到变量Vtmp中(步骤S2404)。

接着，运算单元210对第Ecnt号的变量Prod[Ecnt]的值和前述变量Vtmp的值进行比较。

当判断变量Prod[Ecnt]的值比变量Vtmp的值小时(步骤S2406)，将变量Vtmp的值代入到变量Prod[Ecnt]中，同时将在该时刻的计数器变量Icnt的值代入到变量Id[Ecnt]中(步骤S2408)。

另一方面，当判断变量Prod[Ecnt]的值比变量Vtmp的值大时(步骤S2406)，使变量Ecnt的值仅增加1(步骤S2410)。

接着，如果判断计数器变量Ecnt的值比立体形状构成要素Emax小时(步骤S2412)，再次将处理返回到步骤S2404中，并对于下一个立体形状构成要素重复相同的处理。

另一方面，如果判断计数器变量Ecnt的值比立体形状构成要素Emax大时(步骤S2412)，使计数器变量Icnt的值增加1(步骤S2414)。

接着，判断计数器变量Icnt的值是否大于拍摄图像数Imax(步骤S2416)。

在判断变量Icnt的值小于拍摄图像数Imax的场合(步骤S2416)，将对于下一个参照图像重复从步骤S2403到步骤S2412为止的处理。

另一方面，在判断变量Icnt的值大于拍摄图像数Imax的场合(步骤S2416)，接着处理进行转移。

也就是说，利用从步骤S2402到步骤S2416为止的处理，对于各参照图像比较该参照图像的面法线向量和全部的立体形状构成要素的面法线向量的内积的值。利用这种处理，对于具有内积值比至此为止作为处理对象的参照图像的内积值大的参照图像，就将其内积值对于各立体形状构成要素存储在1维数组变量Prod[Ecnt]中。另一方面，将该时刻的参照图像的标记号码存储在1维数组变量Id[Ecnt]中。

因此，在从步骤S2416的处理转移到下面的处理的时刻，对于对应的第i号的立体形状构成要素，将具有最大的内积值的参照图像信息的标记号码存储在1维数组变量Id[i]中。

接着，对于色彩信息存储单元240，运算单元210对于各立体形状构成要素从图像存储单元220读出对应的参照图像信息并存储到色彩信息存储单元240中(步骤S2418)。

如前所述的构成，因在构成形状模型300的各立体形状构成要素(多边形27)中赋予从特征信息量最多的参照图像信息中得到的色彩信息(特征信息)所以能将最接近于真实的物体的特征信息赋予各立体形状构成要素。

图15是表示记录计算机130执行图14所示的特征信息赋予方法用的程序的记录媒体的结构示意图。

作为记录媒体能用例如磁盘和CD-ROM(光盘只读存储器)等的光磁盘等。为了在计算机130中执行图14所示的处理，利用规定的程序语言描述各处理步骤的部分进行编码并记录在记录媒体260中。

如前所述，根据记录在记录媒体260中的特征信息赋予程序，能使计算机130动作，通过这样能得到与前述相同的效果，也就是说，对于在计算机130内再次构成的形状模型300，能赋予更加接近于真实物体具有的特征的特征信息。

实施形态2

在实施形态1中对于各立体形状构成要素，根据内积值选择判断为特征信息量最大的参照图像，并将特征信息赋予各立体形状构成要素。

但是，如图2所示，根据不同的对象物体的形状，有时会有在从某个方向拍摄的物体图像信息中存在看不见的部分。这种场合，在与这种看不见的部分相当的立体形状构成要素的面法线向量具有最大内积值的参照图像中，会存在完全没有特征信息的情况。

在实施形态2中提供也能适用于这种场合的特征信息的赋予方法和特征信息赋予装置以及记录特征信息赋予程序的媒体。

在实施形态2中，色彩信息赋予处理单元的结构也与图4所示的色彩信息赋予处理单元200的结构相同。但如后所述，运算单元210进行的运算处理与实施形态1不同。

也就是说，在实施形态1中，对于各多边形27，通过比较其法线向量和各参照图像的法线向量的内积值，判断特征信息量的大小。与此不同，在实施形态2中，对于各多边形27，算出对于各参照图像的投影面积，并根据这种算出的投影面积评价各参照图像信息具有的特征信息量的大小。

图16是表示根据对这种参照图像的多边形27的投影面积，决定对应于各多边形27的参照图像信息的标记号码的处理流程的流程图。

在图16所示的流程图中，除了作为评价对象的值是用投影到参照图像上的立体形状构成要素的投影面积Atmp代替参照图像面的法线向量和立体形状构成要素的法线向量的内积值Vtmp以外，与图14所示的流程图完全相同。

因此，在从步骤S2422到步骤S2436为止的处理结束的时刻，分别将对应的第i号的立体形状构成要素具有最大的投影面积的参照图像信息的标记号码存储在1维数组变量Id[i]中，将对于对应的第i号的立体形状构成要素的对于具有Id[i]的标记号码的参照图像信息的投影面积存储在1维数组变量Area[i]中。

与此相对应，运算单元210对于各立体形状构成要素从图像存储单元220中读出对应的参照图像的特征信息，并存储到色彩信息存储单元240中。

利用前述的处理，即使对于具有比较复杂形状的对象物体，也能对于在计算机内等再次构成的形状模型300，根据最大特征信息量的参照图像信息向多边形27赋予特征信息。此外，利用记录图16所示的从步骤S2422到步骤S2438为止的程序的媒体，使计算机130动作，能够达到相同的效果。

实施形态3

在前述的说明中，在将对象物体100作为形状模型300再次构成的场合，根据对于该多边形27的特征信息量的大小判断对于各多边形27对应的参照图像。

但是，在对于各多边形27决定适合的参照图像的场合中应该考虑的地方，不仅限于特征信息量的大小。例如，在多边形27间赋予的特征信息中若还存在显著的不连续时，则多边形的边界线特别显眼，再次构成的立体模型29变得极不自然。

因此，对实施形态3的各立体形状构成要素的参照图像的分配方法，即作为特征信息的赋予方法，其目的在于，第1选择特征信息量大的参照图像，第2能同时隐蔽多边形的边界线。

这里，如实施形态2中说明的，为了选择特征信息量大的参照图像，希望向对应的参照图像的多边形的投影面积要大

另一方面，为了隐蔽多边形边界线，希望在相邻的多边形27间赋予的色彩信息(特征信息)的连续性好。

在实施形态3中，为了隐蔽多边形边界线采用这样的结构，即对于所注意的多边形27，对与其相邻的多边形27的参照图像的分配是相同的，或者即使在不同的场合，也尽量选择拍摄角度差小的参照图像。

更加具体地说，为了能对最适合满足前述的2个条件的多边形27的参照图像信息进行分割，如后所述，将问题处理成为所谓的能量最小化问题。

也就是说，因每隔一定角度变化拍摄角度并拍摄各参照图像，所以将号码顺序地附加到参照图像上，用反复改善处理解决各多边形27和参照图像号码的对应(标号：labeling)问题，以便使用下式表示的能量局部最小。

此外，在不是每隔一定角度变化拍摄角度并拍摄各参照图像的场合，也就是说，在拍摄角度的变化量分别不同的场合，只要使附加的前述号码对应于拍摄角度即可。

E = \underset{i}{Σ} Penalty (i) - k \times area (i) . . . . . . . (1)

这里，Area(i)表示对多边形i的参照图像的投影面积，Penalty(i)表示多边形与其相邻的多边形的参照图像号码(标号)的差，k是它们的组合系数。

也就是说，能量函数E是这样一种评价函数，随分配到与多边形i相邻的多边形上的参照图像号码和分配到多边形i上的参照图像号码两者间差异的增加而增加，并随多边形i对参照图像的投影面积、即特征信息量的增加而减少。

如前所述，因分配到与多边形i相邻的多边形上的参照图像号码的差越小，特征连续性越高，多边形边界线越隐蔽，所以在考虑到特征信息量大小(色彩信息量大小)和特征连续性两方面的场合，极小化函数E就对应于对各多边形的最适合的参照图像号码的分配。

此外，在前述的能量函数中，是用对多边形i的参照图像的投影面积作为特征信息量的大小，但如实施形态1所示，也能是用多边形的法线向量和参照图像的法线向量的内积值进行评价的结构。

这里，在能量函数E中，组合系数k可以是常数，也可以是各多边形的函数(例如各多边形的面积的函数)。

此外，作为能量函数E，除前述的函数Penalty(i)和函数Area(i)的线性组合外，更一般地，如果是随着对所注意的多边形i和与其相邻的多边形分配的特征信息量的连续性的改善而减少、而且随着对所注意的多边形i的特征信息量的增加而减少的函数，则不限于前述的结构。

图17是表示对于前述的能量函数E，用反复改善处理求得最佳值用的处理的流程图。

首先，对于生成的形状模型300的各多边形，进行参照图像号码的临时对应，作为初始设定(步骤S2440)。

接着，运算单元210将立体形状构成要素数代入到变量N中，并将计数器变量Cnt初始化为数值0。此外，将“OFF”代入到标记变量Flg中(步骤S2442)。

接着，将对应于第Cnt号的立体形状构成要素的参照图像号码预先代入到变量Pre_lbl中(步骤S2444)。

接着，对于第Cnt号的立体形状构成要素，使对应的参照图像号码变化，并导出使能量函数E极小化的参照图像号码(步骤S2446)。

这里，将在步骤S2446中得到的新的对应参照图像号码代入到变量New_lbl中(步骤S2448)。

接着，比较变量New_lbl和变量Pre_lbl的值。在两者不相等的场合(步骤S2450)，利用能量函数E的最小化计算，判断所附标号进行了变换，并将“ON”代入到标记变量Flg中(步骤S2452)。接着，使计数器变量Cnt的值仅增加1(步骤S2454)。

另一方面，在变量New_lbl和变量Pre_lbl的值相等的场合，标记变量不变，使计数器变量Cnt的值仅增加1(步骤S2454)。

接着，当计数器变量Cnt的值小于立体形状构成要素数N的情况下，再次使处理回到步骤S2444中。另一方面，在计数器变量Cnt的值为立体形状构成要素数N以上的场合，转移到下面的处理(步骤S2456)。

因此，对于全部的立体形状构成要素，重复从步骤S2444到步骤S2454为止的处理。

接着，进行标记变量Flg和“OFF”的比较，在标记变量Flg不等于“OFF”的场合(步骤S2458)，判断为利用至少1次以上的能量函数E的极小化计算，进行所附标号的变换，即判断为局部地使能量函数E极小化的标记号码的对应没有结束，处理再次回到步骤S2442中。

另一方面，在标记变量Flg等于“OFF”的场合，在从步骤S2444到步骤S2456为止的处理中，即使进行能量函数E极小化的运算，也不意味着所附标号进行了变换。因为这也就是意味着当前的标记号码的对应成为使能量函数E局部极小化的对应，所以作为最佳对应结束后的结果，处理结束(步骤S2460)。

利用以上的处理，对于多个多边形，在进行参照图像号码的对应时，进行特征信息的分配使对于各多边形选择特征信息量大的参照图像信息的条件和隐蔽多边形边界线的条件这2个条件同时最佳。

因此，分配结束后的形状模型300具有更加接近于现实物体的色彩，而且具有更加自然的特征连续性。

利用记录前述的从步骤S2440到步骤S2460为止的程序的媒体，使计算机130动作，也能得到相同的效果。

此外，因重复改善处理的顺序影响到改善处理的最终结果，所以考虑适合的处理顺序为佳。这里，在重复改善处理中，是因为在改善各多边形的标记号码时，假定其相邻的多边形的标记号码是正确的或者可靠性高。因此，如果从可靠性较低的多边形顺序地进行改善处理，则能得到更好的改善结果。

作为评价多边形的可靠性的方法之一，有多边形的面积或将多边形投影到参照画面上时的面积等。

这里，是因为在前述的步骤S2240中进行的参照图像号码的临时对应处理的可靠性，为面积越小的多边形或者将多边形投影到参照画面上时面积越小的多边形的可靠性越低。

实施形态4

实施形态3的特征信息赋予方法是考虑到特征信息量(色彩信息量)和多边形边界线的隐蔽、即特征连续性的两方面，将特征信息赋予各多边形的方法。

但是，在由实际存在的物体拍摄图像信息的场合，有时会由于照明等的关系，从特定方向拍摄的图像信息，甚至与从接近其方向所拍摄的图像信息，也会在光泽等方面存在显著地不同。

因此，为了赋予特征连续性更高地并且多边形边界线不明显的特征信息，实施形态3的方法是不充分的。

这里，在实施形态4的特征信息赋予方法中提供的方法是，对于1个多边形，不是从1个参照图像信息赋予特征信息，而是根据从多个参照图像信息、即从多个方向拍摄的图像信息，将特征信息赋予对应的多边形。

在说明实施形态4的特征信息赋予方法前，首先对于向色彩信息存储单元240的特征信息的存储方法进一步详细地进行说明。

图18是表示向色彩信息存储单元的数据的存储方法的示意图。

色彩信息存储单元240存储立体形状构成要素的基本形状和特征。这里，参照图像信息上的立体形状构成要素，因为变成投影后的形状，所以与本来的形状不同。

因此，必须进行形状变换并将色彩存储在色彩信息存储单元240中。

这里，以例如立体形状构成要素为三角形的场合为例对其形状变换进行说明。现在考虑用图18所示的2维离散空间存储基本形状的特征信息的情况。设(x0，y0)，(x1，y1)，(x2，y2)为基本形状的顶点，(X0，Y0)，(X1，Y1)，(X2，Y2)为对于参照图像信息投影的立体形状构成要素的顶点。由后面所示的变换矩阵A和平行移动向量B对它们进行线性变换，能将投影的三角形形状变换成本来的形状。

A = [\begin{matrix} a & b \\ c & d \end{matrix}], B = [\begin{matrix} e \\ f \end{matrix}] . . . . . . . (2)

这种场合意味着，基本形状的象素(xn，yn)的特征信息只要从由下式计算的参照图像信息上的象素(Xn，Yn)获得即可。

[\begin{matrix} X_{n} \\ Y_{n} \end{matrix}] = [\begin{matrix} a & b \\ c & d \end{matrix}] [\begin{matrix} x_{n} \\ y_{n} \end{matrix}] + [\begin{matrix} e \\ f \end{matrix}] . . . . . . . . (3)

也就是说，利用前述所谓的仿射变换，对于投影的三角形形状的多边形，获得对于本来的多边形形状的特征信息，并存储在色彩信息存储单元240中。

此外，在前面的说明中，是将多边形的形状设为三角形，但对于例如其形状是四边形和其它形状的场合也能进行同样的计算。

此外，坐标变换的方法除仿射变换外也可以用投影变换。用下式计算投影变换。

X_{n} = \frac{a_{1} x_{n} + a_{2} y_{n} + a_{3}}{a_{7} x_{n} + a_{8} x_{n} + 1}, Y_{n} = \frac{a_{4} x_{n} + a_{5} y_{n} + a_{6}}{a_{7} x_{n} + a_{8} x_{n} + 1} . . . . . (4)

如前所述，与在参照图像信息上投影的多边形的形状无关，而是将对应于本来的多边形形状的特征信息存储在色彩信息存储单元240中。

这里，利用例如实施形态3所示的对于能量函数E的反复改善处理，完成对于各多边形i对应的参照图像信息号码的分配。

实施形态4的特征信息赋予方法，其目的在于，在这种标记号码的分配结束后，进一步进行如后说明的加权平均处理，通过这样实现进一步改善特征连续性的特征信息的赋予方法。

如前所述，图19是表示对于各多边形i在参照图像信息号码的分配结束后进行的加权平均处理的流程的流程图。

因此，示出了例如与图17所示的流程中步骤S2460连接而继续下去的处理。

首先，作为初始设定，分别将立体形状构成要素数代入到变量Emax中，将投影的参照图像信息数代入到变量Imax中。另一方面，将计数器变量Ecnt的值初始设定成0(步骤S2500)。

接着，将计数器变量Icnt和变量wacc的值初始设定成0(步骤S2501)。

接着，进行判断，确定Icnt号码的参照图像信息是否为Ecnt号码的立体形状构成要素的特征信息的输入对象(步骤S2502)。

这里，所谓的第Icnt号的图像是特征信息的输入对象，是表示利用已经进行的对于多边形(立体形状构成要素)的参照图像号码的分配，不仅是分配的图像信息，而且与其相邻的规定数的例如前后1个画面的参照图像信息也包含在输入对象中。

接着，对于变量wght，代入第Icnt号的参照图像信息上投影的第Ecnt号的立体形状构成要素的面积的值(步骤S2504)。

接着，作为第Ecnt号的立体形状构成要素的特征信息，在仅用变量wght进行加权处理后，将第Icnt号的参照图像信息的信息存储在色彩信息存储单元240中(步骤S2506)。

对于变量wacc，累积变量wght的值(步骤S2508)，并使计数器变量Icnt的值仅增加1(步骤S2509)。

接着，比较计数器变量Icnt的值和拍摄的参照图像数Imax(步骤S2510)。

在变量Icnt比变量Imax小的场合，处理再次返回到步骤S2502中。

另一方面，在步骤S2502中，在判断Icnt号的参照图像信息不是第Ecnt号的立体形状构成要素的特征的输入对象的场合，处理转移到步骤S2509中，在变量Icnt的值仅增加1后(步骤S2509)，进行变量Icnt和变量Imax的比较。

因此，通过重复从步骤S2500到步骤S2510为止的处理，对于Ecnt号码的立体形状构成要素，从规定数的参照图像信息获得加权后的特征信息，并将这种特征信息累积到色彩信息存储单元240中。

接着，用变量wacc的值除以累积在色彩信息存储单元240中的特征信息(步骤S2512)。

用到此为止的处理，将对于第Ecnt号的立体形状构成要素的特征信息作为来自对应规定数的参照图像信息的特征信息加权平均，存储在色彩信息存储单元240中。

前述的处理换言之，对于各多边形分别求得对应于分配的参照图像号码的参照图像信息和投影到与其相邻的规定数的物体图像信息的多边形面积，并将其作为进行后述的加权平均处理时的加权系数。

这里，在前述物体图像信息中假定号码，当其设为Icnt时，则对应于这种物体图像信息的加权系数设为wght(Icnt)。此外，这些图像信息数设为N。

多边形的特征信息由多个象素构成，现在着眼于1个特征信息的象素。求得这种象素投影到前述物体图像信息上的部位，并将其投影部位的图像信息(投影部位的象素值、即色彩、浓度或者亮度)，包括全部前述物体图像信息、即N个部分，进行加权平均处理，作为当前着眼的特征信息的象素值的值。这里，假设投影部位的图像信息是v(Icnt)，则加权平均处理对应于具体进行用下式表示的计算。

[∑wght(Icnt)×v(Icnt)]/∑wght(Icnt) …(5)

对于成为多边形的特征信息的全部象素，进行这种处理。接着，使变量Ecnt的值仅增加1(步骤S2514)。

接着，比较计数器变量Ecnt的值和立体形状构成要素数Emax的值(步骤S2516)。

在变量Ecnt的值比立体形状构成要素数Emax小的场合，处理返回到步骤S2501。因此，对于全部的立体形状构成要素，进行前述的特征信息的加权平均处理。

另一方面，在计数器变量Ecnt的值比立体形状构成要素数Emax大的场合(步骤S2516)，向色彩信息存储单元240的特征信息的存储处理结束(步骤S2518)。

也就是说，实施形态4的特征信息的赋予方法，首先，对于各多边形进行参照图像信息号码(标记号码)的对应。接着，对于包含对应的参照图像信息号码的规定数(例如对应的参照图像信息号码及其前后的1个画面)的参照图像信息号码所对应的参照图像信息，赋予进行对应于在各参照图像信息上投影的立体形状构成要素的面积的加权平均处理的结果，作为该立体形状构成要素的特征信息。

由于借助于如前所述的根据规定数的参照图像信息进行的特征信息的加权平均处理，能得到对于对应的多边形的特征信息，所以能将进一步改善特征连续性的特征信息分配给该多边形。

例如，在拍摄现实的对象物体的场合，由于照明等的关系，即使在从特定方向拍摄的参照图像信息中，对于该多边形的色彩信息所包含的光泽特别高的情况下，也能利用加权平均处理减小其影响。

利用记录图19所示的从步骤S2500到步骤S2518为止的程序的媒体，使计算机130动作，也能达到相同的效果。

实施形态5

在实施形态4中，在预先对于各多边形获得特征信息的参照图像号码的分配结束后，还根据规定数的相邻的参照图像信息对于对应的多边形供给特征信息，对这样的结构进行了说明。

但是，若考虑到更加重视特征连续性，则不必进行对于各多边形的参照图像画面的分配，使能量函数E极小化。

实施形态5的特征信息赋予方法是这样构成，即对于各多边形(立体形状构成要素)，从具有对于该立体形状构成要素的特征信息的多个参照图像信息，对于各多边形赋予特征信息。

例如，对于各多边形(立体形状构成要素)，也可以从具有对于该立体形状构成要素的特征信息的全部的参照图像信息，对于该多边形赋予特征信息，对于各多边形(立体形状构成要素)，也可以从具有对于该立体形状构成要素的特征信息随机地或者有规则地选择参照图像信息，并由它们对于该多边形赋予特征信息。

图20是表示对这种多边形的特征信息的赋予方法的示意图，示出了从具有对于立体形状构成要素的特征信息的全部的参照图像信息，对于该多边形赋予特征信息的例。

按照实施形态4中的说明，对于色彩信息存储单元240，存储对应于本来的多边形形状的特征信息而与在各参照图像信息上投影的多边形的形状无关，

因此，在着眼于特定的多边形i的场合，借助于从这种多边形投影的面积不是0的全部的参照图像信息，进行对应于其投影面积的加权平均处理，能获得特征信息。

图21是表示这种特征信息赋予方法的流程的流程图。

在对于现实的物体的多个图像拍摄(步骤S20和形状模型生成步骤S22)后，进行各立体形状构成要素和该立体形状构成要素的投影面积不是0的参照图像信息的对应(步骤S30)。

接着，基于前述的对应，借助于对于色彩信息存储单元240进行对应于投影面积的加权平均处理，对各个立体形状构成要素进行特征信息累积(步骤S32)。

也就是说，在实施形态5的特征信息的赋予方法中，对于每个立体形状构成要素，以分别投影在多个参照图像信息上的该立体形状构成要素的面积作为加权系数，进行对于多个参照图像信息的加权平均处理。将每个这种立体形状构成要素得到的加权平均处理的结果作为特征信息赋予各立体形状构成要素。

如前所述，对于各立体形状构成要素，根据具有特征信息的全部的参照图像信息，赋予特征信息，通过这样的结构，进一步改善特征连续性。

也就是说，从特定方向拍摄的参照图像信息，即使有时由于例如照明的关系等与从其它的方向拍摄的参照图像信息相比，光泽异常亮，但通过对来自全部相关的参照图像信息的特征信息进行加权平均，也能抑制这种特定方向的特征信息的影响。

此外，在前述说明了的实施形态1～5中，是在将形状模型300变换成多边形数据后赋予特征信息，但是本申请当然不限于这种结构，也可以在体元表现的形状模型300中，对表面的面方向进行运算，并赋予特征信息。

但是，变换成多边形数据后赋予特征信息的结构，因能一次处理向着同一方向的面(多边形)，所以能显著地减少运算量。

实施形态6

图22是表示本发明实施形态6的物体抽取装置(图像切出装置)的整体结构图。参照图22，这种物体抽取装置包括计算机130。计算机130按照记录在CD-ROM260中的程序301，检测并抽取物体图像中的物体部分。这种程序301包括进行物体图像的区域分割处理的步骤S1、进行区域信息的存储处理的步骤S2、进行各区域的物体图像和背景图像的差分处理的步骤S3、在各区域中导出差分的绝对值的平均值的步骤S4、利用差分的绝对值的平均值和阈值的比较进行物体部分的检测处理的步骤S5和抽取检测的物体部分的步骤S6。后面将详细地说明步骤S1～S6的细节。

图23是表示本发明的实施形态6的物体抽取装置(图像切出装置)的概略方框图。参照图23，作为物体抽取装置的计算机130包括图像存储单元220、运算单元210、区域信息存储单元241和抽取图像存储单元231。此外，各单元220、210、231、241的细节将在后面描述。

图24是表示图23的运算单元210的概略方框图。参照图24，运算单元210包括区域分割单元9和抽取单元10。抽取单元10包括差分处理单元11、平均值导出单元13、阈值处理单元15和物体部分抽取单元16。利用拍摄机等的拍摄装置，借助于与背景一起拍摄对象物体，得到物体图像A。利用拍摄机等的拍摄装置，借助于仅拍摄对象物体的背景，得到背景图像B。将背景图像B和物体图像A存储在图23的图像存储单元220中。这里，作为拍摄物体的背景一般在对象物体的后方，但也有在对象物体的前方。

区域分割单元9将物体图像A分割成多个区域(图22的程序301的步骤S1)。将关于区域分割的信息存储在图23的区域信息存储单元241中(图22的程序301的步骤S2)。差分处理单元11以由区域分割单元9得到的区域为单位，在物体图像A和背景图像B之间进行差分处理，并求出差分(图22的程序301的步骤S3)。差分是以象素为单位求得物体图像A和背景图像B的色彩信息的差。平均值导出单元13求得差分的绝对值，并以区域为单位导出差分的绝对值的平均值(图22的程序301的步骤S4)。也就是说，平均值导出单元13导出每个区域的差分的绝对值的平均值。阈值处理单元15比较各区域的差分的绝对值的平均值和阈值，并检测差分的绝对值的平均值大于阈值的区域作为物体部分(图22的程序301的步骤S5)。此外，根据经验设定阈值。物体部分抽取单元16抽取在阈值处理单元15检测出的物体部分(图22的程序301的步骤S6)。也就是说，物体部分抽取单元16从物体图像取出在阈值处理单元15检测出的物体部分。将抽取的物体部分的图像存储在图23的抽取图像存储单元231中。

下面，对区域分割单元9进行的区域分割详细地进行说明。例如，如“高木等编，增刊O plus E，图像处理算法的最新动态，pp.227-233，新技术通讯”中叙述的那样，区域分割采用一般使用的边缘延长法，区域、边缘并用法，Facetmodel的区域分割等。下面，对这种边延长法进行说明。首先，第1步，从图像的1次微分，计算各象素的边缘强度和边缘方向。第2步，根据对于边缘强度的极大值抑制处理和阈值处理，抽取极大而且具有大于一定值的边强度的边缘要素(称为强边要素)。在这种阶段，强边要素未必连续。第3步，以强边要素中的端点作为起点，进行边缘延长。以上，称为边缘延长法。

图25A到图25C是用于详细地说明图24的差分处理单元11、平均值导出单元13、阈值处理单元15和物体部分抽取单元16所进行的处理的图。参照图25A，物体图像17由物体部分19和背景部分21组成。背景图像23仅由背景25组成。利用图24的区域分割单元9，将物体图像17分割成多个区域a1～an。

下面，着眼于区域a1，对图24的差分处理单元11的动作进行说明。同时参照图25B，求得区域a1的各象素的色彩信息和对应于区域a1的背景25的区域b1的各象素的色彩信息之差。这样，得到区域a1的差分的集合c1。然后，图24的平均值导出单元13求出构成差分的集合c1的差分的绝对值，并求出差分的绝对值的平均值。此外，图24的阈值处理单元15比较构成差分的集合c1的差分的绝对值的平均值和阈值，在平均值大于阈值的场合，检测对应于差分的集合c1的区域a1作为物体部分。差分处理单元11、平均值导出单元13和阈值处理单元15对于全部的区域a1～an，进行前述的差分处理，并进行差分的绝对值的平均值导出和阈值处理。然后，物体抽取部分16从物体图像17抽取由阈值处理单元15检测到的物体部分。图25C示出了前述那样抽取的物体部分19。因此，去除了背景图像21那样的不希望要的部分。当然，在位于对象物体的前方的物体包含在物体图像17中的场合，也将这部分作为不要的部分去除。

这样，基于本发明实施形态6的物体抽取装置，将物体图像分割成多个区域，以区域为单位求出差分的绝对值的平均值，并抽取平均值大于阈值的区域作为物体部分。因此，基于本发明实施形态6的物体抽取装置、物体抽取方法和记录物体抽取程序的媒体，即使在象素级即使在对象物体中存在与背景相同色彩的部分，但如果在区域级中存在与背景不同的色彩，则也能作为物体部分进行检测、抽取。此外，人工作业少，同时不必使用同一色彩的背景板那样的特殊的拍摄环境。

下面，对图24的差分处理单元11中差分处理的其它例进行说明。在前述的说明中，差分处理单元11虽然以区域为单位求得差分，但也可以不以区域为单位，能在物体图像全体和背景图像全体间进行差分处理，求得差分。然后，在平均值导出单元13中，以在区域分割单元9求得的区域为单位，导出差分的绝对值的平均值。

此外，也可以算出物体图像的各区域内的象素的平均值，算出该平均值和对应于该区域的背景图像的区域内的象素的平均值之差的绝对值，并将该差的绝对值与预定的值进行比较，抽取该差的绝对值大于预定值的区域作为物体部分。

在前述实施形态6中，区域分割是求出边缘作为参考，但本发明当然也可以以相同颜色的部分作为同一区域。此外，也可以组合多个区域分割方法。

此外，在前述实施形态6中，是对彩色图像进行了叙述，当然本发明也适用于黑白图像，此外，也可以用浓度信息(亮度信号电平)代替前述的色彩信息(色彩信号电平)。

此外，在前述实施形态6中，是以大于阈值的部分不加变化保持原样地作为物体部分，但是，本申请不一定只限于1次处理。例如以用最初的处理检测到的物体部分作为临时的物体部分，并以其它的部分作为临时的背景部分。然后，比较这种物体图像的临时的背景部分的亮度和对应于这种临时的背景部分的背景图像的区域的亮度，检测背景图像和输入图像的照明状况的变化。然后，根据上述情况，也可以同样地修正物体图像的亮度，并再次进行相同的处理。

此外，在前述实施形态6中，阈值的值是固定的，但不限于此。例如，也可以在图像的中央部分和周围部分变更阈值的值。此外，也可以根据区域面积改变阈值的值。此外，如果进行再次处理，则也可以根据在附近是否存在物体部分进行变更。

此外，在前述实施形态6中，是将各区域的差分的绝对值进行平均并对其与阈值进行比较，但不一定限于此。例如还可以将差分的值的离乱性情况作为参考，判定是否为物体部分。

此外，在前述实施形态6中，最后抽取处理物体部分，但本申请不一定限于此。例如也可以不用抽取处理来判定物体的有无。此外，这种有无的判定用于大楼监视系统检测侵入者。

实施形态7

图26是表示本发明的实施形态7的物体抽取装置的整体结构的流程图。图26的步骤S112～S118是计算机130从拍摄对象物体得到的物体图像中去除背景部分抽取物体部分用的程序，存储在CD-ROM260中。

这种程序包括对各象素(i，j)利用立体法算出在步骤S111得到的物体图像的进深信息dp(i，j)的步骤S112、将物体图像分割成多个区域R的步骤S113、对每个区域R算出进深信息的平均值mdp(R)的步骤S114、将进深信息的平均值mdp(R)与预定的阈值dpth进行比较的步骤S115、在进深信息的平均值mdp(R)比阈值dpth大时作为背景部分删除该区域R、具体地说使该区域R内的各象素的值v(i，j)为0的步骤S116、在进深信息的平均值mdp(R)比阈值dpth小时抽取该区域R作为物体部分、具体地说使该区域R内的各象素的值v(i，j)为1的步骤S117、判定是否对全部区域R进行前述的步骤S115～步骤S117的处理的步骤S118。这里，能用亮度(浓度)、色彩信息或者它们的组合等作为象素的值。

下面，参照图26的流程图对这种实施形态7的物体抽取装置的动作进行说明。

首先，在步骤S111中，用数字静止拍摄机等，与对象物体的背景一起同时拍摄对象物体，得到物体图像。这种物体图像存储在计算机130内的图像存储单元220中。因此，得到v(i，j)作为各象素(i，j)的值。这里，虽然用拍摄静止画面的静止拍摄机，但也可以用拍摄活动图像的视频拍摄机和数字照摄机来代替。

接着，在步骤S112中，按照立体法等算出各象素(i，j)的进深信息dp(i，j)。例如在D.H.Ballard等著的“计算机图形学”，Prentice Hall，pp.88～93中所揭示了立体法。采用立体法，则首先从仅离开规定距离的2个视点拍摄对象物体，确定由此得到的2个物体图像间的对应点，用逆透视变换法或者单纯的三角测量法算出进深信息dp(i，j)。例如日本特开平8-331607号公报中公开了立体法的应用例。此外，这里，是为了算出进深信息使用立体法，但也可以用根据运动的进深推定方法(Shape-from-motion)，同时考虑类似性和连续性的重复改善法(一种缓和法)等。

与步骤S112并行，在步骤S113中，与前述的实施形态6相同将拍摄到物体图像分割成多个区域R。也可以不必将步骤S113的区域分割与步骤S112的进深信息计算同时进行，而在进深信息的算出后进行区域分割，相反，也可以在区域分割后进行进深信息的计算。

图27A表示分割成多个区域R后的物体图像，图27B所示为用象素的亮度表示进深信息的图像。表示亮度大的象素离开拍摄位置的距离近，亮度小的象素离开拍摄位置的距离远。因此，物体部分亮，背景部分暗。

接着，在步骤S114中，按照下式(6)对每个区域R算出进深信息的平均值mdp(R)。

mdp (R) = \frac{Σ_{R} dp (i, j)}{n} . . . . . . (6)

∑_R：区域R内的总和

n：区域R内的象素数

接着，在步骤S115中，比较该算出的进深信息的平均值mdp(R)和阈值dpth。根据经验预先确定该阈值dpth。

在进深信息的平均值mdp(R)比阈值dpth大的场合，该区域R内的象素的值v(i，j)全部置为0。也就是说，作为背景部分从物体图像删除该区域R。另一方面，在进深信息的平均值mdp(R)比阈值dpth小的场合，在步骤S117该区域R内的象素的值v(i，j)全部置为1。也就是说，从物体图像抽取该区域R作为物体部分。

接着，在步骤S118中，判别前述步骤S115～S117的处理是否对于全部的区域R进行，在前述处理对于全部的区域R进行的场合，得到图27C所示的图像。

如前所述，采用本实施形态7，则将物体图像分割成多个区域R，对每个区域R算出进深信息的平均值，因抽取其平均值比预定的阈值小的区域R作为物体部分，所以如图27C所示，从物体图像除去背景部分，用其轮廓能正确地仅切出物体部分。此外，因用进深信息，所以不必要用其它途径仅拍摄对象物体的背景。

实施形态8

图28是表示基于本发明实施形态8的物体抽取装置的主要结构的流程图。在图28中，步骤S222、S224～S227是计算机130基于拍摄对象物体得到的物体图像和多次仅拍摄对象物体的背景得到的多个背景图像用于从物体图像去除背景部分并抽取物体部分的程序，存储在CD-ROM260中。

这种程序包括对每个象素算出在步骤S221中得到的多个背景图像中相互位于相同坐标的象素的平均值m(i，j)和标准偏差σ(i，j)的步骤S222，算出在步骤S223中得到的物体图像的各象素的值v(i，j)和与该象素对应的背景图像的象素的平均值m(i，j)之差的绝对值(下面简单地称为“差”)|v(i，j)-m(i，j)|，并将该差|v(i，j)-m(i，j)|与标准偏差σ(i，j)的k倍进行比较的步骤S224，在差|v(i，j)-m(i，j)|比kσ(i，j)小的场合，删除该象素作为背景部分，也就是说，使该象素的值v(i，j)为0的步骤S225，在差|v(i，j)-m(i，j)|比kσ(i，j)大的场合，抽取该象素作为物体部分，也就是说，使该象素的值v(i，j)为1的步骤S226，以及判定是否对全部的象素进行前述步骤S224～S226的处理的步骤S227。

下面，参照图28对基于这种实施形态8的物体抽取装置的动作进行说明。

首先，在步骤S221中用数字化静止拍摄机等从同一个视点多次仅拍摄对象物体的背景，得到多个背景图像。这里，考虑到精度，背景图像的张数在3张以上为佳，考虑到简便性则以10张左右为佳。

接着，在步骤S222中，分别按照下式的(7)和(8)，对于各象素算出在多个背景图像中相互位于相同坐标的象素的平均值m(i，j)和标准偏差σ(i，j)。由此，即使由于对图像信号进行A/D变换的A/D变换器的变换特性和照明特性的变动或不稳定等原因而拍摄的背景图像的象素值得到异常的值，也能算出平均值，所以能得到稳定的背景图像。

m (i, j) = \frac{Σv (i, j)}{N} . . . . . . (7)

σ (i, j) = \sqrt{\frac{Σv {(i, j)}^{2}}{N}} - {(\frac{Σv (i, j)}{N})}^{2} . . . . . . . . (8)

这里，N是物体图像的全部区域R内的象素数。

接着，在步骤S223中，拍摄对象物体，得到物体图像。这里，得到v(i，j)作为物体图像的各象素的值。

接着，在步骤S227中，判定是否对全部的象素进行前述步骤S224～S226的处理，在对全部的象素进行了前述处理的场合，该程序结束。

采用如前所述的实施形态8，则因基于多个背景图像算出象素的平均值，所以能减少用于对图像信号进行A/D变换的A/D变换器的变换特性或照明特性的影响，而且因用多个背景图像的象素的标准偏差作为用于判别是物体图像还是背景图像的阈值，所以能自动地设定适合的阈值。因此，能从物体图像仅去除背景部分，而正确地抽取物体部分。

实施形态9

图29是表示基于本发明实施形态9的物体抽取装置的主要结构的流程图。在图29中，步骤S222、S333B～S336，S227是计算机130基于拍摄对象物体得到的物体图像和多次仅拍摄对象物体的背景得到的多个背景图像用于从物体图像去除背景部分并抽取物体部分的程序，存储在CD-ROM260中。

前述实施形态8是在步骤S223中拍摄1次对象物体并得到1张物体图像，而本实施形态9是在步骤S333A中多次拍摄对象物体并得到多张物体图像。因此，这种程序包含对于每个象素算出在多个物体图像中相互位于相同坐标的象素的平均值mv(i，j)的步骤S333B。在步骤S334～步骤S336中，用象素的平均值mv(i，j)代替图28所示的象素的值v(i，j)。因此，在本实施形态9中，对于每个象素算出在步骤S333A中得到的多个物体图像中相互位于相同坐标的象素的平均值mv(i，j)。

接着，在步骤S334中，算出物体图像的各象素的平均值mv(i，j)和与该象素对应的背景图像的象素的平均值m(i，j)之差|mv(i，j)-m(i，j)|，并比较该差|mv(i，j)-m(i，j)|和kσ(i，j)。

在差|mv(i，j)-m(i，j)|比kσ(i，j)小的场合，在步骤S335中使物体图像的该象素的平均值mv(i，j)为0。由此，作为背景部分删除该象素，另一方面，在差|mv(i，j)-m(i，j)|比kσ(i，j)大的场合，在步骤S336中使物体图像的该象素的平均值mv(i，j)为1，由此，从物体图像抽取该象素作为物体部分。

采用如前所述的实施形态9，则因用多次拍摄对象物体得到的多个物体图像，所以能得到与背景图像同样稳定的物体图像。因此，能从物体图像去除背景部分，能更正确地抽取物体部分。

实施形态10

图30是表示基于本发明实施形态10的物体抽取装置的主要结构的流程图。在图30中，步骤S222、S441～S447是计算机130基于拍摄对象物体得到的物体图像和多次仅拍摄对象物体的背景得到的多个背景图像用于从物体图像去除背景部分并抽取物体部分的程序，存储在CD-ROM260中。

相对于在图28所示的实施形态5中是对于每个象素处理物体图像，而在本实施形态10中，则是将物体图像分割成多个区域R，并对每个区域R进行处理。

因此，这种程序包括将在步骤S223中得到的物体图像分割成多个区域R的步骤S441，算出物体图像的各区域R内的各象素的值v(i，j)和与该区域对应的背景图像的区域R内的对应的象素的平均值m(i，j)之差、并对各区域R算出用下式(9)表示的该差的平均值md(R)的步骤S442，以及按照下式(10)对于每个区域R算出在步骤S223中算出的标准偏差的平均值mσ(R)的步骤S443。

md (R) = \frac{Σ_{R} | v (i, j) - m (i, j) |}{n} . . . . . . . . . . (9)

mσ (R) = \frac{Σ_{R} σ (i, j)}{n} . . . . . . (10)

在步骤S444～S446中，用差的平均值md(R)代替图28所示的差|v(i，j)-m(i，j)|，用标准偏差的平均值mσ(R)代替标准偏差σ(R)。并且，将在步骤S223中得到的物体图像在步骤S441中分割成多个区域R。

接着，在步骤S442中，算出物体图像的各区域R内的各象素的值v(i，j)和与该区域对应的背景图像的区域R内的象素的平均值m(i，j)之差|v(i，j)-m(i，j)|，并对于每个区域R算出该差的平均值md(R)。

接着，在步骤S443中，对于每个区域R算出在步骤S222中算出的标准偏差σ(i，j)的平均值mσ(R)。

接着，在步骤S444中，比较差的平均值md(R)和kmσ(R)。在差的平均值md(R)比kmσ(R)小的场合，在步骤S445中使该区域R内的象素的值v(i，j)全部为0。由此，作为背景部分从物体图像中删除该区域R。另一方面，在差的平均值md(R)比kmσ(R)大的场合，在步骤S446中使该区域R内的象素的值v(i，j)全部为1，由此，从物体图像抽取该区域作为物体部分。

最后，在步骤S447中，判定是否对于全部的区域R进行了前述的步骤S444～步骤S446的处理。在对于全部的区域R进行了前述处理的场合，结束该程序。

这样，采用如前所述的实施形态10，则因将对象物体分割成多个区域R，对于每个区域R算出物体图像的各区域R内的各象素的值和对应于该区域R的背景图像的区域R内的对应的象素的平均值之差的平均值md(R)，并抽取该差的平均值md(R)比标准偏差的平均值mσ(R)的k倍大的区域R作为物体部分，所以能从物体图像去除背景部分，能更正确地抽取物体部分。

此外，如前述实施形态10那样，在步骤S442中，虽然算出物体图像的各区域R内的各象素的值v(i，j)和与该区域R对应的背景图像的区域R内的象素的平均值m(i，j)之差是比较理想的，但也能算出物体图像的各区域R内的象素的平均值mv(i，j)，算出物体图像的各区域R内的象素的平均值和对应于该区域R的背景图像的区域R内的象素的平均值m(i，j)之差的绝对值。这种场合，在图30的流程图中，只要将物体图像的各区域R内的各象素的值v(i，j)置换成物体图像的各区域R内的象素的平均值mv(i，j)即可。

或者，也可以算出物体图像的各区域R内的象素的平均值mv(i，j)，此外，算出对应于该区域R的背景图像的区域R内的每个象素的平均值m(i，j)在区域R内的平均值mm(R)，再算出这些差的绝对值，并根据这种值抽取物体部分。这种场合，在图30的流程图中，在步骤S442求得md(R)时，只要计算|mv(R)-mm(R)|作为md(R)即可。

实施形态11

图31是表示基于本发明实施形态11的物体抽取装置的主要结构的流程图。在前述实施形态10的步骤S223中，是拍摄1次对象物体得到1张物体图像，而在本实施形态11步骤S333A中与此不同，是与前述实施形态9相同从同一视点多次拍摄对象物体得到多个物体图像。因此，在步骤S551中将多个物体图像加以平均后的物体图像分割成多个区域R。因此，在步骤S555和S556中，用象素的平均值mv(i，j)代替象素的值v(i，j)。

采用本实施形态11，则因从同一视点多次拍摄对象物体得到多个物体图像，所以能减少对象物体拍摄时的A/D变换器的变换特性和照明特性的变动的影响，能从物体图像去除背景部分，能更正确地抽取物体部分。

实施形态12

基于本发明实施形态12的立体模型生成装置与图3所示的实施形态1相同，包括旋转台110、拍摄机120和计算机130。这里，用机器人手臂等代替旋转台110。即能用使对象物体的方向变化的装置代替旋转台110。

图32是表示这种立体模型生成装置的概略的方框图。参照图32，立体模型生成装置包括拍摄单元109、图像存储单元220、运算/控制单元113、形状存储单元230和色彩信息存储单元240。拍摄单元109由图3的旋转台110和拍摄机120组成。图像存储单元220、运算/控制单元113、形状存储单元230和色彩信息存储单元240包含在图3的计算机130中。

图33是用于说明图3所示的立体模型生成装置的处理流程的流程图。图6A到图6E是用于说明图3的立体模型生成装置的具体处理内容的图。图6A是用于说明图33的步骤S2的对象物体、背景的拍摄的图。图6B是用于说明图33的步骤S 12的轮廓图像生成的图。图6C是用于说明图33的步骤S14的表决处理的图。图6D是用于说明图33的步骤S16的多边形生成的图。图6E是用于说明图33的步骤S18的特征映射的图。

下面，参照图3、图6A～图6E、图32和图33进行说明。在步骤S8中进行校准。基于本实施形态12的校准是求得拍摄机120的内部参数(透视比)和拍摄机120与旋转台110的位置关系的处理。在步骤S10中，进行对象物体和背景的拍摄。即不把对象物体放置在旋转台110上，仅拍摄背景，得到1张背景图像。此外，将对象物体100放置在旋转台110上，并使对象物体100旋转。并且，由拍摄机120用每个规定的角度与背景一起拍摄得到物体图像A1～An。例如，使对象物体100每隔10°旋转，得到36张物体图像A1～A36。在以下的说明中对以这样得到的36张物体图像A1～A36为基础生成立体模型29的场合进行说明。

这里，固定拍摄机120的位置和俯角(或者仰角)。此外，利用运算/控制单元113控制拍摄机120和旋转台110。此外，将在步骤S10求得的背景图像和物体图像存储在图像存储单元220中。在本实施形态12中，固定拍摄机并使对象物体旋转进行拍摄，为了使背景的拍摄次数仅可能少，仅拍摄1次背景，得到1张背景图像。但是，为了得到有更好的可靠性的背景图像，也可以拍摄2次以上背景并得到2张以上的背景图像。

此外，如本实施形态12那样，借助于固定拍摄机120，并使对象物体100旋转，从对象物体100的周围的多个方向拍摄包含背景的对象物体100的场合，背景的拍摄也可以1次，但借助于使对象物体100固定以对象物体100为中心旋转拍摄机120，从对象物体100的周围的多个方向拍摄包含背景的对象物体100的场合，必须多次拍摄背景。

在步骤S12中，未图示的轮廓生成单元生成轮廓图像。即进行各物体图像A1～A36和背景图像之间的差分处理，生成多个轮廓图像B1～Bn。因物体图像A1～A36是36张，所以轮廓图像也是36张。这里，差分处理(求得差分的处理)是指对于每个象素求得物体图像的色彩信息和背景图像的色彩信息的差。在步骤S14中，未图示的表决单元进行表决处理。即以多个轮廓图像B1～B36为基础，对圆柱坐标系体元空间251进行表决处理。并且，未图示的阈值处理单元(立体形状获得单元)以投票数在阈值以上的部分作为对象物体100的立体形状(存在区域)。

此外，虽然也可以用直角坐标系体元空间作为体元空间，但多数情况用圆柱坐标系体元空间251能减少存储量并能获得良好的形状的场合也很多。

在步骤S16中，以在步骤S14求得的对象物体100的立体形状为基础生成多个立体形状表现要素(例如，三角形拼块等的多边形，下面为简单起见将立体形状表现要素记为多边形)27，用多个多边形27表示在步骤S14求得的对象物体100的立体形状。将用多边形27表示的立体形状存储在形状存储器230中。在步骤S18从物体图像获得在步骤S16生成的对应于各多边形27的特征，并映射到各多边形27上。此外，将特征(色彩信息)存储在色彩信息存储单元240中。此外，步骤S12～S18的处理由运算/控制单元113进行，轮廓生成单元、形体单元、阈值处理单元包含在运算/控制单元113中。下面，对步骤S8的校准、步骤S14的表决处理和步骤S16的多边形生成详细地进行说明。

(校准)

作为校准是求得拍摄机120的内部参数(透视比)和拍摄机120与旋转台110的位置关系。首先，对拍摄机120的内部参数(透视比)进行说明。图34是用于说明拍摄机120的内部参数(透视比)的图。参照图34，利用拍摄机120对基准块31进行拍摄。这种场合，拍摄时使基准块31正好进入屏幕33。测量这时的拍摄机120和基准块31之间的距离L。此外，再预先测量基准块31的高度T。透视比是用距离L除基准块31的高度T。即用T/L表示透视比。在远近法中投影到画面上的物体尺寸是对应于从视点开始到物体为止的距离进行放大/缩小，决定其放大/缩小比例的参数是透视比。

下面，对拍摄机120和旋转台110的位置关系的测量进行说明。图35A到图35C是表示用于说明测量拍摄机和旋转台的位置关系的图。图35A是表示置于旋转台110的坐标系(xyz坐标系)中的拍摄机120的图。参照图35A，用旋转台110的坐标系(xyz坐标系)求得拍摄机120的位置(x0，y0，z0)。此外，求得绕拍摄机120的光轴35的旋转角α。图35B是表示对图35A的拍摄机120的yz平面的正投影的图。参照图35B，求得拍摄机120的光轴35和y轴所成的角β。图35C是表示对图35A的拍摄机120的xy平面的正投影的图。参照图35C，求得拍摄机120的光轴35和y轴所成的角γ。

也就是说，作为拍摄机120和旋转台110的位置关系，求得使用旋转台110的坐标系(xyz坐标系)的拍摄机120的位置和角度α、β和γ。此外，在本实施形态12中，α、γ大致为0°。这里，角度β是对于旋转台110的拍摄机120的俯角。此外，也称角度β为对于放置在旋转台110上的对象物体的拍摄机120的俯角。这里，在俯角中包含负的俯角、即仰角。

如前所述，在本实施形态12中，作为校准，求得对于对象物体的拍摄机俯角，因此能将以这种俯角拍摄对象物体的物体图像作为基础生成立体模型29。也就是说，不仅能从横方向(与xy平面平行的方向)拍摄对象物体得到的物体图像为基础，而且能从斜上方拍摄对象物体得到的物体图像为基础，生成立体模型29 。因此，还包含仅从横方向的拍摄不能得到的对象物体的上面部分，所以能充分地得到色彩信息。此外，因也能识别对象物体的局部地方的凹部，所以能更精确地生成立体模型29。

(表决处理)

下面，详细地说明图33的步骤S14的表决处理。图36是用于说明进行表决处理的圆柱坐标系体元空间251的图。参照图36，圆柱坐标系体元空间251由多个体元39组成。这里，为了方便地说明圆柱坐标系体元空间251的体元，考虑将图36的圆柱坐标系体元空间251为具有中心轴40的圆柱。并且，用与中心轴40垂直的不同的多个平面，切断这种圆柱25。此外，包含中心轴40而且用与中心轴40平行的多个平面，切断圆柱25。此外，用以与中心轴40为轴的不同的多个旋转面，切断圆柱25。这样，考虑借助于切断圆柱25得到的圆柱25的各要素。这种各个要素对应于圆柱坐标系体元空间251的各个体元39。

图37是用于说明表决处理的图。以图33的步骤S12得到的36张轮廓图像B1～B36为基础，对圆柱坐标系体元空间251进行表决处理。此外，图37仅示出了2个轮廓图像B1、B2。

这里，考虑假定存在区域50。图7是用于说明假定存在区域的图。在图7中仅示出了1个轮廓图像B1。参照图37和图7，并注意轮廓图像B1，所谓的对于轮廓图像B1的假定存在区域50是指以拍摄机的投影中心51为顶点，以轮廓图像B1中的物体图像42(对象物体100的轮廓)为断面形状的锥体状的区域。此外，也能同样地定义对于其它的轮廓图像B2～B36的假定存在区域。对象物体100一定存在于这种假定存在区域的内侧。

也参照图36，在表决处理中将存在于假定存在区域50中的体元39全部投票成“1”。对于全部的轮廓图像B1～B36进行这种表决处理。例如，存在于与36张轮廓图像B1～B36对应的全部的假定存在区域重合的部分的体元39的投票数为“36”。

在图33的步骤S10中，每隔10°拍摄对象物体得到36张物体图像，在步骤S12中，生成36张轮廓图像B1～B36。因此，假定存在区域的顶点(相当于拍摄机的投影中心)为围绕中心轴40每隔10°的位置。此外，按照图33的步骤S8的校准结果，决定假定存在区域的顶点(相当于拍摄机的投影中心)的位置。即根据透视比决定轮廓图像B1～B36和与其对应的假定存在区域的顶点(相当于拍摄机的投影中心)的位置关系。也就是说，决定作为假定存在区域的锥体的展开角。此外，根据拍摄机120和旋转台110的位置关系，决定对应于轮廓图像B1～B36的假定存在区域的顶点(相当于拍摄机的投影中心)与圆柱坐标系体元空间251的位置关系。

图38是表示表决处理结果的图。参照图38，色彩浓的部分投票数多，色彩淡的部分投票数少。此外，图38的z轴相当于图37的中心轴40。

在对于全部的轮廓图像B1～B36的表决处理结束后，进行阈值处理。即以具有规定的阈值以上的投票数的体元39存在的区域，作为对象物体100的存在区域。这种存在区域的形状是对象物体的立体形状。例如，假设阈值是“32”，则投票数“32”以上的体元39存在的区域的形状为对象物体100的立体形状。

如前所述，在本实施形态12中，根据表决处理求得对象物体的立体形状。因此，即使在表决处理中用的多个轮廓图像中有几个不正确，也能高精度地生成立体模型29。此外，过去因利用多个假定存在区域的逻辑积得到立体形状，所以在例如由于轮廓图像中的物体图像不正确而不能正确地表示对象物体的轮廓、表示的形状缺少对象物体的形状的一部分的场合，对于该缺少的部分不能作为对象物体的立体形状被表示。这里，是用表决处理推断体元空间251中对象物体的存在区域，但如果不能求得体元空间251中对象物体的存在概率，则也可以用表决处理以外的任何处理，推断对象物体的存在区域。

(多边形生成)

图39A和图39B是用于说明图33的步骤S16的多边形生成的具体内容的图。图40是用于说明图33的步骤S16的多边形生成的流程图。图39B是表示基于存在于图39A中的39B部分的轮廓线43a，43b求得的多边形的图。参照图39A和图40，在步骤SA1中未图示的切断部用多个平面(在图39A中仅图示3个平面41a，41b，41c)切断基于表决处理的结果求得的对象物体100的立体形状(参照图38)，求得各切断面(在图39A中仅图示3个切断面44a，44b，44c)的轮廓线(在图39A中仅图示3条轮廓线43a，43b，43c)。这里，在图33的步骤S10中，每隔10°拍摄对象物体，得到物体图像，在步骤S12中，生成每隔10°的轮廓图像B1～B36。因此，用多个平面围绕着中心轴40每隔10°切断对象物体100的立体形状。即用相邻的平面之间所成的角度θ为10°的多个平面，切断对象物体100的立体形状。切断对象物体100的立体形状的各平面是包含中心轴40的平面。

在步骤SA2中，未图示的多边形近似单元对各切断面的各轮廓线进行多边形近似，求得该多边形的顶点坐标。这里，作为多边形近似方法能用例如U.Ramer，“An Tterative Procedure for the Polygonal Approximation of PlaneCurves”，CGIP，Vol.1，pp.244-256，1972所公开的方法等。然后，未图示的连接单元在各切断面中在相邻的顶点之间用直线连接。在步骤SA3中，在相邻的切断面之间连接对应于各切断面的轮廓线的顶点之间，并生成多边形。此外，在步骤SA2的多边形近似中，借助于改变其近似精度，也能控制最终生成的多边形数。

参照图39B，对步骤SA2和步骤SA3的处理进行说明。在步骤SA2中，对轮廓线43a，43b进行多边形近似，求得该多边形的顶点45a，45b的坐标。然后，对于借助于对轮廓线43a进行多边形近似求得的多个顶点45a，对相邻的顶点之间用直线进行连接。对于对轮廓线43b进行多边形近似求得的多个顶点45b也进行同样的处理。这里，对应于轮廓线43a的是顶点45a，对应于轮廓线43b的是顶点45b。在步骤SA3中，用直线连接对应于切断面44a的轮廓线43a的顶点45a和对应于切断面44b的轮廓线43b的顶点45b之间，生成多边形27。这里，作为用直线连接顶点45a和顶点45b的方法有局部的最近接点连接策略和全局的最短连接策略。

局部的最近接点连接策略是在借助于对相邻的切断面的一方的轮廓线进行多边形近似得到的顶点和借助于对相邻的切断面的另一方的轮廓线进行多边形近似得到的顶点之间，对顶点间的长度最短的顶点之间用直线进行连接。全局的最短连接策略是在借助于对相邻的切断面的一方的轮廓线进行多边形近似得到的顶点和借助于对相邻的切断面的另一方的轮廓线进行多边形近似得到的顶点之间，对顶点间的长度的和为最小的顶点之间用直线进行连接。

下面，对局部的最近接点连接策略详细地进行说明。图41是表示对应于相邻的切断面的轮廓线的顶点间的关系的图。这里，作为相邻的切断面，考虑切断面Scnt和切断面Scnt+1。参照图41，顶点a，b，c，d，e，f是对切断面Scnt的轮廓线进行多边形近似得到的。顶点A，B，C，D，E，F，G是对切断面Scnt+1的轮廓线进行多边形近似得到的。此外，因以利用圆柱坐标系体元空间251的多边形生成为前提，所以顶点a和顶点A是同一点，顶点f和顶点G是同一点。

图42是用于说明局部的最近接点连接策略的图。参照图42，横方向对应于切断面Scnt的顶点a～f，纵方向对应于切断面Scnt+1的顶点A～G。并且，各格网点的数字(在0中记载的数字)是对应于切断面Scnt的轮廓线的顶点a～f(图41)和对应于切断面Scnt+1的轮廓线的顶点A～G(图41)之间的距离。例如在d和D的交点(d和D决定的格网点)记有图41的顶点d和D之间的距离。也就是说，图41的顶点d和D之间的距离是“2”。

参照图41和图42，在局部的最近接点连接策略中，首先生成初始多边形。初始多边形的生成方法考虑以下的2个方法。用于初始多边形生成的第1方法是无条件地用直线连接顶点bB之间。初始多边形生成的第2方法是在顶点bB之间、顶点aC之间和顶点Ac之间，选择距离最小的并用直线连接这种顶点之间。在图41和图42的例中，在初始多边形生成的2个方法中的任何一个方法中都选择顶点bB之间并用直线连接顶点bB。

接着，考虑连接顶点cB之间或者顶点bC之间的哪一个。因顶点bC之间的距离比顶点cB之间的距离短，所以用直线连接顶点bC之间。接着，考虑连接顶点cC之间或者顶点bD之间的哪一个。因顶点bD之间的距离和顶点cC之间的距离相等，所以可以连接任何一个，但这里用直线连接顶点bD之间。接着，考虑连接顶点cD之间或者顶点bE之间的哪一个。因顶点cD之间的距离比顶点bE之间的距离短，所以用直线连接顶点cD之间。下面，重复这种处理，用直线连接对应于切断面Scnt的轮廓线的顶点和对应于切断面Scnt+1的轮廓线的顶点。也就是说，在图42的各格网点中比较位于右面的格网点对应的顶点之间的距离和位于下面的格网点对应的顶点之间的距离，用直线连接具有短距离的格网点的顶点之间。图43是表示根据局部的最近接点连接策略连接图41的顶点a～f和顶点A～G得到的多边形的图。此外，对于与图41相同的部分，附以相同的参照标号并省略其说明。参照图43，按照局部的最近接点连接策略连接顶点a～f和顶点A～G，形成多边形(三角形拼块)27。

图44是表示用于说明根据局部的最近接点连接策略的多边形生成的流程的一部分的图。图45是表示用于说明根据局部的最近接点连接策略的多边形生成的流程的另外部分的图。此外，作为初始多边形生成方法，示出了用无条件地连接第1号的顶点之间的方法(初始多边形生成的第1方法)的例子。参照图44，在步骤SB1中，将用图40的步骤SA1得到的切断面的数代入到变量Smax中。此外，将“0”代入到变量Scnt中。在步骤SB2中，将第Scnt号的切断面的顶点数代入到变量Vmax中。此外，将“0”代入到变量Vcnt中。在步骤SB3中，连接第Scnt号切断面中第Vcnt号的顶点和第Scnt号的切断面中第Vcnt+1号的顶点。这里，在考虑例如图41所示的顶点a～f和A～G的场合，顶点a，A是第0号顶点，顶点b，B是第1号顶点，顶点c，C是第3号顶点，在步骤SB4中，将Vcnt+1代入到变量Vcnt中。在步骤SB5中，在变量Vcnt大于Vmax-1的场合，进入到步骤SB6。另一方面，在步骤SB5中，当变量Vcnt小于Vmax-1时，进入到步骤SB3中。在步骤SB6中，将Scnt+1代入到变量Scnt中，在步骤SB7中，当变量Scnt大于Smax时，进入到图45的步骤SB8中。另一方面，在步骤SB7中，当变量Scnt小于Smax时，进入到步骤SB2中。

参照图45，在步骤SB8中，将“0”代入到变量Scnt中。在步骤SB9中，将第Scnt号的切断面的顶点数代入到变量imax中。此外，将第Scnt+1号的切断面的顶点数代入到变量jmax中。在步骤SB10中生成初始多边形。这里，示出了用无条件地连接第1号的顶点之间的方法(初始多边形生成的第1方法)的例子，连接第Scnt号的切断面的第1号的顶点和第Scnt+1号的切断面的第1号的顶点。再将“1”代入到变量i中，并将“1”代入到变量j中。在步骤SB11中，将i+1代入到变量i_n中，并将j+1代入到变量j_n中。在步骤SB12中，dist([Scnt：i]，[Scnt+1：j_n])表示第Scnt号的切断面的第i号的顶点和第Scnt+1号的切断面的第j_n号的顶点之间的距离。此外，dist([Scnt：i_n]，[Scnt+1：j])表示第Scnt号的切断面的第i_n号的顶点和第Scnt+1号的切断面的第j号的顶点之间的距离。也就是说，在步骤SB12中，在第Scnt号的切断面的第i号的顶点和第Scnt+1号的切断面的第j_n号的顶点之间的距离比第Scnt号的切断面的第i_n号的顶点和第Scnt+1号的切断面的第j号的顶点之间的距离小的场合，进入到步骤SB13中，在其以外的场合，进入到步骤SB14中。

在步骤SB13中，连接第Scnt号的切断面的第i号的顶点和第Scnt+1号的切断面的第j_n号的顶点。再将j_n代入到变量j中。在步骤SB14中，连接第Scnt号的切断面的第i_n号的顶点和第Scnt+1号的切断面的第j号的顶点。再将i_n代入到变量i中。在步骤SB15中，在变量i大于imax-1的场合，进入到步骤SB17中，另一方面，在变量i小于imax-1的场合，进入到步骤SB16中。在步骤SB17中，连接第Scnt号的切断面的第i号的顶点和第Scnt+1号的切断面的第j～jmax-1号的各顶点。在步骤SB16中，在变量j大于jmax-1的场合，进入到步骤SB18中。另一方面，在变量j小于jmax-1的场合，进入到步骤SB11中。在步骤SB18中，连接第Scnt+1号的切断面的第j号的顶点和第Scnt号的切断面的第i～imax-1号的各顶点。在步骤SB19中，将Scnt+1代入到变量Scnt中。在步骤SB20中，在变量Scnt小于Smax的场合，进入到步骤SB9中。另一方面，在变量Scnt大于Smax的场合，结束处理。此外，虽然切断面存在于第0号到第Smax-1号，但在图45中，在Scnt为Smax-1的场合，有时必须考虑第Smax号的切断面的顶点。这种场合，第Smax号的切断面看作与第0号的切断面相同。

参照图42，对于根据全局最短连接策略的多边形的生成详细地进行说明。考虑以格网点aA(a与A的交点)为起点，以格网点fG(f与G的交点)为终点的路径。并且，在每经过格网点时加上分配到经过的格网点的距离的值作为补偿，求得补偿为最小的路径。也就是说，在从格网点aA到格网点fG为止的多个路径中求得最短的路径。作为这种最短的路径可以用双列(diallele)法、分支限定法、Dijkstra算法和A*算法等求得。在图42中，用粗的实线表示的路径是最小补偿路径(最短路径)。然后，连接存在于最小补偿路径(最短路径)上的格网点对应的顶点之间(参照图41)。例如，因最小补偿路径(粗的实线)通过格网点bB上，所以连接图41的顶点b和B。图43示出了根据全局最短连接策略用直线连接图41的顶点a～f和顶点A～G得到的多边形。

图46是用于说明全局最短连接策略的多边形生成的流程图。此外，对于与图44和图45相同的步骤，附以相同的标号并适当地省略其说明。参照图46，在步骤SC9中，连接第Scnt号的切断面的顶点和第Scnt+1号的切断面的顶点，使连接距离最短。在步骤SC10中，将Scnt+1代入到变量Scnt中。在步骤SC11中，在变量Scnt小于Smax的场合，进入到步骤SC9中，另一方面，在变量Scnt大于Smax的场合，结束处理。

这样，在本实施形态12中，用圆柱坐标系体元空间251求得对象物体的立体形状，用多个平面沿着圆柱坐标系体元空间251的中心轴，切断这种立体形状，并以切断面的轮廓线为基础生成形状模型300。因此，与用直角坐标系体元空间生成形状模型300的场合相比，用于生成形状模型的数据量少并且能高速处理。此外，用多边形近似和局部的最近接点连接策略或者全局最短连接策略生成构成形状模型300的多边形。因此，与用垂直于旋转轴的多个平面来切断对象物体的立体形状而生成形状模型300的以往技术相比，数据量少并且能进一步高速处理。即能实时生成形状模型300。此外，用多边形近似和局部的最近接点连接策略或者全局最短连接策略生成构成形状模型300的多边形27。因此，数据量少并且能高速处理。

在本实施形态12中，除去到此为止的说明的效果外，还有以下所述的效果。也就是说，在本实施形态12中，与用3维数字化仪生成形状模型的场合相比，能减少人工的作业。此外，在本实施形态12中，没有进行用激光的测量。因此，不受对象物体的材料的限制，必须在暗室中测量等拍摄环境的限制少。此外，在本实施形态12中，用旋转台110、拍摄机120和计算机130简单的结构就能生成立体模型29。此外，在本实施形态12中，借助于进行差分处理，生成轮廓图像，并用它生成形状模型300。因此，不需要同一色彩的背景板等那样的特殊的拍摄环境。

以上，是对用1台拍摄机和旋转台每隔10°拍摄对象物体生成立体模型29的例子进行了说明，但拍摄机的台数、拍摄视点的移动装置、拍摄角度的间隔宽度不限于此。也可以用多台拍摄机拍摄对象物体，生成立体模型29。这样，能进一步获得高精度的形状。此外，作为拍摄视点的移动装置，也可以用人工控制的旋转台和机器人手臂。此外，拍摄角度的间隔宽度对于复杂的物体也可以更加细，也可以根据方向改变拍摄角度的间隔宽度。也就是说，对于具有复杂的外形的方向也可以用更加细的刻度间隔进行旋转及拍摄。此外，在变更对象物体的拍摄角度的间隔宽度的场合，也改变切断体元空间251并再次构成多边形表示的形状模型300用的切断面。拍摄角度和切断面是相互关连而设定的。如果这样的话，则能将来自拍摄得到的轮廓图像的轮廓信息更高精度地反映在多边形数据上。

图47是表示记录使图3的计算机130生成对象物体的立体模型29用的程序301的CD-ROM的图。参照图47，计算机130按照记录在CD-ROM260中的程序301，生成对象物体的立体模型29。记录在CD-ROM260上的程序301包含生成对象物体的轮廓图像的步骤S12、进行表决处理的步骤S14、进行多边形生成的步骤S16和进行特征映射的步骤S18。

在本实施形态12中，在从体元表示的形状模型再次构成多边形表示的形状模型300的场合，使用了断面的多边形近似的技术，但是本发明不一定限于此。例如，也可以用变形球(metaball)表示的形状模型代替线框表示的形状模型300。此外，在本实施形态12中，是根据轮廓图像进行对体元空间251的表决处理并生成多边形，但也可以用多边形近似法将轮廓图像变换成多边形。此外，这种场合，因轮廓图像不正确，所以当然有必要进行基于人工操作的校正。

Claims

1.一种特征信息赋予方法，其特征在于，在对于形状模型的特征信息赋予方法中，包括下列步骤：

通过从不同视点对一对象物体进行拍摄以获得多个物体图像信息；

根据所述物体图像信息计算所述对象物体的立体形状；

用一立体形状构成要素的集合对所述立体形状进行描述；

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素的表面法线方向和摄取所述各物体图像信息的方向两者间一致程度的特征信息量；以及

根据所述计算出的特征信息量，基于所述物体图像信息赋予特征信息。

2.一种特征信息赋予方法，其特征在于，在对于形状模型的特征信息赋予方法中，包括下列步骤：

根据所述物体图像信息计算所述对象物体的立体形状；

用一立体形状构成要素的集合对所述立体形状进行描述；

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素投影至所述各物体图像信息的面积的特征信息量；以及

3.一种特征信息赋予方法，其特征在于，在对于形状模型的特征信息赋予方法中，包括下列步骤：

根据所述物体图像信息计算所述对象物体的立体形状；

用一立体形状构成要素的集合对所述立体形状进行描述；

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素的表面法线方向和摄取所述各物体图像信息的方向两者间一致程度的特征信息量、和所述立体形状构成要素间的特征连续性；以及

根据所述计算出的特征信息量和特征连续性两者，基于所述物体图像信息赋予特征信息，

其中，在赋予所述特征信息的步骤中，根据对应于每个所述立体形状构成要素的所述物体图像信息，对于所述形状模型赋予特征信息，以便使随着所述特征信息量的增加而减少并且随着所述立体形状构成要素间的特征连续性的改善而减少的评价函数极小化。

4.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，用所关注的所述立体形状构成要素和与其相邻的所述立体形状构成要素分别对应的所述物体图像信息的拍摄位置及拍摄方向之差的函数，表示所述特征连续性。

5.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，在伴随位置变化对所述物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，用随着分配给所关注的所述立体形状构成要素的标记号码和分配给与所关注的所述立体形状构成要素相邻的立体形状构成要素的标记号码之差的增加而增加的函数，表示所述特征连续性。

6.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，在伴随规则的位置变化对所述物体图像信息进行拍摄的场合将标记号码给予各物体图像信息时，用随着分配给所关注的所述立体形状构成要素的标记号码和分配给与所关注的所述立体形状构成要素相邻的立体形状构成要素的标记号码之差的增加而增加的函数，表示所述特征连续性。

7.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，对于每个所述立体形状构成要素，用投影到所述各物体图像信息的所述立体形状构成要素的面积的函数，表示所述特征信息量。

8.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，对于每个所述立体形状构成要素，用所述各立体形状构成要素的表面法线方向和对所述各物体图像信息进行拍摄的方向的一致程度的函数，表示所述特征信息量。

9.如权利要求3所述的特征信息赋予方法，其特征在于，

在所述评价函数中，用下述两个总和的线性组合表示所述特征信息量：(1)分配给第i号所述立体形状构成要素的标记号码和分配给与所述第i号所述立体形状构成要素相邻的立体形状构成要素的标记号码之差就全部立体形状构成要素求出的总和；以及(2)投影到分配所述第i号立体形状构成要素的标记号码所对应的所述物体图像信息的所述第i号立体形状构成要素的面积就全部立体形状构成要素求出的总和，其中，i为自然数。

10.如权利要求3所述的特征信息赋予方法，其特征在于，所述赋予特征信息的步骤包括：

将所述标记号码对应附加给每个所述立体形状构成要素，以便在伴随位置变化对所述物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，使随着对于所述各立体形状构成要素的特征信息量的增加而减少并且随着分别分配给所述各立体形状构成要素和与其相邻的立体形状构成要素上的特征信息的特征连续性的改善而减少的评价函数极小化的步骤，

基于与所述加以对应的标记号码相对应的物体图像信息和与包含所述加以对应的标记号码的规定数的标记号码相对应的物体图像信息，借助于进行对应于投影到所述各物体图像信息的所述立体形状构成要素的面积的加权平均处理，将特征信息赋予所述立体形状构成要素的步骤。

11.一种特征信息赋予方法，其特征在于，在对于形状模型的特征信息赋予方法中，包括下列步骤：

根据所述物体图像信息计算所述对象物体的立体形状；

用一立体形状构成要素的集合对所述立体形状进行描述；以及

根据分别投影到所述多个物体图像信息的所述立体形状构成要素所对应的面积，对多个所述物体图像信息进行加权平均处理，将这样加权平均处理得到的特征信息赋予每个所述立体形状构成要素。

12.一种特征信息赋予装置，其特征在于，在对于形状模型的特征信息赋予装置中，包括：

通过从不同视点对一对象物体进行拍摄以获得多个物体图像信息的装置；

根据所述物体图像信息计算所述对象物体的立体形状的装置；

用一立体形状构成要素的集合对所述立体形状进行描述的装置；

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素的表面法线方向和摄取所述各物体图像信息的方向两者间一致程度的特征信息量的装置；以及

根据所述计算出的特征信息量，基于所述物体图像信息赋予特征信息的装置。

13.一种特征信息赋予装置，其特征在于，在对于形状模型的特征信息赋予装置中，包括：

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素投影至所述各物体图像信息的面积的特征信息量的装置；以及

14.一种特征信息赋予装置，其特征在于，在对于形状模型的特征信息赋予装置中，包括：

对于每个所述立体形状构成要素，计算一表示所述各立体形状构成要素的表面法线方向和摄取所述各物体图像信息的方向两者间一致程度的特征信息量、和所述立体形状构成要素间的特征连续性的装置；以及

根据所述计算出的特征信息量和特征连续性两者，基于所述物体图像信息赋予特征信息的装置，

其中，在赋予所述特征信息的装置中，根据对应于每个所述立体形状构成要素的所述物体图像信息，对于所述形状模型赋予特征信息，以便使随着所述特征信息量的增加而减少并且随着所述立体形状构成要素间的特征连续性的改善而减少的评价函数极小化。

15.如权利要求14所述的特征信息赋予装置，其特征在于，

16.如权利要求14所述的特征信息赋予装置，其特征在于，

在所述评价函数中，在伴随位置变化对所述物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，用随着分配给所关注的所述立体形状构成要素的标记号码和分配给与所关注的所述立体形状构成要素相邻的所述立体形状构成要素的标记号码之差的增加而增加的函数，表示所述特征连续性。

17.如权利要求14所述的特征信息赋予装置，其特征在于，

18.如权利要求14所述的特征信息赋予装置，其特征在于，

19.如权利要求14所述的特征信息赋予装置，其特征在于，

20.如权利要求14所述的特征信息赋予装置，其特征在于，

在所述评价函数中，用下述两个总和的线性组合表示所述特征信息量：(1)分配给第i号所述立体形状构成要素的标记号码和分配给与所述第i号所述立体形状构成要素相邻的立体形状构成要素的标记号码之差就全部立体形状构成要素求出的总和；以及(2)投影到分配给所述第i号立体形状构成要素的标记号码所对应的所述物体图像信息的所述第i号立体形状构成要素的面积就全部立体形状构成要素求出的总和，其中，i为自然数。

21.如权利要求14所述的特征信息赋予装置，其特征在于，所述赋予特征信息的装置包括：

将所述标记号码对应附加给每个所述立体形状构成要素，以便在伴随位置变化对所述物体图像信息进行拍摄的场合将对应于位置变化的标记号码给予各物体图像信息时，使随着对于所述各立体形状构成要素的特征信息量的增加而减少并且随着分别分配给所述各立体形状构成要素和与其相邻的立体形状构成要素的特征信息的特征连续性的改善而减少的评价函数极小化的装置，

基于与所述加以对应的标记号码相对应的物体图像信息和与包含所述加以对应的标记号码的规定数的标记号码相对应的物体图像信息，借助于进行对应于投影到所述各物体图像信息的所述立体形状构成要素的面积的加权平均处理，将特征信息赋予所述立体形状构成要素的装置。

22.一种特征信息赋予装置，其特征在于，在对于形状模型的特征信息赋予装置中，包括：

用一立体形状构成要素的集合对所述立体形状进行描述的装置；以及

根据分别投影到所述多个物体图像信息的所述立体形状构成要素所对应的面积，对多个所述物体图像信息进行加权平均处理，将这样加权平均处理得到的特征信息赋予每个所述立体形状构成要素的装置。