CN103314396A - 使用三维信息的镶嵌图像处理装置、方法和程序 - Google Patents

Abstract

本发明提供一种三维镶嵌图像显示装置，实现了能将素材图像映射到任意的多边形的三维镶嵌图像生成技术。针对根据任意输入的多边形数分割的各多边形分配纹理图像，分别算出纹理图像部分的各基本色的平均浓度值作为目标浓度值，不依赖纹理图像的颜色浓度而决定配置一个素材图像的多边形，算出素材图像内的各基本色的平均浓度值后，一面保持素材图像的各基本色的浓度值分布率，一面对所述素材图像进行颜色修正，以使所述素材图像内的基本色的平均浓度值分别成为所述多边形内的纹理图像部分的各基本色的目标浓度值。

Description

使用三维信息的镶嵌图像处理装置、方法和程序

技术领域

本发明涉及用按时间顺序利用的、数量变化的多个素材图像，使用三维信息的镶嵌（mosaic）图像生成技术。

背景技术

作为将多个小图像（照片等源素材图像）排列成矩阵状以生成一个大的人物和/或风景等图像的技法，图像镶嵌技术已被公众所知。

在以往的图像镶嵌技术中，通常是假定完成状态的人物和/或风景的配色后，通过手工处理以目测在每个单元上配置适当配色的照片（源素材图像）。

相对于此，本申请人在日本专利公开公报特开2009-171158号（专利文献1）中，提出了镶嵌图像生成技术的方案。

按照在所述本申请人的专利文献1中记载的技术中，为了消除与对应对象图像的素材图像相关的限制，并提高对象图像和素材图像的视觉识别性，将分割为多个块的对象图像的基本色的平均浓度作为目标浓度值，通过一面保持素材图像的浓度值分布率，一面进行颜色修正而使所述素材图像内的各基本色的平均浓度值达到块内的各基本色的目标浓度值，从而不依赖基于目测的手工作业而自动生成镶嵌图像。

现有技术文献

专利文献1：日本专利公开公报特开2009-171158号

可是，上述现有技术都是将完成的图像（对象图像）假定为海报这种平面的、即二维信息。

本申请人通过对镶嵌图像技术进行反复研究后发现，如果能实现将三维图像作为对象图像的镶嵌图像处理，就能实现富有灵活性的显示推广。

发明内容

本发明鉴于这样的问题点，提出了能将对象图像作为三维图像的镶嵌图像的生成、显示的技术方案。

为解决所述问题，本发明采用了以下的方法。

本发明的第一方式的三维镶嵌图像显示装置，使用多个素材图像来生成、显示三维镶嵌图像，其特征在于，包括：多边形数决定单元，根据输入的素材图像数来决定分割的多边形数；3D数据模型生成单元，生成被分割为所述中决定的多边形数的3D数据模型（8）；3D原图像生成单元，针对各多边形分配纹理图像，分别算出通过该分割单元分割的多边形的纹理图像部分的各基本色的平均浓度值作为目标浓度值；素材图像转换单元，不依赖所述纹理图像的颜色浓度地决定应配置所述多个素材图像中的一个素材图像的多边形；平均浓度值算出单元，算出所述素材图像内的各基本色的平均浓度值；颜色修正单元，一面保持所述素材图像的各基本色的浓度值分布率，一面对所述素材图像进行颜色修正，以使所述素材图像内的基本色的平均浓度值分别达到所述多边形内的纹理图像部分的各基本色的目标浓度值；多边形生成单元，将通过颜色修正单元进行颜色修正后的素材图像配置在所述多边形上；以及3D镶嵌图像生成单元，将纹理图像映射到所述中生成的3D数据模型（8）中。

如上所述，由于能够与分配到多边形的纹理图像的颜色浓度无关地自动配置素材图像，所以能生成、显示通过目测的手工作业不能达到的三维镶嵌图像。

本发明的第二方式在第一方式所述的三维镶嵌图像显示装置基础上，所述3D数据模型生成单元能设定构成被完成的三维镶嵌图像的多边形数，作为初始值。

如上所述，通过设定完成的三维镶嵌图像的多边形数，可以预先决定素材图像数，能实现与参加者数对应的灵活的广告推广。

本发明的第三方式在第一方式所述的三维镶嵌图像显示装置基础上，在将所述素材图像配置到所述多边形时，所述素材图像转换单元执行删除处理，将不包括在隔成所述正多边形的线段内的素材图像部分删除。

如上所述，通过分割为能保证最大面积的正多边形的多边形，可以用更大的面积显示素材图像。

根据本发明，能进行以三维图像为对象图像的镶嵌图像处理，实现富有灵活性的显示推广。

附图说明

图1是表示由带有颜色信息的像素构成电子平面图像的图。

图2是表示通过将脸信息配置于空间坐标而构成的三维图像的图。

图3是表示通过使带有颜色信息的纹理图像对应于脸信息、而向各脸信息赋予颜色信息的图。

图4是表示将素材图像与各脸信息对应的图。

图5是表示记录由三维图像的脸信息的减数处理得到的各三维对象的处理的图。

图6是表示由三点以上的顶点构成的各脸信息的图。

图7是表示与各脸信息的形状相匹配地切取素材图像的处理的图。

图8是表示随着脸信息的变形、对应的素材图像同样变形的图。

图9是表示按照由纹理图像向脸信息赋予的颜色信息、对素材图像进行图像处理的图。

图10是表示三维镶嵌图像的生成装置的概念性功能结构的功能框图。

具体实施方式

以下，采用附图说明本发明的最佳实施方式。

图1表示了采用计算机、通过将带有颜色信息的各个像素2配置成矩阵状而构成平面图像1。

另一方面，图2说明了采用信息处理装置（计算机）生成三维图像3。即，在三维图像3中，将立体形状（3D数据模型）配置并表现在空间坐标上，所述立体形状（3D数据模型）由将称为多边形4的、用连接三点以上的顶点的线段划分出的平面图形以共有所述线段彼此的形式结合而成。

可是，由于构成上述3D数据模型的各多边形4不带有颜色信息，所以为完成三维图像需要使各多边形4带有作为属性的颜色信息。此时，如图3所示，通过将被称为纹理图像的原图像（纹理图像6）与各多边形4对应配置，对所述各多边形4赋予颜色信息。这样，将被分配了纹理图像6的多边形4的集合图像保存为三维图像（完成系）。

以上的说明在纹理图像6为一个图像时，只要计算针对每个多边形的光的照射方向和/或亮度后决定各多边形的颜色信息即可，由于各多边形上配置的素材图像的各自的亮度、彩度、色调分别不同，所以存在如何修正纹理图像的问题。

如图4所示，为生成三维镶嵌图像，本发明基本进行使一个素材图像7对应于3D数据模型的一个多边形4的处理。此时，需要一面维持纹理图像6的、作为特定图像的识别性（例如能够识别“蒙娜丽莎的微笑”的图像），进行素材图像7的修正。

作为用于生成三维镶嵌图像的硬件，是通用的信息处理装置，其中，以中央处理装置（CPU）和主存储器（MM）为中心，具有通过总线（BUS）连接的、作为大规模存储装置的硬盘装置（HD），作为输入装置的键盘（KBD），作为输出装置的显示器装置（DISP）。在所述硬盘装置（HD）上安装有操作系统（OS）、以及用于使所述装置发挥功能的三维镶嵌图像生成应用程序。通过借助总线（BUS）和主存储器（MM）向中央处理装置（CPU）读入并依次执行所述三维镶嵌图像生成应用程序，来实现本实施方式的功能。

图10将所述功能以框图表示，设有多边形数决定部101，其通过键盘等被输入素材图像数，以决定完成的三维镶嵌图像的多边形数。操作者可以任意设定所述多边形数。例如，在进行生成艺人的脸部图像的三维镶嵌图像的活动时，在假定参加者是5000人的情况下，由于收集5000枚素材图像数据，所以素材图像数也设定为5000。这样利用分割为5000个的多边形生成3D数据模型。此外，也能够像1000个～10个等这样地设定任意的素材图像数（参照图5）。所述输入的素材图像数存储在所述三维镶嵌图像生成装置的前述的主存储器（MM）中，并且通过3D数据模型生成部102生成与所述数值对应的3D数据模型8（参照图5）。

输入所述生成的3D数据模型8和纹理图像文件105后，3D原图像生成部103针对3D数据模型8映射（粘贴）纹理图像文件。

接着，作为本发明的特征性处理，3D原图像生成部104分别算出分配给3D数据模型8的（映射的）各多边形的纹理图像部分的各基本色的平均浓度值，作为目标浓度值。

另一方面，将由参加者提供的各素材图像7（例如各参加者的脸部照片数据）作为素材图像文件106，由素材图像取得部107输入装置内，根据所述3D原图像生成部104算出的目标浓度值、通过素材图像转换部108对后述的各构成色（RGB）的浓度值进行转换处理。

这里，素材图像文件106可以预先存储在硬盘等中，也可以从带相机的手机等接收。此外图像可以是彩色也可以是黑白。以下的说明中，作为各图像文件21和28所具有的颜色信息（颜色空间）列举了R（Red）、G（Green）、B（Blue）。当然，本发明不限于所述颜色构成模型，也可以使用C（Cyan）、M（Magenta）、Y（Yellow）、K（Key tone）的模型等。

所述素材图像转换部108将素材图像嵌入各多边形，并且执行与所述多边形的颜色浓度值对应的图像转换。如上所述，由于嵌入多边形的素材图像是根据从纹理图像文件得到的各多边形的颜色浓度值进行了转换处理，所以不必将素材图像以手工作业嵌入纹理图像的各多边形。换言之，不依赖原来的纹理图像的颜色浓度而能向任意的多边形分配素材图像并生成三维镶嵌图像，这一点是本发明的优点。上述功能由以下的功能部实现。

首先，分配到各多边形的素材图像，通过素材图像转换部108中的平均浓度算出部（未图示）算出各基本色的平均浓度。

此处，基本色是指构成图像区域所含的各像素的颜色的颜色，例如RGB色模型中为红、绿、蓝，CMYK色模型为蓝色、深红色、黄色、黑色。浓度值是指构成各像素的颜色的各基本色的比例或浓淡信息。此外，浓度值分布率是指所述图像内的全部像素中各基本色的浓度值的利用率。

所述平均浓度值算出部算出所述素材图像内的各基本色的平均浓度值。

具体而言，首先将所述素材图像7转换为灰度图像。而后，将转换后的素材图像标记为灰度素材图像。灰度图像是指仅通过亮度信息表现的图像，各像素的各RGB值分别相同。

通过如上所述将素材图像转换为灰度图像，可以消除素材图像的各RGB值的偏差。因此，当利用相同的素材图像转换部108内的颜色修正部（未图示）对素材图像文件进行颜色修正时，能防止因各RGB值的偏差而产生所述素材图像中不存在的颜色，进而，可以提高素材图像的视觉识别性。此外，在灰度素材图像的直方图中，对于RGB的各个，是相同的信息。因此，通过将素材图像转换为灰度图像，由于仅仅对RGB的某一个、进行下述说明的素材图像的算出处理即可，能够减少计算量。另外，对于所述灰度图像的转换方法，由于采取各RGB值的单纯平均或加权平均的方法等各种方法已被公众所知，故此处省略具体说明。

按照所述平均浓度算出部中的处理，针对所述灰度素材图像，基于所述素材图像所含的RGB中的某一个基本色、算出规定的统计值。以下，以R值作为基本色为例进行说明。

抽出灰度素材图像所含的全部像素的R值中的、最小R值。而后从所述素材图像的所有R值中分别减去所述最小R值。换言之，将R值分布朝向浓度值下降方向移动，以使抽出的最小R值成为容许最低浓度值（0）。

随后，对于如上所述的移位转换的R直方图，分别算出最低浓度值（与容许最低浓度值相同）、最高浓度值、平均浓度值、从最低浓度值到平均浓度值为止的浓度值与从平均浓度值到最高浓度值为止的浓度值的比例。平均浓度值是以转换的直方图中全部像素的R值的合计除以像素数的值。以下，将比平均浓度值小的方向的比例值标记为暗浓度值，将比平均浓度值大的方向的比例值标记为明浓度值。

平均浓度算出部例如从全部像素的R值（全浓度值）作为最小R值抽出16。而后，根据所述抽出值从全部像素的R值分别减去16。根据如上所述转换的R值分布，分别算出最低浓度值（0）、最高浓度值（215）、平均浓度值（93.60）、暗浓度值（0.44，93.60）、明浓度值（0.56，121.40）的各统计值。以下，将这些算出的各统计值作为各RGB的统计值分别处理。

在所述颜色修正部中，一面保持所述素材图像的各基本色的浓度值分布率，一面对所述素材图像进行颜色修正的处理，以使所述素材图像内的基本色的平均浓度值分别达到所述多边形内的纹理图像部分的各基本色的目标浓度值。

图9表示了所述颜色修正的概念。即使是相同的素材图像12，通过颜色修正部的颜色修正，也会分别成为不同的修正后素材图像10和13，并分配到多边形中。以下进行说明。

颜色修正部分别取得关于灰度素材图像的各统计值，并取得表示所述素材图像所配置的多边形的位置的多边形ID。接着，分别取得用所述多边形ID确定的纹理图像部分的R目标值、G目标值、B目标值。而后对所述素材图像7进行颜色修正，以使素材图像的平均浓度值成为对象块图像的R目标值、G目标值和B目标值。

具体说明时，假设算出的素材图像7的平均浓度值为93.60，为配置所述素材图像7而将多边形图像的RGB的目标值决定为：R目标值165、G目标值105、B目标值54。

颜色修正部106对所述素材图像7的全部R值进行修正，以使所述平均浓度值（93.60）达到块图像的R目标值（165）。同样，素材图像修正部48对所述素材图像82的全部G值进行修正，以使所述平均浓度值（93.60）达到块图像的G目标值（105），并修正全部B值以使所述平均浓度值（93.60）达到块图像的B目标值（54）。

此处，将原来的素材图像的平均浓度值移动到目标浓度值时，存在原来的素材图像的最高浓度值超过容许最高浓度值的情况和不超过的情况。当判断最高浓度值超过容许最高浓度值时，颜色修正部106缩小（压缩）原来的素材图像的分布宽度即可，以在平均浓度值固定在目标浓度值的状态下最高浓度值成为容许最高浓度值。

另一方面，当判断最高浓度值不超过容许最高浓度值时，颜色修正部压缩或拉伸原来的素材图像的分布宽度，以使最低浓度值固定在容许最低浓度值的状态下平均浓度值成为目标浓度值。原来的平均浓度值大于目标浓度值时，缩小分布宽度，而原来的平均浓度值小于目标浓度值时，扩大分布宽度。

如上所述，颜色修正部在处理中一边为提高整体的镶嵌图像的视觉识别性、使素材图像接近块图像的色调，一边又为了提高素材图像的视觉识别性而尽可能保持素材图像的色调。

接着，具体说明颜色修正部的处理例。

首先如下所示，对于RGB的各个，颜色修正部分别判断用目标值除以暗浓度值（0.44）后的值是否超过容许最高浓度值（255）。

（R值）：R目标值（165）/暗浓度值（0.44）＝375

（G值）：G目标值（105）/暗浓度值（0.44）＝238.64

（B值）：B目标值（54）/暗浓度值（0.44）＝122.73

当判断算出的值超过容许最高浓度值时，颜色修正部106用以下的（公式A）、分别修正原来的素材图像的各像素的浓度值。另外，255表示容许最高浓度值。

（公式A）：（原来的浓度值－最低浓度值）×H＋I

H＝（255－目标值）/明浓度值

I＝255－（最高浓度值×H）

另一方面，当判断算出的值不超过容许最高浓度值时，颜色修正部106用以下的（公式B）、分别修正原来的素材图像的各像素的浓度值。

（公式B）：（原来的浓度值－最低浓度值）×J

J＝目标值/暗浓度值

用上述（公式A）修正素材图像的全部R值，并用上述（公式B）分别修正全部G值和全部B值。具体而言，对于R值，H为0.74（=(255-165)/121.40）而I为95.90（=255-(215*0.74)）。关于G值，J为1.12（=105/93.60），关于B值，J为0.58（=54/93.60）。如上所述，素材图像修正部48对素材图像的RGB分别进行颜色修正。

如上所述被颜色修正部进行了颜色修正的素材图像数据，在多边形生成部中被映像到各个多边形的对应部分，并通过3D镶嵌图像生成部109显示在外部的显示器装置上。

另外，如图6所示，针对以多角形构成多边形的情况，由于素材图像数据7为四边形，所以在3D原图像生成部104的处理中，可以将如图7所示向多边形映射时除外的图像素材部分9删除。

此外，多边形为四角形、梯形、平行四边形，或不定形四角形时，3D原图像生成部104中可以进行如图8所示的图像转换。

工业实用性

本发明可以应用于通过图像信息处理装置进行用户参与型的活动的推广。

附图标记说明

1   平面图像

2   像素

3   三维图像

4   多边形

6   纹理图像

7   素材图像

8   3D数据模型

9   图像删除部分

Claims (3)

1.一种三维镶嵌图像显示装置，使用多个素材图像来生成、显示三维镶嵌图像，其特征在于，包括：

多边形数决定单元，根据输入的素材图像数来决定分割的多边形数；

3D数据模型生成单元，生成被分割为所述中决定的多边形数的3D数据模型（8）；

3D原图像生成单元，针对各多边形分配纹理图像，分别算出通过该分割单元分割的多边形的纹理图像部分的各基本色的平均浓度值作为目标浓度值；

素材图像转换单元，不依赖所述纹理图像的颜色浓度地决定应配置所述多个素材图像中的一个素材图像的多边形；

平均浓度值算出单元，算出所述素材图像内的各基本色的平均浓度值；

颜色修正单元，一面保持所述素材图像的各基本色的浓度值分布率，一面对所述素材图像进行颜色修正，以使所述素材图像内的基本色的平均浓度值分别达到所述多边形内的纹理图像部分的各基本色的目标浓度值；

多边形生成单元，将通过颜色修正单元进行颜色修正后的素材图像配置在所述多边形上；以及

3D镶嵌图像生成单元，将纹理图像映射到所述中生成的3D数据模型（8）中。

2.根据权利要求1所述的三维镶嵌图像显示装置，其特征在于，所述3D数据模型生成单元能设定构成完成的三维镶嵌图像的多边形数，作为初始值。

3.根据权利要求1所述的三维镶嵌图像显示装置，其特征在于，在将所述素材图像配置到所述多边形时，所述素材图像转换单元执行将不包括在隔成所述正多边形的线段内的素材图像部分删除的处理。

Images