CN102739954B

CN102739954B - 能够合成图像的摄像装置

Info

Publication number: CN102739954B
Application number: CN201210082427.1A
Authority: CN
Inventors: 宫本直知; 松本康佑
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2011-03-31
Filing date: 2012-03-26
Publication date: 2015-04-01
Anticipated expiration: 2032-03-26
Also published as: US20120249729A1; US9467625B2; CN102739954A; JP5609742B2; JP2012213041A

Abstract

本发明提供一种能够合成图像的摄像装置。数码相机(1)具备摄像部(2)、重复区域确定部(20)、特征点判定部(21)、亮度调整部(22)和图像合成部(24)。摄像部(2)连续地拍摄图像。重复区域判定部(20)确定连续地拍摄到的图像彼此的重复区域。特征点判定部(21)判定所确定的重复区域内的纹理。亮度调整部(22)基于纹理的判定结果按照使上述重复区域中的像素值处于预定的范围的方式调整上述图像彼此的像素值。图像合成部(24)按照使上述重复区域一致的方式合成所调整的上述图像彼此。

Description

能够合成图像的摄像装置

技术领域

本发明涉及摄像装置、图像合成装置以及图像合成方法。

背景技术

作为现有技术，用户按照一边维持对快门开关进行了按下操作的状态，一边在将数码相机在垂直方向上大致固定了的状态下使数码相机在水平方向上转动的方式来移动数码相机，从而进行拍摄。由此，公知数码相机按照将上述进行了拍摄得到的图像彼此的一部分区域进行拼接(join)的方式来合成，从而生成全景图像的技术(参照例如专利文献1)。

专利文献1：日本特开平6-303562号公报

但是，在上述专利文献1的技术中，在对图像进行拍摄时使按下快门的时刻和摄像元件的曝光的时刻完全一致这一点一般来说是困难的，因此进行了摄像所得到的图像的曝光值一个一个都不同。由于上述那样的理由，在上述专利文献1中，存在有在被合成的全景图像中产生亮度等不平衡之类的问题。

发明内容

在此，本发明的目的在于，提供一种在对连续地拍摄得到的图像进行合成时，通过按照使合成图像彼此的重复区域中的像素值处于预定的范围的方式进行调整，从而能够减小合成后的图像的不协调感的摄像装置、图像合成装置以及图像合成方法。

为了解决上述课题，本发明的摄像装置，其特征在于，具备：摄像单元，其连续地拍摄图像；重复区域确定单元，其确定通过上述摄像单元所连续地拍摄到的图像彼此的重复区域；纹理判定单元，其判定通过上述重复区域确定单元所确定的重复区域内的纹理；调整单元，其基于上述纹理判定单元所得到的判定结果，按照使上述重复区域中的像素值处于预定的范围的方式来调整上述图像彼此的像素值；和合成单元，其按照使上述重复区域一致的方式来合成通过上述调整单元调整了像素值的上述图像彼此。

另外，本发明的摄像装置优选的是，还具备比例判定单元，其判定通过上述纹理判定单元判定的上述重复区域中所占的纹理少的区域的比例是否为预定的阈值以上，上述调整单元，在通过上述比例判定单元判定为纹理少的区域的比例为预定的阈值以上的情况下，按照使上述纹理少的区域中的像素值处于预定的范围的方式来调整上述图像的像素值。

另外，本发明的摄像装置优选的是，上述调整单元，在通过上述比例判定单元判定为纹理少的区域的比例为预定的阈值以上的情况下，与具有纹理的区域相比，增大上述纹理少的区域的宽度，按照使上述重复区域中的像素值处于预定的范围的方式调整上述图像的像素值。

另外，本发明的摄像装置优选的是，上述比例判定单元检测上述重复区域的特征点，基于上述重复区域中的特征点的分布状态，判定存在纹理的区域和纹理少的区域的比例是否为预定值以上。

另外，本发明的摄像装置优选的是，上述像素值为亮度值。

本发明的图像合成装置，其特征在于，重复区域确定单元，其确定连续拍摄到的图像彼此的重复区域；纹理判定单元，其判定通过上述重复区域确定单元所确定的重复区域内的纹理；调整单元，其基于上述纹理判定单元所得到的判定结果，按照使上述重复区域中的像素值处于预定的范围的方式来调整上述图像的像素值；和合成单元，其按照上述重复区域一致的方式来合成通过上述调整单元调整了像素值的上述图像彼此。

本发明的图像合成方法，其特征在于，包括：图像取得步骤，取得连续地拍摄到的图像；重复区域确定步骤，确定在上述图像取得步骤中所取得的图像彼此的重复区域；纹理判定步骤，判定通过上述重复区域确定单元所确定的重复区域内的纹理；调整步骤，基于上述纹理判定单元所得到的判定结果，按照使上述重复区域中的像素值处于预定的范围的方式调整上述图像彼此的像素值；合成步骤，按照使上述重复区域一致的方式来合成在上述调整步骤中调整了像素值的上述图像彼此。

附图说明

图1为表示本发明的第1实施方式的数码相机的结构的框图。

图2为用于说明通常的摄像模式的概念图。

图3为用于说明本第1实施方式的数码相机1中的全景摄像模式的概念图。

图4为用于说明本第1实施方式的数码相机1的动作的流程图。

图5为用于说明本第1实施方式的数码相机1的连拍处理&合成处理的动作的流程图。

图6为用于说明本第1实施方式的、合成处理下的动作的概念图。

图7为用于说明本第1实施方式的、合成处理下的动作的概念图。

图8为用于说明本第2实施方式的动作的概念图。

图9为用于说明本第2实施方式的动作的概念图。

图10为用于说明本第2实施方式的动作的概念图。

图11为表示本发明的合成处理的效果的模式図。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

A.第1实施方式

图1为表示本发明的第1实施方式的数码相机的结构的框图。在图1中，数码相机1具备摄像部2、摄像控制部3、图像处理部4、移动距离测量部5、CPU7、RAM8、ROM9、记录部10、显示部11以及按键输入部12。

摄像部2包括聚焦透镜、变焦透镜等的透镜组、摄像元件(CCD等)，按照来自摄像控制部3的控制信号来调整聚焦、光圈、变焦等。而且，摄像部2将通过摄像元件而经由透镜组所投影的被摄体的光变换为电信号，作为摄像信号输出。摄像控制部3在CPU7的控制下，控制摄像部2的拍摄动作。

图像处理部4进行由摄像部2拍摄到的图像数据的图像处理(像素插值处理、γ校正、亮度色差信号的生成、白平衡处理、曝光校正处理等)、图像数据的压缩·解压(例如JPEG形式、Motion-JPEG形式或者MPEG形式的压缩·解压)的处理，合成多个摄像图像的处理等。

尤其，在本第1实施方式中，图像处理部4具备重复区域确定部20、特征点判定部21、亮度调整部22、图像位置调整部23和图像合成部24。重复区域确定部20对在全景摄影时以预定的时间间隔(例如7fps、10fps等)依次拍摄到的图像(并非全部作为合成用图像而被获得)的重复区域进行确定，除此之外，对在水平移动中在预定的位置(合成用图像的获得位置)拍摄的合成用图像彼此的重复区域进行确定。

作为具体的重复区域的确定的方法，根据合成用图像彼此的共通区域设定多个长条状的区域(未图示)，算出该设定的多个长条状的区域的亮度差的二次方和(SSD：Sum of Squared Differece)，将该SSD为最小的位置确定为上述的重复区域。

特征点确定部21根据上述重复区域中的特征点来确定纹理(texture)(像素值(level)具有变化的区域)没有(较少)的区域。作为特征点的抽出，也可采用DOG、HOG、Harris法、采用了主曲率法等的相角检测或其它手法。亮度调整部22，在上述重复区域中没有纹理的区域存在有预定的阈值以上的情况下，按照没有该纹理的区域的亮度大致相同的方式(按照使双方的亮度的平均值处于预定的允许范围的方式)，调整合成用图像彼此的亮度。图像位置调整部23基于上述重复区域的特征点来调整相邻图像彼此的位置。图像合成部24对调整了位置的相邻图像彼此进行合成，生成一个相连的合成图像(全景图像)。

移动距离测量部5测量在全景摄影时使数码相机按照使在垂直方向上大致固定的状态下在水平方向上转动的方式进行移动时的数码相机的移动距离。在全景摄影时，数码相机1以预定的时间间隔(例如7fps、10fps等)依次进行拍摄。实际上为了合成全景图像，也可在依次拍摄得到的图像中、每次数码相机1到达预定的位置时，将在该时间点拍摄到的图像作为合成用图像，获取并保存到RAM8中。

因此，需要检知数码相机1到达了预定的位置或者移动到了预定的位置，即需要测量数码相机1的移动距离。所以，作为移动距离测量部5，也可采用能检测数码相机1的移动的陀螺仪传感器、加速度传感器、或者预定的图像处理(例如算出图像彼此的运动矢量的方法)。

在本第1实施方式中，采用预定的图像处理，检测数码相机1达到了预定的位置。在全景摄影时，数码相机1以预定的时间间隔(例如7fps、10fps等)进行依次拍摄。在此，通过CPU7对依次拍摄得到的图像的共通区域的大小逐次判定，从而判定数码相机1是否移动到了预定的位置(合成图像取得位置)。

例如，在一个之前的合成用图像的1/3程度重叠的图像被拍摄的情况下，CPU7判定为数码相机1移动到了预定的位置(合成图像取得位置)，CPU7也可将该摄像图像作为合成用图像在RAM8中获取。如上那样，通过判定依次拍摄到的图像的共通区域的大小，在数码相机1达到预定的位置(合成图像取得位置)时，也可将在该时间点拍摄得到的图像作为合成用图像而获取到RAM8中。

CPU7为对数码相机1的各部分进行控制的单片机。尤其，在本第1实施方式中，CPU7在全景摄影时用户移动数码相机1的期间，以预定的时间间隔(例如7fps、10fps等)依次进行拍摄，为了在每次到达了终端、或者全景摄影结束之前、到达了预定的位置(合成图像取得位置)时将摄像图像作为合成用图像而获取到RAM8中，对摄像控制部3、图像处理部4、移动距离测量部5等进行控制。

此外，CPU7将该获取的多个摄像图像按照一部分重复的方式(例如改变透明度)合成，为了生成以广角进行了拍摄那样的1张合成图像(全景图像)而控制各部。此时，按照使重复区域中的亮度不均消失的方式，调整进行合成的图像彼此的亮度。另外，关于图像合成的详细情况在后面叙述。

RAM8用作暂时存储通过摄像部2拍摄到的图像数据的缓冲存储器，并且用作CPU7的工作存储器。ROM9记录有CPU7所进行的数码相机1的各部的控制中必需的程序、以及在各部的控制中必需的数据。CPU7按照该程序进行处理。

记录部10记录基于多次拍摄而合成的合成图像(全景图像)。显示部11包括彩色LCD及其驱动电路，在处于拍摄待机状态时，将通过摄像部2拍摄的被摄体作为实时取景(live view)图像进行显示，在记录图像的再生时，显示从记录部10读出并被解压的记录图像。按键输入部12包括快门SW(开关)、变焦SW、模式键、SET键、十字键等多个操作键，将与用户的按键操作相对应的操作信号输出到CPU7。

图2为用于说明通常的摄像模式的概念图。在由数码相机1以通常的摄像模式进行摄影的情况下，如图2所示，只能拍摄该数码相机1的拍摄系统所具有的视角的范围的图像30。

图3为用于说明本第1实施方式的数码相机1的全景摄像模式的概念图。用户对期望的景色准备数码相机1，例如在左端按下快门SW(半按压→全按压)，如图3所示的箭头那样，从按下了快门SW的左端沿右方向移动。数码相机1以预定的时间间隔(例如7fps、10fps等)依次拍摄，将在每次到达终端或者在全景摄影结束之前、到达预定的位置时所拍摄得到的图像(合成用图像)获取到RAM8中。而且，数码相机1通过对所获取的合成用图像进行依次合成，生成一个合成图像(全景图像)31。

接下来，对上述的第1实施方式的动作进行说明。

图4为用于说明本第1实施方式的数码相机1的动作的流程图。首先，如果CPU7在半按压快门SW(步骤S10)时，则按照执行AF(自动聚焦)处理的方式控制摄像控制部3(步骤S12)。用户在全按压快门SW之后，使数码相机1按照使在水平方向上转动的方式进行移动(参照图3)。

CPU7，在全按压了快门SW时(步骤S14)，控制摄像控制部3，使以预定的时间间隔(例如7fps、10fps等)依次拍摄。而且，CPU7将每次数码相机1到达预定的位置时所拍摄到的图像获取到RAM8中，并且计算相机移动速度。之后，CPU7通过对所获取的图像依次合成，从而生成一个合成图像(全景图像)31(步骤S18)。另外，关于连拍处理&合成处理的详细内容在后面叙述。

接下来，CPU7判断是否连拍结束(步骤S20)。连拍结束例如以通过用户(用户操作)而产生了结束信号的情况、相机移动偏离较大等而在图像取得中产生了错误的情况、超过全景图像的最大尺寸等、朝向图像取得方向的移动距离超过了阈值的情况等作为契机。而且，在连拍没有结束的情况下(步骤S20的“否”)，CPU7所进行的处理返回到步骤S18，继续连拍处理&合成处理。另一方面，在连拍结束了的情况下(步骤S20的“是”)，结束该处理。

图5为用于说明本第1实施方式的数码相机1的连拍处理&合成处理的动作的流程图。此外，图6以及图7为用于说明本第1实施方式的合成处理中的动作的概念图。另外，该连拍处理&合成处理的执行中，CPU7控制摄像控制部3，使摄像部2以预定的时间间隔(例如7fps、10fps等)依次拍摄被摄体。该摄像图像未必全部作为合成用图像获取到RAM8中，如果不是在获取位置上拍摄到的图像，则被废弃。

首先，CPU7判断数码相机1是否移动了固定距离(步骤S30)。此外，CPU7通过判定以预定的时间间隔依次拍摄到的图像的共通区域的大小，从而判断被拍摄到的图像是否为应作为合成用图像而获取到RAM8中的图像。所谓应作为合成用图像获取的图像是指在一个图像前获取的合成用图像和所拍摄到的图像仅在预定的区域(例如1/3等)共通的图像。

即，如果为应作为合成用图像获取的图像，则表明数码相机1到达了预定的位置，CPU7判断数码相机1移动了固定距离。换句话说，如果共通的区域越大，则数码相机1仍未到达预定的位置，如果共通的区域越小，则超过了预定的位置。

而且，在数码相机1没有移动固定距离的情况下(步骤S30的“否”)，由此数码相机1仍未到达预定的位置，因此CPU7反复执行步骤S30。另一方面，在数码相机1移动了固定距离的情况下(步骤S30的“是”)，CPU7将此时的摄像图像获取到RAM8中来进行保存(步骤S32)。

接下来，特征点判定部21通过在图像彼此的重复区域中判定有无特征点，来判定有无纹理(步骤S34)。此外，特征点判定部21，如果重复区域中的预定范围中的特征点的数目在预定的阈值以下，则判定该范围的区域的纹理较少(没有)，如果预定范围中的特征点的数目比预定的阈值多，则判定该范围的区域的纹理多(存在)。

如图6所示，图像合成部24按照使重复区域41-1、41-2重叠的方式合成合成用图像40-1和合成用图像40-2。重复区域41-1和重复区域41-2中，在其上部存在没有纹理的区域(像素值平坦的区域)。

接下来，特征点判定部21判断没有纹理的区域是否在预定的阈值(例如全体的1/3)以上(步骤S36)。这是因为在没有纹理的区域小的情况下，不太能得到亮度平滑化效果的缘故。而且，在没有纹理的区域未在预定的阈值(例如全体的1/3)以上的情况下，图像合成部24直接合成一个之前的合成用图像和本次获取的合成用图像(步骤S40)。之后，处理返回到图4所示的主程序。

另一方面，如图7所示，没有纹理的区域42-1、42-2具有大致全体一半程度的情况下、即没有纹理的区域在预定的阈值(例如全体的1/3)以上的情况下，亮度调整部22通过按照没有纹理的区域42-1、42-2的亮度大致相同的方式进行平滑化(通过使双方的亮度的平均值处于预定的允许范围的程度而成为相同)，来调整合成用图像彼此(或者后来拍摄的合成用图像)的亮度(步骤S38)。之后，图像合成部24直接合成一个之前的合成用图像和本次获取的合成用图像(步骤S40)。此后，处理返回到图4所示的主程序。

而且，在全景摄影的连拍结束之前，图像合成部24针对依次获取的多个合成用图像分别进行合成用图像的亮度调整、亮度调整后的合成用图像的合成，得到一个相连的合成图像(全景图像)。

根据上述的第1实施方式，图像合成部24在使合成用图像的一部分重复来进行合成时，亮度调整部22通过按照使重复区域内的没有纹理的区域的亮度大致相同的方式进行平滑化(双方的亮度的平均值处于预定的允许范围的程度而成为相同的方式)，来调整合成用图像彼此(或者后拍摄的合成用图像)的亮度。此后，图像合成部24合成合成用图像彼此，在合成连续地进行拍摄所得到的图像时，能够减小合成后的图像的不协调感。

B.第2实施方式

接下来，对本发明的第2实施方式进行说明。

在本第2实施方式中，其特征在于，在进行图像合成时，通过以纹理存在的区域和纹理不存在的区域来改变重复区域的宽度(混合宽度)，从而更加缓和重复区域的亮度差。

从图8到图10，为用于说明本第2实施方式的动作的概念图。如图8所示，图像合成部24与前述的图6同样，按照使重复区域41-1、41-2重叠的方式合成合成用图像40-1和合成用图像40-2。在重复区域41-1和重复区域41-2中，在其上部存在没有纹理的区域(天空部分)。

纹理多(存在)或少(没有)也能够以预定范围中的特征点的数目的不同来判断。即，如果重复区域中的预定范围中的特征点的数目在预定的阈值以下，则判断该范围的区域的纹理少(没有)，如果预定范围中的特征点的数目比预定的阈值多，则判断为该范围的区域的纹理多(存在)。而且，如图9所示，在纹理少的部分中，增大重复区域41-1、41-2的宽度(混合宽度)，在纹理多的部分中，相对地减小重复区域41-1、41-2的宽度(混合宽度)。

而且，如图10所示，亮度调整部22通过按照使重复区域41-1、41-2的亮度大致成为相同的方式进行平滑化(通过使双方的亮度的平均值处于预定的允许范围的程度而成为相同)，在调整了合成用图像彼此(或者后拍摄的合成用图像)的亮度之后，图像合成部24合成合成用图像彼此。

根据上述的第2实施方式，在进行图像合成时，基于纹理多的区域和纹理少的区域来改变重复区域的宽度(混合宽度)，能够进一步缓和重复区域的亮度差。

图11为表示本发明的合成处理的效果的模式図。如图11所示，如现有技术那样，如果单纯地进行图像合成，则使在摄像图像时按下快门的时刻和摄像元件的受光时刻完全一致一般是困难的，因此在合成后的全景图像50中重合的部分中产生明暗差。

与此相对，在本发明中，在图像合成部24使合成用图像的一部分重复来进行合成时，亮度调整部22通过按照使重复区域内的没有纹理的(纹理少的)区域的亮度大致成为相同的方式进行平滑化(通过使双方的亮度的平均值处于预定的允许范围的程度而成为相同)，从而调整合成用图像彼此(或者后拍摄的合成用图像)的亮度。之后，由于图像合成部24对合成用图像彼此进行合成，因此能够减小在合成后的全景图像60中重合的部分的不协调感。

另外，在上述的第1、第2实施方式中，虽然在实际的全景摄影中的连拍中每次合成合成用图像，但也可在每次数码相机1到达预定的位置时将所拍摄到的图像作为合成用图像来获取并保存之后，合成该合成用图像。此时，在得到所有的合成用图像的时间点，特征点判定部21判别全体的亮度的偏差，例如亮度调整部22将具有其中的中间的亮度的合成用图像作为基准，通过按照使各个重复区域内的没有纹理的区域的亮度大致成为相同的方式进行平滑化(通过使双方的亮度的平均值处于预定的允许范围的程度而成为相同)，来调整合成用图像的亮度。此后，图像合成部24合成合成用图像彼此。

以上，虽然针对本发明的几个实施方式进行了说明，但本发明不限于这些内容，包括专利请求的范围中记载的发明和其均等的范围。

Claims

1.一种摄像装置，其特征在于，具备：

摄像单元，其连续地拍摄图像；

重复区域确定单元，其确定通过上述摄像单元所连续地拍摄到的图像彼此的重复区域；

纹理判定单元，其判定通过上述重复区域确定单元所确定的重复区域内的纹理的量是否为预定的阈值以下；

调整单元，其在通过上述纹理判定单元判定为上述重复区域内的纹理的量为预定的阈值以下的情况下，按照使上述重复区域中的像素值处于预定的范围的方式来调整上述图像彼此的像素值；和

合成单元，其按照使上述重复区域一致的方式来合成通过上述调整单元调整了像素值的上述图像彼此。

2.根据权利要求1所述的摄像装置，其特征在于，

还具备比例判定单元，其判定通过上述纹理判定单元判定的上述重复区域中所占的纹理的量为上述预定的阈值以下的区域的比例是否为预定的阈值以上，

上述调整单元，在通过上述比例判定单元判定为纹理的量为上述预定的阈值以下的区域的比例为预定的阈值以上的情况下，按照使上述纹理的量为上述预定的阈值以下的区域中的像素值处于预定的范围的方式来调整上述图像的像素值。

3.根据权利要求2所述的摄像装置，其特征在于，

上述调整单元，在通过上述比例判定单元判定为纹理的量为上述预定的阈值以下的区域的比例为预定的阈值以上的情况下，与纹理的量不为上述预定的阈值以下的区域相比，增大上述纹理的量为上述预定的阈值以下的区域的宽度，按照使上述重复区域中的像素值处于预定的范围的方式调整上述图像的像素值。

4.根据权利要求2所述的摄像装置，其特征在于，

上述比例判定单元检测上述重复区域的特征点，基于上述重复区域中的特征点的分布状态，判定纹理的量不为上述预定的阈值以下的区域和纹理的量为上述预定的阈值以下的区域的比例是否为预定值以上。

5.根据权利要求1～4中任一项所述的摄像装置，其特征在于，

上述像素值为亮度值。

6.一种图像合成装置，其特征在于，包括：

重复区域确定单元，其确定连续地拍摄到的图像彼此的重复区域；

调整单元，其在通过上述纹理判定单元判定为上述重复区域内的纹理的量为预定的阈值以下的情况下，按照使上述重复区域中的像素值处于预定的范围的方式来调整上述图像的像素值；和

7.一种图像合成方法，其特征在于，包括：

图像取得步骤，取得连续地拍摄到的图像；

重复区域确定步骤，确定在上述图像取得步骤中所取得的图像彼此的重复区域；

纹理判定步骤，判定通过上述重复区域确定单元所确定的重复区域内的纹理的量是否为预定的阈值以下；

调整步骤，在通过上述纹理判定单元判定为上述重复区域内的纹理的量为预定的阈值以下的情况下，按照使上述重复区域中的像素值处于预定的范围的方式来调整上述图像彼此的像素值；以及

合成步骤，按照使上述重复区域一致的方式来合成在上述调整步骤中调整了像素值的上述图像彼此。