CN112672066A - 图像处理设备、图像拍摄设备、控制方法及存储介质 - Google Patents

Abstract

本发明涉及一种图像处理设备、图像拍摄设备、控制方法及存储介质。图像处理设备包括：针对拍摄图像获得距离信息和被摄体信息；基于所获得的距离信息来指定拍摄图像中分布了预定距离范围中所存在的被摄体的图像的第一被摄体区域；基于被摄体信息而独立于所获得的距离信息，指定拍摄图像中包括检测到预定被摄体的区域的第二被摄体区域；以及参考第一被摄体区域和第二被摄体区域中至少之一来确定执行图像处理的对象区域，其中，被摄体区域根据拍摄图像的图像拍摄条件和拍摄图像的状态中至少之一而改变。

Description

图像处理设备、图像拍摄设备、控制方法及存储介质

技术领域

本发明涉及图像处理设备、图像拍摄设备、控制方法及计算机可读存储介质，特别地涉及对通过摄像获得的图像应用用于在图像拍摄之后添加预定效果的图像处理的技术。

背景技术

存在针对通过图像拍摄获得的拍摄图像检测被摄体区域并对该被摄体区域应用诸如校正处理等的图像处理的已知技术。例如，存在向所检测到的被摄体区域添加利用虚拟光源的照射效果的所谓的重光照处理(relighting processing)(日本特开2016-072694)。利用重光照处理，可以使由于摄像时的环境光而在拍摄图像中出现的暗区域(诸如阴影等)变亮，并且可以获得具有良好氛围的拍摄图像。

例如，日本特开2016-072694公开了可以适当地校正被摄体上的阴影状态的重光照处理。具体地，检测拍摄图像中的被摄体的预定区域中的阴影状态，并且基于所检测到的阴影状态来确定虚拟光源的特性。然后，校正摄像图像以实现与使用具有所确定的特性的虚拟光源进行光照射的情况相对应的阴影状态。

另一方面，日本特开2016-072694没有特别提及检测被摄体区域的方法。可以通过例如获得在深度方向上距图像拍摄范围中存在的被摄体的距离分布的信息(距离信息)来指定拍摄图像中的包括日本特开2016-072694的主被摄体的被摄体区域，作为由指示包括主被摄体的预定距离范围的像素构成的区域。

因此，通过获得距离信息来指定被摄体区域使得可以例如区分指示前面的被摄体(前景)的被摄体区域和指示后面的被摄体(远景)的被摄体区域。作为结果，日本特开2016-072694的重光照处理可以在使用一个虚拟光源照射前景的被摄体以及照射背景的被摄体这两种情况下，生成示出基于从虚拟光源到被摄体的距离差以及照射量(强度)的变化的图像。

另一方面，利用基于距离信息来指定被摄体区域的方法，可能难以根据距离信息的测量精度来有利地指定被摄体区域。例如，在不利于获得距离信息的图像拍摄条件(图像拍摄设置和图像拍摄环境的状态)下，拍摄图像中不会精细地出现被摄体的图像，因此，导出的被摄体距离的精度变低。

发明内容

本发明是鉴于上述问题而做出的，并且旨在提供有利地指定被摄体区域并例如实现向该被摄体区域添加期望效果的图像处理设备、图像拍摄设备、控制方法和程序。

在第一方面，本发明提供一种图像处理设备，用于针对拍摄图像来对包括预定被摄体的区域执行图像处理，所述图像处理设备包括：获得部件，用于针对所述拍摄图像获得距离信息和被摄体信息，所述距离信息指示深度方向上的被摄体距离的分布，所述被摄体信息指示所述拍摄图像中所包括的预定被摄体的检测结果；第一指定部件，用于基于所述获得部件所获得的所述距离信息，来指定所述拍摄图像中分布了预定距离范围内所存在的被摄体的图像的第一被摄体区域；第二指定部件，用于基于所述获得部件所获得的所述被摄体信息并且独立于所述距离信息，来指定所述拍摄图像中包括检测到所述预定被摄体的区域的第二被摄体区域；以及确定部件，用于参考所述第一被摄体区域和所述第二被摄体区域中至少之一，来确定执行所述图像处理的对象区域，其中，所述确定部件根据所述拍摄图像的图像拍摄条件和所述拍摄图像的状态中至少之一来使被参考的被摄体区域改变。

在第二方面，本发明提供一种图像拍摄设备，包括：图像拍摄部件，用于对拍摄图像进行拍摄；以及上述的图像处理设备。

在第三方面，本发明提供一种图像处理设备的控制方法，所述图像处理设备用于针对拍摄图像来对包括预定被摄体的区域执行图像处理，所述控制方法包括：获得步骤，用于针对所述拍摄图像获得距离信息和被摄体信息，所述距离信息指示深度方向上的被摄体距离的分布，所述被摄体信息指示所述拍摄图像中所包括的预定被摄体的检测结果；第一指定步骤，用于基于所述获得步骤中所获得的所述距离信息，来指定所述拍摄图像中分布了预定距离范围内所存在的被摄体的图像的第一被摄体区域；第二指定步骤，用于基于所述获得步骤中所获得的所述被摄体信息并且独立于所述距离信息，来指定所述拍摄图像中包括检测到所述预定被摄体的区域的第二被摄体区域；以及确定步骤，用于参考所述第一被摄体区域和所述第二被摄体区域中至少之一，来确定执行所述图像处理的对象区域，其中，在所述确定步骤中，被参考的被摄体区域根据所述拍摄图像的图像拍摄条件和所述拍摄图像的状态中至少之一而改变。

在第四方面，本发明提供一种计算机可读存储介质，其存储有用于使计算机用作上述的图像处理设备的各部件的程序。

根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示例性地示出根据本发明的实施例的数字照相机100的功能结构的框图。

图2是示例性地示出根据本发明的实施例的图像处理单元105的详细结构的框图。

图3是示例性地示出根据本发明的实施例的图像处理单元105的操作的流程图。

图4是示例性地示出根据本发明的实施例的重光照单元114的详细结构的框图。

图5A和5B是用于说明根据本发明的实施例的重光照处理中所定义的虚拟光源的图。

图6是用于说明根据本发明的实施例的重光照处理中所使用的法线图的图。

图7A和7B是用于说明根据本发明的实施例的重光照处理适用的状态的图。

图8是示例性地示出根据本发明的实施例的重光照单元114所执行的重光照处理的流程图。

图9是示例性地示出根据本发明的实施例的指示重光照处理中所使用的人物形状的模型的图。

具体实施方式

以下将参考附图来详细说明实施例。注意，以下实施例不旨在限制所要求保护的发明的范围。在实施例中说明了多个特征，但是没有限制本发明需要所有这样的特征，并且可以适当地组合多个这样的特征。此外，在附图中，为相同或相似的结构赋予相同的附图标记，并且省略其重复说明。

以下说明的实施例提供了本发明适用于如下的数字照相机的示例的说明，该数字照相机用作图像处理设备的示例并且可以获得拍摄图像以及指示与该拍摄图像相关的图像拍摄范围中存在的被摄体在深度方向上的被摄体距离的分布的距离信息。然而，本发明可适用于可以获得拍摄图像以及指示与该拍摄图像相关的图像拍摄范围中存在的被摄体的被摄体距离的分布的距离信息的任何装置。

<<数字照相机100的结构>>

图1是示出根据本发明的实施例的数字照相机100的功能结构的框图。

图像拍摄单元103例如是诸如CCD或CMOS传感器等的图像传感器，并且对经由包括变焦透镜和调焦透镜的镜头组件101(图像拍摄光学系统)以及具有光圈功能的快门102在图像拍摄平面上形成的光学图像进行光电转换。图像拍摄单元103将通过光电转换获得的模拟图像信号输出到A/D转换器104。假定图像拍摄单元103中所包括的图像传感器使用拜耳排列的滤色器，并且从图像拍摄单元103输出的各像素的信号指示R、G和B其中之一的信号强度。A/D转换器104将输入的模拟图像信号转换为数字图像信号(图像数据)，并将数字图像信号输出到图像处理单元105。

图像处理单元105对从A/D转换器104输入的图像数据或经由存储器控制单元107从图像存储器106读出的图像数据进行诸如颜色转换处理(例如，白平衡)、γ处理、边缘增强处理和颜色校正处理等的各种类型的图像处理。在图像处理单元105应用图像处理之后输出的图像数据(拍摄图像)经由存储器控制单元107而存储到图像存储器106中。图像存储器106是存储从图像处理单元105输出的图像数据以及显示单元109上所要显示的图像数据的记录设备。假定本实施例的图像处理单元105具有如图2所示的功能结构；稍后将参考图3的流程图来说明图像拍摄时的操作的详情。

检测单元113检测包括在拍摄图像中并且出现了预指定被摄体的图像的区域。尽管本实施例是在假定检测单元113检测作为预指定被摄体的人物的脸和构成脸的器官的图像的情况下进行说明的，但本发明不限于以这种方式体现。要检测的被摄体不限于人物，并且可以包括其它动物和移动物体以及预登记的建筑物和物体。此外，尽管本实施例是在假定数字照相机100包括一个检测单元113的情况下进行说明的，但是用于检测被摄体的结构不限于此，并且可以包括分别检测不同类型的被摄体的多个检测单元113。因此，不言而喻，检测单元113可被配置为能够检测已被指定为检测对象的被摄体的图像，并且稍后将说明的被摄体信息是具有基于各种情况下的检测对象的设置的内容的信息。以下说明中提到的被摄体是指上述的预指定被摄体。另外，被摄体以外的区域可被称为背景。

图像处理单元105还进行用于使用检测单元113所进行的检测的结果以及拍摄图像来导出聚焦状态的评价值的处理，并将所获得的评估值输出到系统控制单元50。此时，基于所获得的评价值，系统控制单元50进行根据TTL(通过镜头)方式的诸如AF(自动调焦)处理、AE(自动曝光)处理和AWB(自动白平衡)处理等的曝光控制、以及测距控制。

D/A转换器108将图像存储器106中所存储的显示用的数字图像数据转换为模拟信号，并将模拟信号供给至显示单元109。显示单元109进行显示控制，使得例如来自D/A转换器108的模拟信号被显示在诸如LCD等的显示设备上。

压缩/解压缩单元110对图像存储器106中所存储的拍摄图像和图像数据进行基于诸如JPEG和MPEG等的标准的压缩编码处理。系统控制单元50经由接口(I/F)111将编码图像数据存储到诸如存储卡和硬盘等的记录介质112中。此外，压缩/解压缩单元110对经由I/F111从记录介质112读出的图像数据进行解码和解压缩，并将解码和解压缩后的图像数据存储到图像存储器106中。该存储的图像数据经由存储器控制单元107和D/A转换器108而由显示单元109显示。

重光照单元114进行用于将拍摄图像所示的场景中的被摄体校正为在图像拍摄之后利用虚拟光源进行模拟照射的照明状态(亮度)的重光照处理。稍后将参考其它附图来详细说明重光照单元114所进行的重光照处理。

系统控制单元50例如是诸如微处理器等的计算设备，并控制数字照相机100中所包括的各个块的操作。非易失性存储器121由诸如EEPROM等的存储器构成，并存储系统控制单元50的处理所需的程序和参数等。系统控制单元50通过将非易失性存储器121中所记录的程序以及用于系统控制单元50的操作的常数和变量展开到系统存储器122、并执行所展开的程序、常数和变量，来执行与针对各个块的操作的控制相关的处理。系统存储器122可以例如是易失性存储设备，并且不仅可用作部署各种类型的数据展开到的区，还可用作用于存储通过各个块的操作而输出的中间数据的存储区。

操作单元120例如是数字照相机100中所包括的诸如释放开关和菜单按钮等的用户接口；在已对用户接口进行操作输入的情况下，操作单元120向系统控制单元50输出与操作输入相对应的控制信号。操作单元120接受与例如菜单设置和图像选择相关的操作输入。

测距传感器123对数字照相机100的图像拍摄范围中存在的被摄体进行测距。在本实施例中，假定测距传感器123基于通过从两个不同视点拍摄图像拍摄范围而获得的拍摄图像、使用立体方法来导出被摄体距离。距离信息可以例如基于拍摄图像或者基于例如紧挨在图像拍摄之前拍摄的拍摄图像来进行配置，并且假定距离信息具有与拍摄图像相同的二维像素结构。针对为了使用立体方法导出距离的目的而获得的两个拍摄图像，距离信息的各像素可以例如存储在已识别出一个图像中的各像素的图像和其它图像中出现这些图像的位置之间的对应关系的情况下的两组像素之间的相对位置位移量的信息。

尽管关于测距传感器123被设置成与图像拍摄单元103分离的模式说明了本实施例，但是图像拍摄单元103可以作为测距传感器123进行操作。具体地，可以针对图像传感器的像素分别提供多个微透镜，并且可以针对像素分别获得视差不同的多个图像。

<<图像处理单元的结构及其在图像拍摄时的操作>>

接着，将参考图2的框图和图3的流程图来说明图像处理单元105的结构及其在图像拍摄时的操作的详情。

如图2所示，本实施例的图像处理单元105接受图像拍摄单元103所拍摄的图像信号以及检测单元113所进行的检测的结果作为输入。然后，图像处理单元105对由亮度信号和色度信号组成的拍摄图像以及与拍摄图像中所包括的被摄体相关的信息(被摄体信息)进行配置，并输出拍摄图像和被摄体信息。这里提到的被摄体信息可以例如包括拍摄图像中所包括的作为被摄体的人物的数量、其位置、其脸部大小、对比度以及指示阴影状态的信息(阴影信息)。

当从A/D转换器104输入了与拜耳RGB相对应的图像数据时，同步处理单元200在步骤S301中对图像数据进行同步处理，并补充各像素不足的颜色分量的信息，从而生成RGB图像。

在步骤S302中，WB放大单元201对步骤S301中所生成的RGB图像应用用于调整白平衡的处理。可以基于系统控制单元50在已知处理中导出的白平衡增益值来调整白平衡。一旦调整了RGB图像的白平衡，WB放大单元201将调整后的RGB信号输出到亮度/颜色图像生成单元202。

在步骤S303中，亮度/颜色图像生成单元202基于输入的RGB信号生成亮度图像Y，并将亮度图像Y输出到边缘增强处理单元203。亮度/颜色图像生成单元202还将输入的RGB图像输出到颜色转换处理单元205。在图3所示的流程图中，为了方便起见，在一个流程内以顺序方式说明与亮度图像Y相关的处理和与RGB图像相关的处理；然而，应当理解，本发明不限于以这种方式体现。也就是说，针对亮度图像Y的处理以及由图像处理单元105针对RGB图像进行的处理可以并行地执行。

在步骤S304中，边缘增强处理单元203对输入的亮度图像Y进行边缘增强处理，并将处理后的亮度图像Y输出到亮度/伽马处理单元204。另外，颜色转换处理单元205通过对输入的RGB图像例如应用矩阵计算来将RGB图像转换为具有预定颜色平衡的图像，并将具有预定颜色平衡的图像输出到颜色/伽马处理单元206和被摄体信息配置单元208。

在步骤S305中，被摄体信息配置单元208基于检测单元113所进行的脸或脸部器官的检测的结果的信息以及从颜色转换处理单元205输入的RGB图像来配置与拍摄图像相关的被摄体信息。被摄体信息配置单元208基于检测单元113所进行的检测的结果来指定用作被摄体的人物的数量、其位置及其脸部大小的信息。被摄体信息配置单元208还基于例如拍摄图像的整体图像和各被摄体的图像的平均亮度信息和亮度直方图信息来指定与检测到的被摄体相关的对比度和阴影信息。一旦配置了被摄体信息，被摄体信息配置单元208就将其存储到例如系统存储器122中。

在步骤S306中，亮度/伽马处理单元204对输入的亮度图像Y应用伽马校正，并经由存储器控制单元107将处理后的亮度图像Y存储到图像存储器106中。另外，颜色/伽马处理单元206同样对输入的RGB图像应用伽马校正，并将处理后的图像输出到色度图像生成单元207。

在步骤S307中，色度图像生成单元207从RGB图像中生成色度图像R-Y、B-Y，并经由存储器控制单元107将其存储到图像存储器106中。

<<重光照单元的结构>>

接着，参考图4来说明本实施例的重光照单元114的详细结构。在本实施例中，重光照单元114使用图像处理单元105所生成的亮度图像Y及色度图像B-Y和R-Y、测距传感器123所配置的距离信息以及图像处理单元105所配置的被摄体信息来进行重光照处理。

图像转换单元401将输入的亮度图像Y及色度图像B-Y和R-Y转换为RGB图像。图像转换单元401将通过转换生成的RGB图像输出到逆伽马处理单元402。

逆伽马处理单元402对RGB图像应用具有由图像处理单元105的亮度/伽马处理单元204和颜色/伽马处理单元206针对被输入到重光照单元114的图像组应用的伽马校正的逆特性的计算(逆伽马处理)，从而将RGB图像转换为线性数据。然后，逆伽马处理单元402将已转换为线性数据的RGB图像(Rt,Gt,Bt)输出到反射分量导出单元407和添加处理单元408。

另一方面，距离导出单元403基于测距传感器123所获得的距离信息来配置传感器距离图。所配置的距离图被输出到被摄体区域指定单元404。

被摄体区域指定单元404基于指示图像拍摄时的图像拍摄条件(例如，图像拍摄设置)的图像拍摄信息、传感器距离图以及由被摄体信息配置单元208配置的被摄体信息，来配置重光照处理中所参考的被摄体区域图。这里提到的被摄体区域图是以简化形式指示到被摄体的距离的图，并且是指示在后述的重光照处理中添加效果至的对象区域的二维信息。更具体地，针对拍摄图像内存在被摄体的区域，认为距数字照相机100的距离是有意义的距离，并且被摄体区域图存储使用预定方案导出的值作为该区域中的像素的像素值。相反，针对不存在被摄体的区域(例如，背景区域)，可以认为距数字照相机100的距离是无意义的，并且被摄体区域图可以存储指示无限远的固定值作为该区域中的像素的像素值。也就是说，被摄体区域图可以针对与预定距离范围内所包括的被摄体的图像相对应的像素存储基于传感器距离图而导出的值，并且针对与其它距离处存在的被摄体的图像相对应的像素存储固定值。本实施例的重光照单元114是以被摄体区域的确定方法以及被摄体区域图的生成方法(尤其是存在被摄体的区域的像素值)根据图像拍摄条件等而变化的方式配置的；稍后将使用流程图来说明其详情。

法线导出单元405基于被摄体区域指定单元404所配置的被摄体区域图来生成作为指示被摄体形状的形状信息的法线图。法线图可以使用已知技术生成。一旦法线导出单元405配置了使用与拍摄图像的各像素相对应的法线N的信息作为像素值的法线图，其就将法线图输出到反射分量导出单元407。

尽管本实施例是在假定距离导出单元403、被摄体区域指定单元404和法线导出单元405被配置为重光照单元114中所内置的单元的情况下进行说明的，但本发明不限于以这种方式实现。这些功能组成例如可被配置为内置于测距传感器123或图像处理单元105中的单元，或者可以作为独立于重光照单元114的功能组成而存在。

基于输入的被摄体信息，光源设置单元406设置用于对拍摄图像(RGB图像)中的被摄体(人)进行照射的虚拟光源的各种类型的参数。例如，在对整个脸被示出为暗的拍摄被摄体进行使脸的亮度整体增加的重光照处理中，虚拟光源的参数(诸如位置、照射范围和强度等)被设置为使得整个脸区域包括在照射范围内。

参考图5A和5B，现在说明在一个人作为被摄体存在于图像拍摄范围中的状态下的虚拟光源的各种类型的参数的设置。图5A是示出被摄体与虚拟光源之间的位置关系的斜视图，以及图5B是示出被摄体与虚拟光源之间的位置关系的平面图。考虑到光的衰减特性，虚拟光源与被摄体之间的距离越短使得被摄体被越强地照明，而虚拟光源与被摄体之间的距离越长使得被摄体被越弱地照明；因此，考虑到虚拟光源与被摄体分离的程度来确定虚拟光源的位置，以实现期望照明状态。此外，可以例如根据要被照明的被摄体的表面正面向的方向来确定虚拟光源的位置。同样，还确定虚拟光源的照明强度(发光强度)的大小，以将被摄体置于期望照明状态。虚拟光源的照射范围的增加导致被摄体的照明区域的增加，而虚拟光源的照射范围的减少导致对被摄体的照明区域的限制；因此，虚拟光源的照射范围是根据要照明的区域的大小来确定的。

为了添加由虚拟光源照明期间的来自虚拟光源的光引起的反射的表示，反射分量导出单元407导出虚拟光源所发出的光在被摄体的表面的反射分量。反射分量导出单元407根据基于被摄体区域图而确定的虚拟光源与被摄体之间的距离K、基于法线图的法线信息N以及由光源设置单元406设置的虚拟光源的各种参数，来导出从虚拟光源发出的光(虚拟光)的反射分量。导出RGB图像的各像素中的虚拟光的反射分量，使得这些反射分量与虚拟光源和对应于该像素的被摄体之间的距离K的平方成反比例，并且与基于对应于该像素的被摄体的表面的法线N以及从虚拟光源到对应于该像素的被摄体的方向(光源方向)L的向量的内积成比例。

现在结合如图6所示放置用于重光照的虚拟光源602的情况来说明导出虚拟光的反射分量的常见方法。尽管图6仅示出RGB图像的水平方向以简化说明，但对于与所示的二维平面垂直的方向(RGB图像的垂直方向)适用同样的说明。

以下说明了针对由RGB图像中的水平像素位置H1和未示出的垂直像素位置V1指示的被摄体601上的点P1导出虚拟光的反射分量的方法。如前所述，点P1上的虚拟光的反射分量与被摄体601上的点P1处的法线向量N1和与虚拟光源602相关的光源方向向量L1的内积成比例，并且与虚拟光源602和点P1之间的距离K1的平方成反比例。尽管在图6中被示出为二维向量，但是法线向量N1和光源方向向量L1是由RGB图像的水平方向、垂直方向和深度方向(图6中的距离D所指示的方向)组成的三维向量。在这种情况下，虚拟光在被摄体601上的点P1处的反射分量(Ra,Ga,Ba)可以表示如下。

(式1)

Ra＝α×(-L1·N1)/K1₂×Rt

Ga＝α×(-L1·N1)/K1₂×Gt

Ba＝α×(-L1·N1)/K1₂×Bt

这里，α表示虚拟光源602的光的强度并且指示重光照校正量的增益值，以及Rt、Gt和Bt分别指示与从逆伽马处理单元402输入的RGB图像中的点P1相关的RGB分量。由反射分量导出单元407以上述方式导出的虚拟光的反射分量(Ra,Ga,Ba)被输出到添加处理单元408。尽管本实施例是在假定如式1所指示地反射分量被导出为使得其与距离的平方成反比例的情况下进行说明的，但不言而喻，这些反射分量可以使用其它计算方法来导出。

添加处理单元408进行用于在RGB图像中反映所输入的虚拟光的反射分量(Ra,Ga,Ba)的影响的处理。也就是说，为了反映重光照的影响，添加处理单元408进行以下计算以将该影响添加到来自逆伽马处理单元402的RGB图像。

(式2)

Rout＝Rt+Ra

Gout＝Gt+Ga

Bout＝Bt+Ba

这里，(Rout,Gout,Bout)分别表示与已反映重光照的影响之后的RGB图像中的点P1相关的RGB分量。添加处理单元408在进行用于反映重光照的影响的处理之后，将得到的RGB图像输出到伽马处理单元409。

伽马处理单元409对所输入的重光照后的RGB图像应用伽马校正处理，并将得到的RGB图像输出到亮度/色度图像生成单元410。

亮度/色度图像生成单元410通过对所输入的已进行伽马处理的RGB图像(R'out,G'out,B'out)进行转换来生成亮度图像Y及色度图像R-Y和B-Y，并输出所生成的图像。

通过以上述方式在重光照单元114中对拍摄图像应用重光照处理，可以在图像拍摄之后获得被摄体的照明状态发生改变的图像。例如，在如图7A所示、被摄体由于例如室内图像拍摄等而在拍摄图像中呈现为暗的情况下，重光照处理的应用可以生成如图7B所示的被摄体的区域的照明状态已被校正的图像。通过应用重光照处理获得的图像由系统控制单元50通过存储器控制单元107累积到图像存储器106中、此后在压缩/解压缩单元10中进行压缩编码并存储到记录介质112中就足够了。

<<重光照处理>>

使用图8的流程图，以下说明了与本实施例的重光照处理相关的具体处理，其中重光照处理是使用以上述方式配置的重光照单元114来进行的。与该流程图相对应的处理可以例如通过系统控制单元50读出非易失性存储器121中所存储的相应处理程序、将处理程序展开到系统存储器122、执行处理程序、并控制重光照单元114的操作来实现的。本重光照处理将在假定其例如在针对记录介质112中所存储的拍摄图像发出了用于改变被摄体的照明状态的指示时开始的情况下进行说明。这里，假定拍摄图像由如前所述的亮度图像Y及色度图像R-Y和B-Y组成，并在执行处理时已被展开到图像存储器106。此外，关于拍摄图像，假定与该拍摄图像相关的距离信息、被摄体信息以及图像拍摄时的图像拍摄设置的信息彼此相关联地记录，并且以其各自可在本重光照处理中被参考的方式配置。

在步骤S801中，被摄体区域指定单元404参考与对象拍摄图像(对象图像)相关的图像拍摄设置的信息，并判断对象图像是否是在适合获得距离信息的条件下拍摄的。在本实施例的数字照相机100中，测距传感器123基于使用两个图像的组的立体方法来测量被摄体距离；因此，假定已经关于在图像拍摄时设置的感光度设置值(ISO值)指定了适合获得距离信息的条件。根据立体方法，由于被摄体距离是基于图像而导出的，因此测量精度随该图像中所包括的噪声量而降低。因此，被摄体区域指定单元404基于在图像拍摄时设置的ISO值是否低于第一阈值ISO_th1来进行本步骤中的判断，其中第一阈值ISO_th1被指定为在拍摄图像中出现少量噪声的ISO值的上限。在被摄体区域指定单元404判断为对象图像是在适合获得距离信息的条件(ISO值<ISO_th1)下拍摄的情况下，处理进入步骤S802；在被摄体区域指定单元404判断为对象图像不是在这种条件下拍摄到的情况下，处理进入步骤S804。

在步骤S802中，被摄体区域指定单元404参考对象图像的状态以及与对象图像相关的被摄体信息，并判断进行图像拍摄的场景是否在适合获得距离信息的条件下。与步骤S801不同，本步骤的判断是独立于距离信息而进行的。

虽然基于立体方法导出的被摄体距离的测量精度根据测量中所使用的两个图像中包括的噪声量而变化，但该精度还受到两个图像中与同一被摄体相关的图像(图案)的检测精度的影响。由于与同一被摄体相关的图案的检测精度取决于图像内所包括的特征图案的分布，因此在拍摄图像具有低对比度比的情况下，这种精度降低。因此，对象图像中的低对比度区域越大，图像拍摄场景就越不适合于距离信息的获得。此外，主要由相同颜色(肤色)的像素占据的区域(诸如人脸的表面)也可以是取决于拍摄图像中出现的图像的大小的具有低对比度的区域。也就是说，在脸区域以其大小占据拍摄图像的很大部分的方式拍摄的情况下，由于相同颜色的像素的数量很大因而很难提取特征图案，因此与同一被摄体相关的图案的检测精度可能降低。相反，在脸区域以在拍摄图像中占据很小的大小的方式拍摄的情况下，特征图案集中，并且存在特征图案难以区分的可能性；这也可能降低与同一被摄体相关的图案的检测精度。

因此，被摄体区域指定单元404基于对象图像内的低对比度区域的百分比是否低于阈值以及检测到的脸区域的大小是否在预定面积范围内(不太小且不太大)来进行本步骤中的判断。与低对比度区域的百分比相关的阈值以及检测到的脸区域的大小的面积范围的信息可以以实验方式通过例如在各种场景中测量被摄体距离而导出。在被摄体区域指定单元404判断为拍摄对象图像的场景处于适合获得距离信息的条件下的情况下，处理进入步骤S803；在被摄体区域指定单元404判断为场景不处于适合条件下的情况下，处理进入步骤S805。

在步骤S803中，被摄体区域指定单元404仅基于距离信息生成被摄体区域图(mapK)。具体地，首先，距离导出单元403基于图像拍摄设置的信息和距离信息而生成传感器距离图，该传感器距离图是各像素指示被摄体距离K(这些像素的被摄体与例如透镜的主点或图像传感器的图像拍摄平面之间的距离)的二维信息。然后，被摄体区域指定单元404通过利用被摄体距离对如下的值进行加权，来生成被摄体区域图(mapK：第一被摄体区域)，其中该值是通过基于位宽度对该距离图中的各像素的像素值K的平方的倒数进行标准化而获得的。也就是说，由于在本步骤中生成的被摄体区域图与基于可靠性程度高的拍摄图像导出的距离信息相关联，因此基于距离信息的值被存储为该图中的存在被摄体的区域中的像素值。尽管本实施例是在假定在到达本步骤时仅基于距离信息来生成被摄体区域图的情况下进行说明的，但被摄体区域图可以使用距离信息优先生成。

另一方面，在步骤S801中判断为对象图像不是在适合获得距离信息的条件下拍摄到的情况下，被摄体区域指定单元404在步骤S804中基于与对象图像相关的图像拍摄设置的信息来判断要参考的距离信息是否是不可靠的信息。与步骤S801相同，本步骤的判断是基于对象图像的图像拍摄时的ISO值而进行的。更具体地，被摄体区域指定单元404基于在对象图像的图像拍摄时设置的ISO值是否超过第二阈值ISO_th2(ISO_th1<ISO_th2)来进行本步骤中的判断，其中第二阈值是用于判断为距离信息可靠的上限。在被摄体区域指定单元404判断为距离信息是不可靠信息(ISO值>ISO_th2)的情况下，处理进入步骤S805；在被摄体区域指定单元404判断为距离信息是具有在处理中可以进行参考的可靠性程度的信息的情况下，处理进入步骤S806。

在步骤S805中，由于距离信息是不可靠的信息，因此被摄体区域指定单元404在不使用距离信息的情况下仅基于被摄体信息来生成被摄体区域图(mapK：第二被摄体区域)。也就是说，被摄体区域指定单元404基于包括在被摄体信息中并且指示对象图像内的用作被摄体的人物的数量、其脸部大小及其位置的信息等，来确定存在被摄体(人物)的区域和不存在被摄体的区域。

此时，存在被摄体的区域可被配置为具有例如基于所检测到的脸或构成脸的器官的图像的位置而指定的预定形状的区域。基于在肖像图像拍摄中、在脸下方很有可能存在躯干的推定，本实施例采用使用例如图9所示的模型来估计存在被摄体的区域的方法。图9是示出由脸部分和躯干部分组成的人物形状的模型。被摄体区域指定单元404使模型变形，使得图9的模型中的脸部分与检测到的脸或构成脸的器官的图像的位置一致。然后，利用这种变形后的模型表示的区域被确定为存在被摄体的区域。

然后，被摄体区域指定单元404将不存在被摄体的区域视为背景并为其存储与无限远的距离相对应的值，并且将存在被摄体的区域视为近景并为其分配预指定距离；以这种方式，与步骤S803同样地生成被摄体区域图。也就是说，假定被摄体区域指定单元404在形成被摄体区域图时为模型所表示的区域整体分配相同距离。换句话说，在被摄体区域图中，在被摄体区域内所有距离都是相同的。作为结果，在本步骤生成的被摄体区域图中，各像素存储指示基于被摄体检测的加权的值。此外，此时，可以针对模型设置基于距离的加权(例如，针对脸部分的权重为1，以及针对躯干部分的权重为0.9)，使得对于被摄体区域内的不同部分使用不同的权重。

尽管本实施例是在假定在到达本步骤时仅基于被摄体信息来生成被摄体区域图的情况下进行说明的，但被摄体区域图可以使用被摄体信息优先生成。

另一方面，在步骤S804中判断为距离信息是具有可以进行参考的可靠性程度的信息的情况下，被摄体区域指定单元404在步骤S806中基于距离信息和被摄体信息来生成被摄体区域图(mapK)。假定在本步骤中生成的被摄体区域图是通过经由加权相加将步骤S803中的仅基于距离信息生成的被摄体区域图以及步骤S805中的仅基于被摄体信息生成的被摄体区域图合成在一起而获得的。例如，被摄体区域指定单元404可以根据对象图像的图像拍摄时的ISO值来进行这些被摄体区域图的加权相加。例如，被摄体区域图可以是以在合成图时随着图像拍摄时的ISO值更接近于ISO_th1而针对基于距离信息(距离图)导出的像素值比针对基于被摄体信息导出的像素值使用更大权重的方式配置的。相反，例如，被摄体区域图可以是以在合成图时随着图像拍摄时的ISO值更接近于ISO_th2而针对基于被摄体信息导出的像素值比针对基于距离信息导出的像素值使用更大的权重的方式配置。如上所述，在到达本步骤时，本实施例的数字照相机100进行控制，使得在导出被摄体区域图的像素值时，其合成比率(加权相加比率)根据可靠性程度而变化。

在步骤S807中，使用已知技术，法线导出单元405基于被摄体区域指定单元404所生成的被摄体区域图来生成指示被摄体的形状的法线图(mapN)(形状信息)。

在步骤S808中，针对适用于重光照处理中的虚拟光源，光源设置单元406生成与虚拟光源相关的权重图，该权重图存储与从各个像素位置到虚拟光源的方向(光源方向)相关的值。具体地，针对要定义的虚拟光源，光源设置单元406首先以像素为单位导出光源方向向量L，并获得其相对于各坐标轴方向的方向余弦。然后，光源设置单元406以像素为单位存储表示所获得的方向余弦的任意位宽度作为像素值，从而配置与虚拟光源相关的权重图(mapL)。

在用于导出虚拟光源的光源向量L的虚拟光源的参数中，位置和强度可以由光源设置单元406基于被摄体信息配置单元208所配置的被摄体信息来确定。例如，在被摄体的脸区域内的亮度分布不均匀的状态下，光源设置单元406确定虚拟光源的位置和强度，使得利用虚拟光来照射具有低亮度值的区域。在这种情况下，假定在拍摄图像中具有低亮度值的区域内的像素具有坐标(x1,y1)，则位于该位置处的被摄体的虚拟光的反射分量(Ra_(x1,y1),Ga_(x1,y1),Ba_(x1,y1))如下。

(式3)

这里，α是虚拟光源的光的强度，以及L_(x1,y1)是来自具有坐标(x1,y1)的像素处的被摄体的虚拟光源的光源方向向量。另外，N_(x1,y1)是相应法线图中的相同坐标处的法线向量，以及K_(x1,y1)指示虚拟光源与被摄体区域图中的对应于相同坐标(x1,y1)的被摄体上的位置之间的距离。为了利用虚拟光照射具有低亮度值的区域中的坐标(x1,y1)处的被摄体，控制虚拟光源的强度α和到被摄体的距离K_(x1,y1)，使得(Ra_(x1,y1)、Ga_(x1,y1)、Ba_(x1,y1))具有正值。此外，在虚拟光源的参数中，照射范围由光源设置单元406基于检测到的脸区域内的亮度分布来确定。

注意，如果虚拟光源的强度α太高，则存在出现诸如高光溢出和色调反转等的不利亮度表示的可能性。因此，光源设置单元406使用预定阈值β来控制并确定虚拟光源的强度α的值范围，使得该值范围包括：(在虚拟光的照射范围之外的区域中的具有高亮度值的区域的平均亮度值)±β。

如上所述，光源设置单元406可以导出虚拟光源的位置范围、强度范围和照射范围，并且例如将这些范围的平均值确定为虚拟光源的位置、强度和照射范围。尽管本实施例是在假定为了便于理解而定义一个虚拟光源的情况下进行说明的，但是不言而喻，在进行重光照处理时可以定义多个虚拟光源。此外，尽管本实施例是在假定进行用于使用加法光来将被摄体校正得更亮的重光照处理的情况下说明的，但其可以是用于将被摄体校正得更暗的处理。在这种情况下，将虚拟光源的增益值α确定为负(减法光)就足够了。

在步骤S809中，反射分量导出单元407导出虚拟光的反射分量(Ra,Ga,Ba)。反射分量(Ra,Ga,Ba)可以使用步骤S808中确定的参数通过式1导出。此时，反射分量导出单元407通过使用所获得的被摄体区域图(mapK)、法线图(mapN)和与虚拟光源相关的权重图(mapL)以像素为单位执行式1的计算，来导出反射分量(Ra,Ga,Ba)。尽管本实施例是在假定单纯导出与明度调整相关的扩散反射的颜色分量的情况下进行说明的，但在考虑到虚拟光源的类型和被摄体的材料的模式下，还可以导出镜面反射的颜色分量。

在步骤S810中，添加处理单元408进行重光照处理。具体地，添加处理单元408通过将在步骤S809中导出的虚拟光的反射分量(Ra,Ga,Ba)与来自逆伽马处理单元402的输出(Rt、Gt、Bt)相加，来生成重光照后的图像。

以上述方式，本实施例的图像处理设备可以在图像拍摄之后生成基于与拍摄图像相对应地获得的距离信息和被摄体信息、根据图像拍摄环境和图像拍摄条件而应用了有利的重光照处理的图像。更具体地，对于传统方案，由于无法有利地指定被摄体区域，因此可能无法实现期望的重光照结果；另一方面，利用本实施例的方案，由于根据情况参考距离信息和被摄体信息其中之一或这两者来进行处理，因此可以实现期望的结果。因此，图像处理设备可以根据图像拍摄条件有利地指定被摄体区域，并且可以将期望效果添加到被摄体区域。

尽管已经关于在应用重光照处理的情况下指定被摄体区域的方法说明了本实施例，但本发明不限于以这种方式体现。也就是说，本发明是适用的，只要在图像拍摄之后有利地指定拍摄图像内的被摄体区域并且进行任意添加处理即可。换句话说，在本发明中，在被配置为能够使用基于距离信息指定被摄体区域的方法以及独立于距离信息指定被摄体区域的方法这两者的图像处理设备中，根据获得距离信息的条件来使用指定被摄体区域的不同方法就足够了。

此外，假定在前述说明中，为了在本实施例的图像处理设备上进行重光照处理，无论使用哪种方法生成被摄体区域图，被摄体区域图都针对被摄体区域中的像素存储被摄体距离的信息，使得可以生成用于估计被摄体的形状的法线图。然而，本发明不限于以这种方式体现；在进行无需考虑被摄体的形状的添加处理的情况下，被摄体区域图无需保持被摄体距离的信息，只要其存储使得能够指定被摄体区域的信息即可。

此外，假定在前述说明中，在本实施例的图像处理设备中，测距传感器123通过基于使用两个拍摄图像的立体方法进行测距来配置距离信息，并且根据在图像拍摄时设置的ISO值来控制生成被摄体区域图的方法。也就是说，前述说明是在假定基于ISO值来决定距离信息的导出精度、并且基于决定的结果而将距离信息和被摄体信息其中之一或这两者判断为用作生成被摄体区域图时所参考的信息的情况下提供的。然而，本发明不限于以这种方式体现。例如，在基于通过图像拍摄光学系统的不同光瞳区域的光束获取多个被摄体图像并基于其间的相位差来获得距离信息的模式下，可以根据图像拍摄时的f值来进行上述控制。更具体地，在该结构中，较小的f值使得更容易获得距离信息；因此，在这种条件下，在生成被摄体区域图时进行控制以使得基于距离信息的加权比率增大就足够了。相反，在生成被摄体区域图时进行控制以使得f值越大、基于被摄体信息的加权比率越高就足够了。另外在这种模式下，使该结构与针对ISO值的情况同样地针对f值准备与两个水平相对应的阈值、并且在f值低于与第一水平相对应的阈值的情况下仅基于距离信息生成被摄体区域图就足够了。另一方面，使该结构在f值超过与第二水平相对应的阈值的情况下仅基于被摄体信息生成被摄体区域图就足够了，其中与第二水平相对应的阈值大于与第一水平相对应的阈值。

此外，尽管关于作为具有图像拍摄功能的图像拍摄设备的数字照相机100设置有用以进行重光照处理的功能的示例说明了本实施例，但应当容易理解，本发明不限于以这种方式实现。本发明可以在被配置为能够获得拍摄图像以及与图像拍摄的时间有关的距离信息和被摄体信息的设备上体现，并且还可以使用包括图像拍摄设备和图像处理设备的图像拍摄系统来体现。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考典型实施例说明了本发明，但应当理解，本发明不限于所公开的典型实施例。以下权利要求书的范围应被给予最广泛的理解，以包含所有这样的修改以及等同结构和功能。

Claims (19)

1.一种图像处理设备，用于针对拍摄图像来对包括预定被摄体的区域执行图像处理，所述图像处理设备包括：

获得部件，用于针对所述拍摄图像获得距离信息和被摄体信息，所述距离信息指示深度方向上的被摄体距离的分布，所述被摄体信息指示所述拍摄图像中所包括的预定被摄体的检测结果；

第一指定部件，用于基于所述获得部件所获得的所述距离信息，来指定所述拍摄图像中分布了预定距离范围内所存在的被摄体的图像的第一被摄体区域；

第二指定部件，用于基于所述获得部件所获得的所述被摄体信息并且独立于所述距离信息，来指定所述拍摄图像中包括检测到所述预定被摄体的区域的第二被摄体区域；以及

确定部件，用于参考所述第一被摄体区域和所述第二被摄体区域中至少之一，来确定执行所述图像处理的对象区域，

其中，所述确定部件根据所述拍摄图像的图像拍摄条件和所述拍摄图像的状态中至少之一来使被参考的被摄体区域改变。

2.根据权利要求1所述的图像处理设备，其中，

基于所述拍摄图像导出了所述距离信息中的被摄体距离的分布，以及

所述确定部件基于所述拍摄图像的图像拍摄时的图像拍摄设置来决定所述拍摄图像的图像拍摄条件、并且根据所述决定来使被参考的被摄体区域改变。

3.根据权利要求2所述的图像处理设备，其中，

在所述拍摄图像的图像拍摄时的感光度设置即ISO值超过第一阈值的情况下，所述确定部件通过优先于所述第一被摄体区域参考所述第二被摄体区域来确定所述对象区域。

4.根据权利要求3所述的图像处理设备，其中，

在所述拍摄图像的图像拍摄时的ISO值超过小于所述第一阈值的第二阈值、并且低于所述第一阈值的情况下，所述确定部件通过所述第一被摄体区域和所述第二被摄体区域的加权合成来确定所述对象区域。

5.根据权利要求4所述的图像处理设备，其中，

所述确定部件根据所述拍摄图像的图像拍摄时的ISO值，来使所述加权合成中的所述第一被摄体区域和所述第二被摄体区域的加权比率改变。

6.根据权利要求5所述的图像处理设备，其中，

所述确定部件进行控制，以使得所述拍摄图像的图像拍摄时的ISO值离所述第二阈值越近，所述第一被摄体区域的加权比率与所述第二被摄体区域的加权比率相比越高。

7.根据权利要求2所述的图像处理设备，其中，

在所述拍摄图像的图像拍摄时的f值超过第三阈值的情况下，所述确定部件通过优先于所述第一被摄体区域参考所述第二被摄体区域来确定所述对象区域。

8.根据权利要求7所述的图像处理设备，其中，

在所述拍摄图像的图像拍摄时的f值超过小于所述第三阈值的第四阈值、并且低于所述第三阈值的情况下，所述确定部件通过所述第一被摄体区域和所述第二被摄体区域的加权合成来确定所述对象区域。

9.根据权利要求8所述的图像处理设备，其中，

所述确定部件根据所述拍摄图像的图像拍摄时的f值，来使所述加权合成中的所述第一被摄体区域和所述第二被摄体区域的加权比率改变。

10.根据权利要求9所述的图像处理设备，其中，

所述确定部件进行控制，以使得所述拍摄图像的图像拍摄时的f值离所述第四阈值越近，所述第一被摄体区域的加权比率与所述第二被摄体区域的加权比率相比越高。

11.根据权利要求2所述的图像处理设备，其中，

所述被摄体信息包括指示所述拍摄图像内的与所述预定被摄体相关的区域的信息，以及

所述确定部件基于所述拍摄图像的对比度比或所述拍摄图像中的与所述预定被摄体相关的区域的大小来决定所述拍摄图像的状态，并且基于所述决定来使被参考的被摄体区域改变。

12.根据权利要求11所述的图像处理设备，其中，

在所述拍摄图像的对比度比低于预定阈值的情况下，所述确定部件通过优先于所述第一被摄体区域参考所述第二被摄体区域来确定所述对象区域。

13.根据权利要求12所述的图像处理设备，其中，

在所述拍摄图像的对比度比超过预定阈值的情况下，所述确定部件通过优先于所述第二被摄体区域参考所述第一被摄体区域来确定所述对象区域。

14.根据权利要求11所述的图像处理设备，其中，

在所述拍摄图像中检测到所述预定被摄体的区域的大小没有收敛在预定大小范围内的情况下，所述确定部件通过优先于所述第一被摄体区域参考所述第二被摄体区域来确定所述对象区域。

15.根据权利要求14所述的图像处理设备，其中，

在所述拍摄图像中与所述预定被摄体相关的区域的大小收敛在预定大小范围内的情况下，所述确定部件通过优先于所述第二被摄体区域参考所述第一被摄体区域来确定所述对象区域。

16.根据权利要求1所述的图像处理设备，其中，

所述图像处理包括用于对所述拍摄图像中的由所述确定部件确定的对象区域中所包括的被摄体添加已放置虚拟光源的情况的影响的添加处理，以及

所述图像处理设备还包括执行部件，所述执行部件用于执行所述添加处理。

17.一种图像拍摄设备，包括：

图像拍摄部件，用于对拍摄图像进行拍摄；以及

根据权利要求1至16中任一项所述的图像处理设备。

18.一种图像处理设备的控制方法，所述图像处理设备用于针对拍摄图像来对包括预定被摄体的区域执行图像处理，所述控制方法包括：

获得步骤，用于针对所述拍摄图像获得距离信息和被摄体信息，所述距离信息指示深度方向上的被摄体距离的分布，所述被摄体信息指示所述拍摄图像中所包括的预定被摄体的检测结果；

第一指定步骤，用于基于所述获得步骤中所获得的所述距离信息，来指定所述拍摄图像中分布了预定距离范围内所存在的被摄体的图像的第一被摄体区域；

第二指定步骤，用于基于所述获得步骤中所获得的所述被摄体信息并且独立于所述距离信息，来指定所述拍摄图像中包括检测到所述预定被摄体的区域的第二被摄体区域；以及

确定步骤，用于参考所述第一被摄体区域和所述第二被摄体区域中至少之一，来确定执行所述图像处理的对象区域，

其中，在所述确定步骤中，被参考的被摄体区域根据所述拍摄图像的图像拍摄条件和所述拍摄图像的状态中至少之一而改变。

19.一种计算机可读存储介质，其存储有用于使计算机用作根据权利要求1至16中任一项所述的图像处理设备的各部件的程序。

Images