CN114424516A - 图像处理装置、图像处理方法、摄像装置和程序 - Google Patents

Abstract

提供了一种图像处理装置，其显示能够基于测量精度来测量与在图像中的被摄体区域中指定的多个测量点相对应的距离的区域。数字照相机的图像处理单元(13)进行控制，以测量并显示与拍摄图像上的多个测量点相对应的被摄体的尺寸。图像生成单元(130)生成与拍摄图像有关的数据，并且深度生成单元(131)生成与同拍摄图像相对应的深度方向的距离分布有关的深度信息。显示控制单元(132)在显示单元上显示拍摄图像，并进行控制，以便以可识别的方式显示与相对于深度方向的基准距离的预定距离范围内的被摄体相对应的被摄体区域。

Description

图像处理装置、图像处理方法、摄像装置和程序

技术领域

本发明涉及用于测量图像中所指定的多个测量点之间的距离并且突出显示特定区域的技术。

背景技术

存在用于测量由用户指定的图像中的测量点之间的尺寸的技术。例如，在测量图像中的被摄体区域的尺寸的技术中，当在被摄体区域上指定多个尺寸测量点时，进行测量尺寸测量点之间的尺寸的处理并且显示测量结果。

专利文献1公开了用于从图像指定空间参数的方法、设备和终端装置。已经提出了如下方法，其中对图像进行边缘检测，以指定所指定的尺寸测量位置是否是与被摄体两端相对应的边缘，以便提供是否调整测量位置的通知。

现有技术文献

专利文献

专利文献1：日本特许6392991

发明内容

技术问题

在专利文献1所公开的技术中，没有考虑从摄像装置到被摄体两端的深度方向上的距离不同的情况。在通过通常的摄像装置获取图像的情况下，进行中心投影，并且摄像倍率根据图像的深度方向上的距离而不同。因此，拍摄图像中的被摄体的大小在前侧(摄像装置侧)位置与深度侧位置之间不同。如果在这样的摄像条件下测量被摄体两端的边缘之间的尺寸，则存在无法获得被摄体的正确尺寸的问题。

本发明的目的在于提供一种图像处理装置，其显示基于测量精度可测量与图像的被摄体区域中所指定的多个测量点相对应的距离的区域。

解决问题的技术手段

根据本发明的实施例，提供了一种图像处理装置，包括：获取部，用于获取图像以及与和所述图像相对应的深度方向上的距离分布有关的信息；以及控制部，用于控制所述图像的显示，其中，所述控制部进行控制，使得以能够识别的方式显示所述图像中的与相对于所述深度方向的基准距离的距离范围内的被摄体相对应的被摄体区域，其中在所述距离范围中，能够以高于基准的测量精度来测量距离。

本发明的有利效果

根据本发明的图像处理装置，可以提供一种图像处理装置，其显示基于测量精度可测量与图像的被摄体区域中所指定的多个测量点相对应的距离的区域。

附图说明

图1是示出根据实施例及变型例的摄像装置的功能结构的框图。

图2是示出根据实施例及变型例的摄像元件的图。

图3是示出基于摄像面相位差方法的距离测量原理的图。

图4是示出在第一实施例中执行的处理的流程图。

图5是示出当执行尺寸导出处理时进行的操作的图。

图6是示出突出显示被摄体区域的方法的图。

图7是示出在第二实施例中执行的处理的流程图。

图8是示出根据第二实施例的当执行尺寸导出处理时进行的操作的图。

图9是示出在变型例中执行的处理的流程图。

图10是示出第三实施例中的突出显示被摄体区域的方法的图。

具体实施方式

在下文中，将参照附图详细描述本发明的实施例。在实施例中，将描述对能够获取与被摄体的距离分布有关的深度信息的数字照相机的应用示例，作为图像处理装置。本发明适用于能够基于拍摄图像以及对应于拍摄图像的深度信息来计算被摄体的尺寸的任意装置。深度信息是拍摄图像的深度方向上的信息，深度图像或深度图是指示深度信息的分布的信息。作为深度信息，可以使用根据具有不同视点的多个视点图像计算出的图像偏移量图、通过将图像偏移量乘以预定转换系数计算出的散焦量图、以及通过将散焦量转换为被摄体的距离信息而获得的距离图。

[第一实施例]

将参照图1描述数字照相机100的结构。图1是示出数字照相机100的功能结构的框图。摄像光学系统10由数字照相机100中包括的镜头单元或可附装于照相机主体的镜头装置构成，并且在摄像元件11上形成被摄体的光学图像。摄像光学系统10由布置在光轴102上的多个透镜(未示出)构成，并在与摄像元件11分开预定距离的位置处具有出射光瞳101。在本说明书中，将与光轴102平行的方向设置为z方向(深度方向)。即，深度方向是相对于数字照相机100的位置存在被摄体的方向。将与光轴102正交且与摄像元件11的水平方向平行的方向设置为x方向，并且将与光轴102正交且与摄像元件11的垂直方向平行的方向设置为y方向。

摄像元件11例如是电荷耦合器件(CCD)型图像传感器或互补金属氧化物半导体(CMOS)型图像传感器。摄像元件11对经由摄像光学系统10形成在摄像面上的被摄体图像进行光电转换，并且输出与被摄体图像有关的图像信号。如后所述，本实施例的摄像元件11具有基于摄像面相位差方法的距离测量功能，并且除了拍摄图像以外，摄像元件11还能够生成并输出指示从摄像装置到被摄体的距离(被摄体距离)的距离信息。

控制单元12包括中央处理单元(CPU)和微处理器等，并且控制数字照相机100的各组成部分的操作。例如，控制单元12进行摄像时的自动调焦(AF：自动焦点调整)、聚焦(对焦)位置的改变、F值(光圈值)的改变、图像的拍摄等。控制单元12控制图像处理单元13、存储单元14、输入单元15、显示单元16和通信单元17。

图像处理单元13在数字照相机100中执行各种类型的图像处理。图像处理单元13包括图像生成单元130、深度生成单元131、显示控制单元132、位置指定单元133和尺寸设置单元134。将在稍后描述的实施例中描述几何变换单元136。图像处理单元13具有用作用于图像处理的工作区域的存储器135。除了使用逻辑电路的结构之外，图像处理单元13还可以构造为包括CPU和存储算术处理程序的存储器。

图像生成单元130对从摄像元件11输出的图像信号进行各种类型的信号处理，诸如噪声去除、去马赛克、亮度信号转换、像差校正、白平衡调整和颜色校正等。从图像生成单元130输出的拍摄图像数据被临时存储在存储器135中。显示控制单元132从存储器135读取拍摄图像数据以生成显示数据，并且图像被显示在显示单元16的画面上。

深度生成单元131基于由摄像元件11的距离测量像素获得的信号来生成指示深度信息的分布的深度图像。深度图像信息是二维信息，其中由各像素指示的值表示存在于与像素相对应的拍摄图像的区域中的被摄体的距离信息。

显示控制单元132进行控制，使得基于被摄体的距离信息来以可识别的方式显示满足预定尺寸测量精度的拍摄图像中的被摄体区域。距离信息是至少基于深度图像的在图1中的z方向上的距离信息或距离范围信息。可以使用包括x方向和y方向上的距离信息的三维距离信息。

位置指定单元133进行在测量被摄体的尺寸时供用户指定位置的处理。在用户在图像中指定至少两个期望测量位置的情况下，可以获取坐标信息。

尺寸设置单元134测量用户在位置指定单元133中指定的至少两个点之间的尺寸。该尺寸可以是图像上的像素部中的尺寸、从像素大小转换的像平面上的尺寸、以及相对于摄像倍率转换的物体侧的尺寸中的任意一个。

存储单元14、输入单元15、显示单元16和通信单元17都连接到总线。存储单元14包括非易失性存储介质。例如，在存储单元14中存储拍摄图像数据、在各组成部分的处理过程中所生成的中间数据、以及在图像处理单元13和数字照相机100的操作中所参考的参数。存储单元14可以是任意存储单元，只要保证处理的实现所允许的处理性能即可。优选能够进行高速读写并且具有大容量的存储介质，并且例如使用闪存等。

输入单元15是包括检测操作者的操作输入的装置的用户接口单元。例如，通过拨盘、按钮、开关或触摸面板等来检测向数字照相机100输入信息或改变设置的操作，并且输入单元15向控制单元12输出与操作输入相对应的信号。

显示单元16例如包括显示装置，诸如液晶显示器或有机电致发光(EL)显示器等。显示单元16用于基于拍摄图像的直通显示来检查摄像时的构图、显示各种设置画面和报告消息信息等。在使用触摸面板的实施例的情况下，可以提供显示功能和输入功能这两者。用户可以在参考显示画面的同时，进行在尺寸测量中指定测量位置的操作。

通信单元17是在数字照相机100与外部装置之间发送和接收信息的通信接口单元。通信单元17可以将获取的拍摄图像数据、深度信息、尺寸、坐标信息和尺寸测量精度等发送到外部装置。

接下来，将参照图2描述摄像元件11的结构。图2(A)是示出像素组的阵列的示意图，其中垂直于图2(A)的纸面的方向被设置为z方向，纸面中彼此正交的两个方向被设置为x方向和y方向。图2(B)是示出像素结构的示意图，其中垂直于纸面的方向被设置为y方向，图2(B)的纸面中彼此正交的两个方向被设置为x方向和z方向。

如图2(A)所示，摄像元件11由布置有多个像素部110的像素组构成。一个像素部110具有应用不同滤色器的两行两列的结构。如放大图所示，设置红(R)、绿(G)、蓝(B)的滤色器，并且从构成像素部110的光电转换元件输出与R、G、B中的任一个的颜色信息相对应的图像信号。图2(A)示出了将R设置在左上、B设置在右下、G设置在左下且G设置在右上的示例，但滤色器的阵列不限于此。

摄像元件11具有基于摄像面相位差方法的距离测量功能。图2(B)是沿图2(A)中的I-I*线截取的单位像素的截面图。单位像素构造有包括微透镜111和滤色器112的导光层113、以及包括第一光电转换部115和第二光电转换部116的光接收层114。在导光层113中，微透镜111高效地将入射光引导到第一光电转换部115和第二光电转换部116。滤色器112使预定波长带的光通过。滤色器112仅使与R、G和B中的任一个相对应的波长带宽的光透过，并将光引导到后级的第一光电转换部115和第二光电转换部116。

光接收层114设置有对接收的光进行光电转换以分别输出模拟图像信号的第一光电转换部115和第二光电转换部116。从这两个光电转换部输出的两种信号用于距离测量。即，在摄像元件11中沿预定方向(水平方向)布置的这两个光电转换部中，从第一光电转换部115输出的信号所形成的图像信号将被称为A图像信号，并且从第二光电转换部116输出的信号所形成的图像信号将被称为B图像信号。可以根据A图像信号与B图像信号之间的相位差来获取深度信息或距离信息。即，第一光电转换部115和第二光电转换部116各自部分地接收通过微透镜111入射的光束。因此，A图像信号和B图像信号是与已通过摄像光学系统10的出射光瞳101的不同光瞳部分区域的光束有关的光瞳分割图像信号。由各像素部中的第一光电转换部115和第二光电转换部116光电转换的图像信号(所谓的加法图像信号)用作拍摄图像。即，通过组合A图像信号和B图像信号而获得的信号等同于在各单位像素仅具有一个光电转换部的结构中从该光电转换部输出的用于观看的图像信号。

本实施例的摄像元件11可以输出用于观看的图像信号、以及用于距离测量的A图像信号和B图像信号(光瞳分割图像)。构成摄像元件11的所有像素部设置有多个光电转换部，并且能够获取高密度的深度信息。尽管已经描述了在一个像素中布置两个光电转换部的结构，但是本发明不限于此，并且可以使用在一个像素中设置三个或多于三个光电转换部的结构。

将参照图3描述基于摄像面相位差方法的距离测量原理。可以基于第一光电转换部115和第二光电转换部116(光瞳分割图像组)的输出来导出被摄体距离。图3(A)是示出由摄像光学系统10的出射光瞳101和第一光电转换部115接收的光束的示意图。图3(B)是示出由摄像光学系统10的出射光瞳101和第二光电转换部116接收的光束的示意图。在图3(A)和图3(B)中，与纸面垂直的方向被设置为y方向，在纸面中彼此正交的两个方向被设置为x方向和z方向。

图3(A)和图3(B)所示的微透镜111被设置为使得出射光瞳101和光接收层114光学共轭。已通过摄像光学系统10的出射光瞳101的光束由微透镜111聚焦并被引导至第一光电转换部115或第二光电转换部116。在这种情况下，如图3(A)和图3(B)所示，第一光电转换部115和第二光电转换部116分别主要接收已经通过不同光瞳部分区域310和320的光。第一光电转换部115接收已经通过第一光瞳部分区域310的光，并且第二光电转换部116接收已经通过第二光瞳部分区域320的光。

包括在摄像元件11中的多个第一光电转换部115输出与A图像信号相对应的第一图像信号。包括在摄像元件11中的多个第二光电转换部116输出与B图像信号相对应的第二图像信号。可以从第一图像信号获取由已经通过第一光瞳部分区域310的光在摄像元件11上形成的图像的强度分布。可以从第二图像信号获取由已经通过第二光瞳部分区域320的光在摄像元件11上形成的图像的强度分布。第一图像信号与第二图像信号之间的相对位置偏差量(所谓的视差量)是与散焦量相对应的值。将参照图3(C)、图3(D)和图3(E)描述视差量与散焦量之间的关系。

图3(C)、图3(D)和图3(E)示出了通过第一光瞳部分区域310的第一光束311和通过第二光瞳部分区域320的第二光束321。图3(C)示出了聚焦时的状态，并且第一光束311和第二光束321会聚在摄像元件11的光接收面上。在这种情况下，第一图像信号与第二图像信号之间的视差量为零。

图3(D)示出了焦点位于图像侧的z轴(光轴)的负方向(左方向)的散焦状态。第一图像信号与第二图像信号之间的视差量为负值。图3(E)示出了在图像侧的z轴的正方向上形成焦点的散焦状态。第一图像信号与第二图像信号之间的视差量为正值。从图3(D)与图3(E)之间的比较可以看出，位置偏差的方向根据散焦量的正负来切换。可以看出，依据散焦量，根据摄像光学系统的摄像关系(几何光学关系)发生位置偏差。可以通过使用基于区域的匹配方法来检测与第一图像信号和第二图像信号之间的位置偏差相对应的视差量。

将参照图4描述用于导出所摄像的被摄体的尺寸的尺寸导出处理。图4(A)是示出具体处理示例的流程图。下面描述的处理可以通过控制单元12读取例如存储在存储单元14中的相应处理程序、将该程序加载到易失性存储器(未示出)中并执行该程序来实现。例如，当摄像装置被设置为尺寸测量模式并进行摄像时，开始尺寸导出处理。

在S401中，控制单元12根据诸如设置的焦点位置、光圈和曝光时间等的摄像设置来执行摄像处理。更具体地，控制单元12使用摄像元件11进行摄像操作，并且进行控制以将所获取的拍摄图像信号发送到图像处理单元13。经过图像处理的数据存储在存储器135中。这里，拍摄图像信号包括由仅从摄像元件11的第一光电转换部115输出的信号形成的图像信号S1以及由仅从第二光电转换部116输出的信号形成的图像信号S2。

在S402中，图像处理单元13根据获取的图像信号生成观看图像。更具体地，在图像处理单元13中，首先，图像生成单元130通过将图像信号S1和图像信号S2中的各个像素的像素值相加来生成一个拜耳阵列图像。图像生成单元130对生成的拜耳阵列图像进行与R、G和B的各颜色的图像有关的去马赛克处理，并生成观看图像。去马赛克处理是根据设置在摄像元件上的滤色器进行的处理，并且各种方法被用作去马赛克方法。除此之外，图像生成单元130进行诸如噪声去除或减少、亮度信号转换、像差校正、白平衡调整和颜色校正等的处理。与生成的观看图像有关的数据存储在存储器135中。

在S403中，图像处理单元13根据获取的图像信号生成深度图像。深度生成单元131对深度图像进行与生成有关的处理。稍后将参照图4(B)的流程图描述深度图像生成处理。在接下来的S404中，显示控制单元132进行满足尺寸测量中的测量精度的被摄体的显示处理。稍后将参照图4(C)的流程图描述与测量对象有关的被摄体的显示处理。

在S405中，位置指定单元133执行测量点指定处理。由于显示单元16显示观看图像使得可以识别满足尺寸测量精度的距离范围内的被摄体，因此用户可以指定期望的测量点。位置指定单元133计算通过操作指令指定的像素位置的坐标值，并将坐标值发送到尺寸设置单元134。

在S406中，尺寸设置单元134计算在S405中指定的测量点之间的图像上的距离，即像素单位的距离。像素单位的距离例如是图像上的欧几里德距离，且不一定是整数值。随后，尺寸设置单元134根据到对焦位置处的被摄体的距离(被摄体距离)和摄像时的摄像光学系统10的焦距，计算摄像倍率。根据摄像元件11的像素大小和摄像倍率，能够计算由物体侧的聚焦距离处的一个像素所占据的空间的大小。尺寸设置单元134基于测量点之间的像素单位的距离和物体侧的一个像素的大小，计算物体侧的测量点之间的距离，即三维空间中的距离。与计算出的距离有关的数据存储在存储器135中。

在S407中，显示控制单元132从存储器135读取在S406中计算出的距离数据，并且控制以在显示单元16的画面上显示尺寸。在S408中，尺寸设置单元134确定用户是否要改变测量点。基于来自用户的操作指令来确定测量点的改变。在确定为要改变测量点的情况下，流程返回到S405并且继续从S405到S407的处理。在确定为不改变测量点的情况下，流程进行到S409。

在S409中，尺寸设置单元134将与指定测量点有关的信息(图像上的坐标)和计算出的尺寸信息作为附加信息添加到观看图像数据，并将该信息存储在存储单元14中。可以添加与测量精度有关的信息。

将参照图4(B)描述深度图像生成处理。在S4031中，深度生成单元131对图像信号S1和图像信号S2进行光量校正处理。在摄像光学系统10的周边视角下，由于由渐晕导致的第一光瞳部分区域310与第二光瞳部分区域320之间的形状差异，图像信号S1与图像信号S2之间的光量失去了平衡。因此，在该步骤中，深度生成单元131通过使用例如预先存储在存储器135中的光量校正值来校正图像信号S1和图像信号S2的光量。

在S4032中，深度生成单元131进行用于减少在摄像元件11中的转换期间生成的噪声的处理。具体地，深度生成单元131对图像信号S1和图像信号S2进行滤波处理以实现噪声减少。一般地，空间频率越高，信噪(S/N)比越低，因此噪声分量相对增加。因此，深度生成单元131通过使用通过率随着空间频率增大而减小的低通滤波器来进行处理。取决于摄像光学系统10的制造误差等，S4031中所示的光量校正可能不是合适的结果。因此，深度生成单元131采用截止DC分量并且高频分量的通过率低的带通滤波器。

在S4033中，深度生成单元131基于图像信号S1和图像信号S2来导出A图像与B图像之间的视差量。具体地，深度生成单元131在与图像信号S1相对应的A图像中设置与代表像素信息相对应的关注点以及以关注点为中心的对照区域。对照区域例如是矩形区域，诸如以关注点为中心的在一侧具有预定长度的正方形区域等。接下来，深度生成单元131在与图像信号S2相对应的B图像中设置基准点，并设置以基准点为中心的基准区域。基准区域具有与上述对照区域相同的大小和形状。深度生成单元131在依次移动基准点的同时，计算包括在与图像信号S1有关的对照区域中的图像和包括在与图像信号S2有关的基准区域中的图像之间的相关度。具有最高相关度的基准点被指定为与图像信号S2中的关注点相对应的对应点。指定对应点与关注点之间的相对位置偏差量对应于关注点处的视差量。

深度生成单元131在根据代表像素信息依次改变关注点的同时计算视差量，从而导出由代表像素信息确定的多个像素位置处的视差量。在本实施例中，为了简单起见，将用于计算视差量的像素位置(代表像素信息中所包括的像素组)的数量设置为与观看图像中的相同，以便以与观看图像相同的分辨率获得深度信息。作为用于导出相关度的方法，使用诸如NCC、SSD和SAD等的方法。NCC代表“标准化互相关”。SSD代表“平方差之和”，SAD代表“绝对差之和”。

通过使用预定转换系数将(由d指示的)计算出的视差量转换为散焦量。散焦量对应于从摄像元件11到摄像光学系统10的焦点的距离。这里，将预定转换系数表示为K，并且将散焦量表示为ΔL。通过使用以下等式(1)将视差量d转换为散焦量ΔL。

ΔL＝K×d (1)

可以通过使用在以下等式(2)中表示的几何光学方面的透镜公式来将散焦量ΔL转换为被摄体距离。

1/A+1/B＝1/F (2)

在等式(2)中，A表示从物体面到摄像光学系统10的主点的距离(被摄体距离)，B表示从摄像光学系统10的主点到像平面的距离，并且F表示摄像光学系统10的焦距。在等式(2)中，由于可以从散焦量ΔL导出B的值，因此可以基于摄像时的焦距F的设置来导出距离A。深度生成单元131生成将导出的被摄体距离作为像素值的二维信息，并且将基于二维信息的深度图像数据存储在存储器135中。

参照图4(C)，将描述在S404中由显示控制单元132进行的处理，即与满足尺寸测量中的测量精度的被摄体的显示有关的处理。首先，将描述尺寸测量精度。与存在于中心投影光学系统所拍摄的图像中的区域相对应的被摄体根据距摄像装置的距离(z方向的距离)而具有不同的摄像倍率。结果，与位于摄像装置附近的被摄体相比，远离摄像装置的被摄体被成像为图像中的较小区域。即使对于同一被摄体，这样的摄像倍率方面的差异也由于被摄体内的距离差异而发生，并且影响尺寸测量精度。

从以上描述可以看出，在z方向上到用于尺寸测量的测量点的距离不同的情况下，摄像倍率不同，因此尺寸测量精度劣化。因此，为了抑制因摄像倍率导致的尺寸测量精度的劣化并且在期望的尺寸测量误差内进行测量，需要将测量点保持在z方向上的预定距离范围内。

在此，将尺寸测量对象物体的真实尺寸表示为h，并且将由摄像倍率的变化导致的误差表示为Δh[％]。将被摄体的位置(即从摄像装置到被摄体的距离)表示为Z，并将距离误差表示为ΔZ。在这种情况下，误差Δh由以下等式(3)表示。

Δh[％]＝(-ΔZ×100)/(Z+ΔZ) (3)

为了将尺寸测量精度保持在±Δh[％]以内，相对于作为尺寸测量基准的被摄体距离Z的误差ΔZ需要在以下等式(4)表示的值以内。

ΔZ＝Δh×Z/(100+Δh) (4)

用于满足指定尺寸测量精度±Δh的距离范围是Z+ΔZ至Z-ΔZ的范围。这些值在以下等式(5)和(6)中示出。

Z+ΔZ＝(100+2×Δh)Z/(100+Δh) (5)

Z-ΔZ＝(100-2×Δh)Z/(100-Δh) (6)

通过读取预先存储在存储单元14中的值来获取测量精度Δh。可选地，用户可以通过使用输入单元15输入期望的测量精度。

在图4(C)的S4041中，执行距离范围计算处理。从摄像装置到被摄体的距离Z被设置为在摄像时到对焦被摄体的距离。如果给出了期望的尺寸测量精度，则通过使用等式(5)和(6)来进行指定满足期望的尺寸测量精度的距离范围的处理。通过使用深度图像来指定距离范围内的图像中的被摄体区域。

随后，在S4042中，执行用于观看图像的增强处理。读取与S402中生成并存储在存储器135中的观看图像有关的数据。对读取的观看图像数据进行图像处理，使得可以识别在S4041中指定的满足期望尺寸测量精度的距离范围内的被摄体区域。作为可识别显示方法，存在将满足尺寸测量精度的距离范围内的被摄体区域替换为特定颜色的被摄体区域并显示该被摄体区域的方法、以及以特定色感显示被摄体区域的方法。

在S4043中执行显示处理。显示单元16在画面上显示通过S4042处理的观看图像。用户可以识别满足期望尺寸测量精度的距离范围内的被摄体区域。图5是示出在显示单元16的画面上再现和显示图像的操作的说明图。

在图5(A)所示的观看图像501中，以可识别的方式显示满足期望的尺寸测量精度的距离范围内的被摄体区域。在被摄体区域504和505中，被摄体区域504表示可通过改变颜色来识别的区域。

在图4(A)的S405中，用户在显示单元16上显示的观看图像502中指定测量点。例如，如图5(B)所示，用户在显示单元16上设置的触摸面板上指定期望要被测量尺寸的被摄体上的起点位置。点506指示用户指定的起点。随后，如图5(C)所示，用户在观看图像503上指定测量的终点507。位置指定单元133计算用户所指定的像素位置的坐标值，并将坐标值发送到尺寸设置单元134。

可以通过利用用户的手指触摸图像上的两个点来选择测量位置，但也可以通过在图像上描绘轨迹来指定测量位置。在通过在图像上描绘轨迹的指定方法的情况下，可以获取用户描绘的轨迹并且可以测量沿着轨迹的曲线的尺寸。

如图5(C)所示，将连接指定尺寸测量的起点和终点的直线或用户描绘的曲线叠加显示在观看图像上并且呈现给用户。特别地，在用户通过描绘轨迹来指定测量位置的情况下，进行实时显示从起点开始的轨迹的处理。图5(C)中的箭头508指示指定尺寸测量的起点506和终点507由直线连接并显示的示例。

进行显示控制，使得可以识别从深度方向的基准距离满足期望尺寸测量精度的距离范围内的被摄体区域，因此用户可以视觉识别保证测量精度的区域。满足期望尺寸测量精度的距离范围是尺寸设置单元134能够以等于或高于基准的测量精度来测量距离的距离范围。当指定测量点时，位置指定单元133可以通过使得可以仅选择以可识别的方式显示的满足尺寸测量精度的距离范围内的被摄体区域中的像素，来确保测量精度。在这种情况下，在所选择像素的位置在满足尺寸测量精度的距离范围之外的区域中的情况下，显示控制单元132进行显示控制以在显示单元16上提供不能选择的通知。

在图4(A)的S406中，尺寸设置单元134计算在S405中指定的测量点之间的图像上的距离，即像素单位的距离。计算出的距离信息暂时存储在存储器135中，在S407中，显示控制单元132从存储器135读出距离信息，并将距离信息转换为物体侧的距离(三维空间中的距离)，并且转换后的距离由图5(C)中的数值表达式509显示在显示单元16的画面上。可以由尺寸设置单元134进行向物体侧的距离的转换。

在迄今为止的描述中，作为使得能够识别满足尺寸测量精度的距离范围内的被摄体区域的显示方法，描述了将被摄体区域替换为特定颜色的被摄体区域的方法、以及以特定色感显示被摄体区域的方法。显示方法不限于这些示例。图6示出了其他显示方法。

图6示出了具有不同显示方法的观看图像601至604的示例。被摄体区域605是满足尺寸测量精度的距离范围内的被摄体区域。被摄体区域606是满足尺寸测量精度的距离范围内的被摄体以外的被摄体区域。

图6(A)示出了应用通过改变亮度而不是颜色来显示被摄体区域605的方法的示例。图6(B)示出了应用改变并显示除被摄体区域605之外的图像区域的颜色或亮度的方法的示例。

在尺寸测量中，通常，进行边缘到边缘测量，以测量从被摄体区域的一端到另一端的尺寸。并不总是需要以可识别的方式显示存在于满足期望的尺寸测量精度的范围内的整个被摄体。可以检测图像中的边缘，并且仅以可识别的方式显示在满足尺寸测量精度的距离范围内的被摄体区域中存在的边缘。图6(C)示出了应用以可识别的方式突出显示被摄体区域605中的边缘的方法的示例。

可以叠加显示特定符号。图6(D)示出了应用将点叠加显示在被摄体区域605中的边缘上的方法的示例。关于显示方法，可以使用除了这里描述的方法之外的任意方法，只要可以将满足指定尺寸测量精度的距离范围内的被摄体区域通知给用户即可。

根据本实施例，可以突出显示与可以以所设置的尺寸测量精度测量的距离范围内的被摄体相对应的图像区域。更具体地，基于以聚焦距离为基准设置的尺寸测量精度，通过使用深度图像来提取存在于特定距离范围内的被摄体区域，并以可识别的方式显示该被摄体区域。结果，可以在尺寸测量中辅助用户选择测量点。

在本实施例中，已经描述了如下示例，其中摄像元件11具有基于摄像面相位差方法的光电转换部，并且获取观看图像和深度图像。在执行本发明时，获取深度信息的方法不限于此。例如，可以基于从多个摄像光学系统或摄像装置获得的多个拍摄图像来获取深度信息。可选地，可以通过使用利用光照射单元和摄像装置的立体测距方法、使用飞行时间(TOF)方法和摄像装置的组合的方法等来获取深度信息。

在本实施例中，已经描述了从执行位置指定到执行尺寸设置的处理的示例，但是当执行本发明时，位置指定单元和尺寸设置单元不是必须的。如果给出了基准距离和期望的尺寸测量精度，则可以控制显示，使得可以识别满足期望的尺寸测量精度的范围内的被摄体。

[第二实施例]

接下来，将描述本发明的第二实施例。在第一实施例中，已经描述了如下方面，其中以聚焦距离为基准计算满足预定尺寸测量精度的距离范围，以可识别的方式显示该距离范围内的被摄体以辅助指定测量点。基准距离不必须是基于对焦位置的距离。因此，在本实施例中，将与用户指定的测量点相对应的距离设置为基准距离。例如，用户在显示单元16上显示的图像上指定测量点。进行从深度图像获取与指定点相对应的距离的处理，并且将获取的距离设置为基准距离。以下将描述与第一实施例的不同，并且通过针对与第一实施例相同的事项使用已使用的附图标记或符号来省略其详细描述。省略这样的描述的方法在稍后描述的实施例中是相同的。

将参照图7的流程图描述根据本实施例的尺寸导出处理。将描述与图4(A)中的处理不同的S701至S704中的处理。在S401至S403之后，流程进行到S701。

在S701中，显示控制单元132进行控制以从存储器135读取与S402中生成的观看图像有关的数据，并且在显示单元16的画面上显示观看图像。图8(A)示出了显示的观看图像801的示例。被摄体区域803和804分别对应于距数字照相机100的距离不同的被摄体。

在S702中，位置指定单元133进行与第一测量点的指定有关的处理。执行促使用户指定作为进行尺寸测量的基准的第一测量点的处理。如图8(A)所示，用户在显示单元16上显示的观看图像801中指定作为期望测量点的第一测量点805。进行如下处理：获取与指定的观看图像上的测量点805的坐标相对应的深度图像上的距离。将获取的距离作为基准距离发送到S703的处理。

在S703中，除了在第一实施例中的设置距离范围的方法之外，范围还受像平面(xy平面)上的距离的限制。由于摄像光学系统10的畸变像差，拍摄图像可能会畸变。畸变取决于视角，并因此根据像平面上的像高而不同。畸变率数据作为取决于像高的函数预先存储在存储单元14中。通过使用该数据，执行用于设置与由畸变引起的测量误差Δhxy[％]相对应的像高范围(xy平面中的距离范围)的处理。当将由于摄像倍率引起的误差表示为Δhz时，测量误差最终落入Δh[％]内的区域满足以下表达式(7)。

Δh≤Δhz+Δhxy (7)

根据与图4(A)中的S404中描述的显示方法相同的方法，进行以可识别的方式显示由表达式(7)定义的满足尺寸测量精度的被摄体区域的处理。例如，如图8(B)所示，图像802显示在显示单元16的画面上。以用户指定的第一测量点805的距离为基准，通过颜色编码等来以可识别的方式显示满足设置的尺寸测量精度的被摄体区域(图8(B)中的右侧的花区域)。作为考虑被摄体区域804中的摄像倍率和畸变的影响的结果，示出了茎区域806不满足指定尺寸测量精度。

在S704中，位置指定单元133进行与第二测量点的指定有关的处理。执行提示用户指定第二测量点作为终点的处理。当用户指定第二测量点时，进行获取指定的第二测量点的坐标信息的处理，流程进入S406的处理，并执行S406、S407和S409中的处理。

在本实施例中，在用户指定用作测量基准的第一测量点的情况下，基于指定的测量点处的被摄体距离(从摄像装置到被摄体的距离)，来计算满足尺寸测量精度的距离范围。因此，可以以更高的自由度测量尺寸。在计算满足尺寸测量精度的距离范围时，通过不仅考虑摄像倍率的影响而且考虑由畸变所导致的误差，来设置各方向(x、y和z方向)上的距离范围。通过在多个方向扩展满足尺寸测量精度的距离范围，可以将满足尺寸测量精度的距离范围限制为更高的精度。

将参照图9的流程图描述第二实施例的变型例。在图9中，在S701与S703之间进行S901的处理，然后进行S703、S702、S704的处理。在第二实施例中，以指定的第一测量点的位置为基准位置来确定满足尺寸测量精度的距离范围内的被摄体区域，但在本变型例中，添加了基准点指定处理S901。

在S701之后的S901中，由用户指定基准点。基于指定的基准点的位置，在S703中，以可识别的方式显示满足尺寸测量精度的距离范围内的被摄体区域。随后，在S702和S704中，分别执行指定第一测量点和第二测量点的处理。此后，执行尺寸测量(S406)。

[第三实施例]

将参照图10描述本发明的第三实施例。在上述实施例和变型例中，已经描述了以可识别的方式仅显示满足特定尺寸测量精度的距离范围内的被摄体区域的情况。不必将以可识别的方式显示的被摄体区域限制为单个被摄体区域。例如，作为尺寸测量误差，假设与以下多个非重叠范围相对应的被摄体区域。

·尺寸测量误差小于1％的第一被摄体区域

·尺寸测量误差为1％以上且小于3％的第二被摄体区域

·尺寸测量误差为3％以上且小于5％的第三被摄体区域

本实施例的显示控制单元132进行控制，以便以可识别的方式显示满足相同程度的尺寸测量精度的多个被摄体区域中的各个被摄体区域。在这种情况下，各个被摄体区域例如以不同的颜色或亮度显示在画面上，使得用户可以单独识别各区域。

图10示出了在观看图像1001中存在与多个被摄体相对应的被摄体区域1002和1003的示例。在被摄体区域1002中，花瓣的端点被设置为测量基准点1004。在这种情况下，从测量基准点1004起的被摄体区域1002内的花区域的尺寸测量误差小于1％，这对应于第一被摄体区域。第一被摄体区域被显示为例如通过改变亮度以能够用第一亮度识别。茎区域1002a与测量基准点1004的距离不同，并且尺寸测量误差为1％以上。假设该区域例如是第二被摄体区域，则该区域被显示为能够用与被摄体区域1002(花区域)不同的第二亮度来识别。

图10中所示的被摄体区域1003具有与被摄体区域1002不同的花区域和其茎区域1003a。这些区域与测量基准点1004的距离差大，因此通过使用不同的亮度分别显示。在图10的示例中，显示控制单元132进行显示，使得尺寸测量误差越大，亮度越低。

由于通过针对具有不同尺寸测量误差的区域使用不同的亮度、颜色、符号等来进行显示，因此用户能够容易地识别各区域。显示控制单元132控制与多个尺寸测量误差相对应的被摄体区域的显示。在这种情况下，用户可以随时切换是显示对应于单个尺寸测量精度的区域还是显示对应于多个尺寸测量精度的区域。用户可以使用输入单元15来设置要分离(分割)和显示多少个尺寸测量精度范围，并设置分离的数量和范围的输入设置。关于与多个尺寸测量精度相对应的各被摄体区域的显示，可以使用聚焦距离作为基准，或者可以如在变型例中那样使用由用户指定的测量点的位置作为基准。

在本实施例中，可以区分并显示分别对应于多个尺寸测量精度的多个被摄体区域，并且用户可以更详细地识别被摄体区域。例如在对满足尺寸测量精度范围的被摄体区域进行区分的情况下，特别是在测量对象的深度分布的宽度大的情况下，本实施例是有效的。

[第四实施例]

接下来，将描述本发明的第四实施例。在上述实施例中，在获取距离信息的情况下，距离测量时的距离分辨率根据距离而不同。从摄像装置到被摄体的距离越远，距离分辨率越低。由于在距离测量中发生了距离分辨率的不确定性，因此发生了摄像倍率的不确定性，并且可以获得计算出的距离处的尺寸测量精度。如果考虑距离测量误差，则除了距离分辨率的不确定性外，还会发生与距离测量误差相对应的不确定性。考虑到这些，可以计算针对各个计算出的距离的尺寸测量精度。

通过使用针对各距离计算出的尺寸测量精度，可以指定具有满足由用户指定的尺寸测量精度的距离分辨率的距离范围。也可以根据距离分辨率来指定具有不同尺寸测量精度的距离范围。

在本实施例中，深度生成单元131可以通过使用根据深度图像中的距离分辨率所计算出的尺寸测量精度，以可识别的方式显示预定被摄体区域。预定被摄体区域是满足尺寸测量精度的距离范围，或者是与根据尺寸测量精度的多个分割距离范围相对应的被摄体区域。

显示控制单元132获取根据距离测量中的距离分辨率和距离测量误差所计算出的尺寸测量精度，计算满足预定尺寸测量精度的被摄体区域，并且控制突出显示。本实施例在通过使用距离测量方法考虑尺寸测量精度来进行尺寸测量的情况下是有效的。

[第五实施例]

接下来，将描述本发明的第五实施例。在本实施例中，将描述在与包括位置指定单元133所指定的第一测量点的区域相对应的被摄体是具有大致平面形状的被摄体的情况下的有效处理。

在具有大致平面形状的被摄体以正对照相机的方式被摄像的情况下，被摄体的整个表面与照相机近似等距。在上述实施例的情况下，被摄体的整个表面的区域被显示为满足预定尺寸测量精度的被摄体区域。

另一方面，在具有大致平面形状的被摄体以非正对照相机的方式被摄像的情况下，针对指定的第一测量点处的距离，仅将满足尺寸测量精度的距离范围内的被摄体区域显示为可识别。即，可以仅对被摄体的一部分进行满足预定精度的尺寸测量，而对同一被摄体中的其他被摄体区域降低尺寸测量精度。

在被摄体是以非正对照相机的方式被摄像的平面并且可以获取针对该平面的深度图像的情况下，可以进行几何变换。即，可以通过几何变换将斜面变换为面对前方的平面。通过几何变换，将根据距照相机的距离以不同大小拍摄的平面被摄体的图像转换为在相同距离处具有相同大小的平面被摄体的图像。例如，在正方形被摄体以非正对的方式被摄像的情况下，被摄体在图像上不是正方形(梯形等)，而是可以通过基于距离信息计算斜率而被转换为正方形。

本实施例的图像处理装置包括几何变换单元136(参照图1)，并且确定与包括指定的第一测量点的区域相对应的被摄体是否具有大致平面形状。在确定为被摄体具有大致平面形状的情况下，几何变换单元136计算在通过几何变换来校正倾斜时满足尺寸测量精度的区域。显示控制单元132进行用于以可识别的方式显示计算出的区域的控制。在这种情况下，与平面被摄体的整个表面相对应的区域是满足尺寸测量精度的区域，并且被显示为在平面被摄体的整个表面上均等地可识别。

当检测到被摄体具有平面形状时，图像处理装置执行直线检测和消失点检测。通过使用检测到的平面和基于深度图像的平面这二者，对平面进行校正，并获取最终平面(被摄体区域)。

在本实施例中，通过对被摄体具有大致平面形状并且以非正对照相机的方式被摄像的图像进行几何变换，可以将被摄体的图像转换为面对脸部的图像。通过进行几何变换，由倾斜引起的倍率变化被校正，并且拍摄图像中的具有大致平面形状的整个被摄体区域满足尺寸测量精度。以可识别的方式显示被摄体区域。

根据上述实施例，当测量图像中的被摄体的尺寸时，可以将与尺寸测量精度相对应的被摄体通知给用户，从而可以进行已知尺寸测量精度的测量。通过以可识别的方式显示与尺寸测量精度相对应的被摄体区域，可以实现更稳定和高精度的尺寸测量，并且可以提高用户的便利性。

[其他实施例]

本发明还可以通过如下处理来实现：经由网络或存储介质向系统或装置提供实现上述实施例的一个或多于一个功能的程序，并且系统或装置的计算机中的一个或多于一个处理器读取并执行该程序。还可以通过实现一个或多于一个功能的电路(例如，ASIC)来实现本发明。

[附图标记列表]

10 摄像光学系统

11 摄像元件

12 控制单元

13 图像处理装置

130 图像生成单元

131 深度生成单元

132 显示控制单元

133 位置指定单元

134 尺寸设置单元

136 几何变换单元

Claims (22)

1.一种图像处理装置，包括：

获取部，用于获取图像以及与同所述图像相对应的深度方向的距离分布有关的信息；以及

控制部，用于控制所述图像的显示，

其中，所述控制部进行控制，使得以能够识别的方式显示所述图像中的与相对于所述深度方向的基准距离的距离范围内的被摄体相对应的被摄体区域，其中在所述距离范围中，能够以高于基准的测量精度来测量距离。

2.根据权利要求1所述的图像处理装置，

其中，根据与距离测量中的测量点有关的测量精度或者与同所述距离测量中的多个测量点相对应的距离有关的测量精度，来确定所述距离范围。

3.根据权利要求2所述的图像处理装置，

其中，所述测量精度是由于摄像倍率的差异而导致的测量精度、由于摄像光学系统的畸变像差而导致的测量精度、或者通过使用操作部而指定的测量精度。

4.根据权利要求1至3中任一项所述的图像处理装置，

其中，通过使用在所述图像中指定的多个测量点以及与所述距离分布有关的信息，来进行距离测量。

5.根据权利要求1至4中任一项所述的图像处理装置，

其中，作为距离测量的对象的距离是与在所述图像中指定的多个测量点相对应的三维空间中的距离。

6.根据权利要求1至5中任一项所述的图像处理装置，

其中，所述控制部进行控制，以显示所述图像中的被摄体区域中的多个测量点之间的距离。

7.根据权利要求1至6中任一项所述的图像处理装置，还包括：

设置部，用于将摄像时的对焦位置处的被摄体的距离设置为所述基准距离。

8.根据权利要求1至6中任一项所述的图像处理装置，还包括：

设置部，用于将与在所述图像中指定的点相对应的与所述距离分布有关的信息中的距离设置为所述基准距离。

9.根据权利要求1至8中任一项所述的图像处理装置，

其中，所述距离范围是单个距离范围或多个非重叠距离范围。

10.根据权利要求1至8中任一项所述的图像处理装置，

其中，所述控制部进行控制，以针对与所述距离范围相对应的被摄体区域或者与所述被摄体区域不同的区域，改变颜色、亮度和符号中的一个或多于一个。

11.根据权利要求1至8中任一项所述的图像处理装置，

其中，所述控制部进行控制，以针对分别与多个所述距离范围相对应的多个被摄体区域，改变颜色、亮度和符号中的一个或多于一个。

12.根据权利要求1至8中任一项所述的图像处理装置，

其中，所述控制部进行控制，以检测所述图像的边缘，并且针对与所述距离范围相对应的被摄体区域的边缘，改变颜色、亮度和符号中的一个或多于一个。

13.根据权利要求1至12中任一项所述的图像处理装置，

其中，所述控制部进行控制，使得连接所述图像中所指定的多个测量点的直线或曲线叠加显示在所述图像上。

14.根据权利要求1至13中任一项所述的图像处理装置，

其中，作为距离测量中的测量点，能够指定与所述距离范围内的被摄体相对应的区域中的测量点。

15.根据权利要求1至14中任一项所述的图像处理装置，

其中，所述控制部进行控制，以获取根据距离测量中的距离分辨率和距离测量误差所计算出的测量精度，并且以能够识别的方式显示所述被摄体区域。

16.根据权利要求1至15中任一项所述的图像处理装置，还包括：

几何变换部，用于通过几何变换来校正所述图像，

其中，在确定为与包括所述图像中所指定的测量点的区域相对应的被摄体具有平面形状的情况下，所述几何变换部计算满足所述测量精度的区域，并且所述控制部进行控制以便以能够识别的方式显示计算出的区域。

17.一种摄像装置，包括：

根据权利要求1至16中任一项所述的图像处理装置；以及

摄像元件。

18.根据权利要求16所述的摄像装置，

其中，所述摄像元件具有多个微透镜以及分别与所述微透镜相对应的多个光电转换部，并且从所述多个光电转换部输出的具有不同视点的多个图像信号获取与所述距离分布有关的信息。

19.根据权利要求17或18所述的摄像装置，

其中，所述控制部计算所述图像中所指定的多个测量点之间的距离，根据从所述摄像装置到被摄体的距离以及摄像光学系统的焦距来计算摄像倍率，并且通过使用所述摄像装置的像素大小以及所述摄像倍率将所述多个测量点之间的距离转换为物体侧的距离。

20.根据权利要求19所述的摄像装置，还包括：

显示部，用于显示在拍摄图像中指定的多个测量点之间的距离。

21.一种图像处理方法，其由图像处理装置执行，所述图像处理方法包括：

获取步骤，用于获取图像以及与同所述图像相对应的深度方向的距离分布有关的信息；以及

控制步骤，控制所述图像的显示，

其中，在所述控制步骤中，进行控制，使得以能够识别的方式显示所述图像中的与相对于所述深度方向的基准距离的距离范围内的被摄体相对应的被摄体区域，其中在所述距离范围中，能够以高于基准的测量精度来测量距离。

22.一种程序，用于使计算机执行根据权利要求21所述的图像处理方法的各步骤。

Images