CN104519342B - 一种图像处理方法和装置 - Google Patents

Abstract

本发明提供了一种图像处理方法和装置，该方法包括：控制光投射器向待摄取对象的表面投射多条纹结构光和点结构光，以在待摄取对象的表面形成多条光条纹，并在光条纹之间形成多个光点；通过图像传感器采集表面具有光条纹和光点的待摄取对象的目标图像；获取包含该光条纹和光点的参考图像；根据参考图像中光条纹的特征信息和目标图像中光条纹的特征信息，计算目标图像中每条光条纹位置处的第一深度值；根据参考图中光点的特征信息和目标图像中光点的特征信息，计算目标图像中每个光点位置处的第二深度值；根据目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成目标图像的深度图。该方法可以提高生成的深度图的分辨率。

Description

一种图像处理方法和装置

技术领域

本发明涉及图像处理技术领域，更具体的说是涉及一种图像处理方法和装置。

背景技术

目前，基于结构光的深度摄像装置已经被广泛应用，利用该种深度摄像装置可以获取到待摄取景物的深度图。

基于结构光的深度摄像装置一般包括光投射器和摄像头，其获取深度图的过程一般是通过光投射器投射可控制的结构光到待摄取对象表面形成特征点，并由摄像头摄取包含结构光特征的对象的图像，进而摄取到的图像中的结构光的特征，获取到该图像对应的深度图。目前，为了满足实时性，一般采用基于线状结构光来进行深度图，即，通过向该待摄取对象的表面投射条状结构光，在该待摄取对象上呈现出多条光条纹，并根据呈现出的光条纹的特征，获取到该图像的深度图。但是目前获取深度图的方式中虽然能够满足实时性要求，却存在精度低，导致得到的深度图的分辨率低的问题。

发明内容

有鉴于此，本发明提供一种图像处理方法和装置，以提高生成的深度图的分辨率。

为实现上述目的，本发明提供如下技术方案：一种图像处理方法，应用于电子设备，该电子设备至少包括图像传感器和光投射器，包括：

控制所述光投射器向所述待摄取对象的表面投射多条纹结构光和点结构光，以在所述待摄取对象的表面形成多条光条纹，并在所述光条纹之间形成多个光点；

通过所述图像传感器采集表面具有所述光条纹和所述光点的所述待摄取对象的目标图像；

获取包含所述光条纹和所述光点的参考图像；

根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值；

根据所述参考图中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值；

根据所述目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成所述目标图像的深度图。

优选的，所述计算所述目标图像中每条光条纹位置处的第一深度值，包括：

计算所述目标图像中每条光条纹的条纹中心位置处的第一深度值。

优选的，所述根据所述参考图中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值，包括：

将所述目标图像中的光条纹与所述参考图像中的光条纹进行匹配，得到多对条纹匹配对，其中，每对所述条纹匹配对中均包括所述目标图像中的目标光条纹和所述参考图像中的参考光条纹；

对于每对条纹匹配对，根据所述条纹匹配对中的目标光条纹和参考光条纹的特征信息，计算所述目标光条纹相对于所述参考光条纹的第一视差；

根据所述第一视差，计算所述目标图像中所述目标光条纹位置处的第一深度值。

优选的，所述根据所述参考图中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值，包括：

将所述目标图像中的光点与所述参考图像中的光点进行匹配，得到多对光点匹配对，其中，每对所述光点匹配对中均包括所述目标图像中的第一光点和所述参考图像中的第二光点；

对于每对光点匹配对，根据所述光点匹配对中的第一光点和第二光点的特征信息，计算所述第一光点相对于所述第二光点的第二视差；

根据所述第二视差，计算所述目标图像中所述第一光点位置处的第二深度值。

优选的，所述将所述目标图像中的光点与所述参考图像中的光点进行匹配，包括：

对于所述目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定所述参考图像中分别与所述第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹；

对于所述目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从所述参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配所述目标光点相匹配的参考光点，得到所述光点匹配对。

另一方面，本发明还提供了一种图像处理装置，应用于电子设备，该电子设备至少包括图像传感器和光投射器，包括：

投射控制单元，用于控制所述光投射器向所述待摄取对象的表面投射多条纹结构光和点结构光，以在所述待摄取对象的表面形成多条光条纹，并在所述光条纹之间形成多个光点；

摄取控制单元，用于通过所述图像传感器采集表面具有所述光条纹和所述光点的所述待摄取对象的目标图像；

获取单元，用于获取包含所述光条纹和所述光点的参考图像；

第一深度计算单元，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值；

第二深度计算单元，用于根据所述参考图中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值；

深度图生成单元，用于根据所述目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成所述目标图像的深度图。

优选的，所述第一深度计算单元，包括：

中心深度计算单元，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹的条纹中心位置处的第一深度值。

优选的，所述第一深度计算单元，包括：

第一匹配单元，用于将所述目标图像中的光条纹与所述参考图像中的光条纹进行匹配，得到多对条纹匹配对，其中，每对所述条纹匹配对中均包括所述目标图像中的目标光条纹和所述参考图像中的参考光条纹；

第一视差计算单元，用于对于每对条纹匹配对，根据所述条纹匹配对中的目标光条纹和参考光条纹的特征信息，计算所述目标光条纹相对于所述参考光条纹的第一视差；

第一深度计算子单元，用于根据所述第一视差，计算所述目标图像中所述目标光条纹位置处的第一深度值。

优选的，所述第二深度计算单元，包括：

第二匹配单元，用于将所述目标图像中的光点与所述参考图像中的光点进行匹配，得到多对光点匹配对，其中，每对所述光点匹配对中均包括所述目标图像中的第一光点和所述参考图像中的第二光点；

第二视差计算单元，用于对于每对光点匹配对，根据所述光点匹配对中的第一光点和第二光点的特征信息，计算所述第一光点相对于所述第二光点的第二视差；

第二深度计算子单元，用于根据所述第二视差，计算所述目标图像中所述第一光点位置处的第二深度值。

优选的，所述第二匹配单元，包括：

条纹匹配确定单元，用于对于所述目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定所述参考图像中分别与所述第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹；

第二匹配子单元，用于对于所述目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从所述参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配所述目标光点相匹配的参考光点，得到所述光点匹配对。

经由上述的技术方案可知，在进行深度分析时，通过光投射器向待摄取对象的表面投射出多条光条纹和位于光条纹之间的光点，然后摄取包含该多条光条纹和光点的待摄取对象的目标图像，从而使得目标图像能够包含更多的结构光的信息，以使得该目标图像中能够计算出深度值的位置点增多。同时，得到该目标图像后，结合参考图像中光条纹和光点的特征信息，分别计算出该目标图像中各条光条纹位置处的第一深度值以及目标图像中各个光点位置处的第二深度值，然后根据得到的第一深度值和第二深度值生成该目标图像的深度图。与现有基于图像中的光条纹生成深度图相比，由于本申请在光条纹之间插入了多个光点，在生成深度图时，不仅仅考虑了目标图像中光条纹位置处的深度值，还考虑到了光条纹之间的光点的深度值，从而使得生成的深度图具有更高的分辨率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1示出了本发明一种图像处理方法一个实施例的流程示意图；

图2示出了本发明在参考图像中形成的光条纹和点条纹的分布示意图；

图3示出了本发明一种图像处理方法另一个实施例的流程示意图；

图4示出了本发明一种图像处理装置一个实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种图像处理方法，以在较小运算量的前提下，得到较高分辨率的深度图。

参见图1，示出了本发明一种图像处理方法一个实施例的流程示意图，本实施例的方法应用于一电子设备，该电子设备至少包括图像传感器和光投射器，如该电子设备可以为基于结构光的深度摄像器，或者其他能够具有摄像头和结构光发射器的电子设备，本实施例的方法包括：

步骤101：控制光投射器向待摄取对象的表面投射多条纹结构光和点结构光，以在该待摄取对象的表面形成多条光条纹，并在光条纹之间形成多个光点。

其中，该光投射器也可以称为光发射器，是指能够向外发射结构光并投射在被测量的对象中，以在被测量的对象上投射出相应结构光图案。如投射出线状结构光，点状结构光或者面状结构光。该被测量的对象，即为需要进行相应深度分析的对象，为了能够对该对象的图像的深度进行分析，后续需要获取该被测量对象的图像，因此，本实施例中将该被测量对象统称为待摄取对象。

在本申请实施例中，该光投射器向待摄取对象的表面投射出条纹结构光和点结构光，使得该待摄取对象的表面具有多条光条纹，且在任意两条光条纹之间具有光点。其中，为了能够在待摄取对象的表面形成光条纹，该光投射器投射出的光束在空间形成一个窄的光平面，当该光平面与该待摄取对象的表面相交时，则可以在该待摄取对象的表面产生一个亮的光条。

其中，光投射器向该待摄取对象的表面投射出多条光条纹，并在光条纹之间投射出光点的实现过程，与现有的控制光投射器向待摄取对象的表面投射出指定图案的过程相似。如，可以是采用光栅成像法，例如，在该光投射器的投射镜头上设置具有指定图案的光栅，在控制该光投射器投射出激光后，则可以在待摄取对象的表面形成具有指定图案的光特征图案。又如，还可以采用空间编码法，预置生成该多条纹结构光以及点结构光的规则，并控制该光投射器依据该规则进行光发射，以在该待摄取对象的表面投射出多条条纹光，并在条纹光之间形成光点。

可以理解的是，该待摄取对象可以为一个物体，或者指定区域内的两个或多个物体，也可以是指定区域内的包含多个物体和背景的对象。

步骤102：通过图像传感器采集表面具有该光条纹和光点的待摄取对象的目标图像。

通过光投射器的投射，在该待摄取对象的表面投射出光条纹和光点之后，通过该图像传感器对该待摄取对象进行摄取，得到的目标图像中则可以包含有该待摄取对象以及该待摄取对象表面的光条纹和光点。

步骤103：获取包含该光条纹和光点的参考图像。

由于普通摄像装置摄取到二维图像中不能获取到深度信息，而基于结构光的深度分析实际上就是基于结构光的三维测量，从而确定出摄取到的图像中深度信息。

然而，实际中的待摄取对象一般都是立体的，而不是平面的景物，这样，当光投射器向该待摄取对象投射了结构光之后，投射出的结构光在与该待摄取对象相交时，会由于该待摄取对象表面深度的变化以及可能的间隙而受到调整，使得呈现在该待摄取对象结构光发生畸变。例如，投射出的调整条状结构光呈现在该待摄取对象表面可能会出现：光条纹偏移、不连续等现象。

在进行深度分析时，可以利用待摄取对象表面发生畸变的结构光来获取待摄取对象表面的三维信息，得到待摄取对象表面各个位置点的深度值。为了能够确定出待摄取对象的图像中结构光的畸变，需要获取到参考图像，以便根据参考图像中的结构光的信息，确定出待摄取对象中的结构光的畸变程度。

该参考图像是用于分析目标图像中的条纹光和光点畸变程度，而预先获取到包含该光投射器投射出的光条纹结构光和点状结构光信息的图像。也就是说，形成该参考图像的过程中，该光透射仪投射出的条纹结构光以及点状结构光，均与形成该目标图像的过程中，该光透射器投射出的条纹结构光和点状结构光相同。具体的，形成该参考图像和目标图像的过程中，该光投射器投射出的光条纹结构光和点结构光的数量均相同，且任意两条光条纹结构光之间的点结构光的排布也相同。但是该参考图像中包含的结构光信息是未发生畸变的结构光，即该参考图像中包含的条纹光和光点未发生畸变，而该目标图像中所包含的光条纹和光点则是发生畸变后的结构光。

其中，获取该参考图像的过程与现有的方式相同。例如，可以通过该光投射器向与该光投射器的投射平面平行的一平面中投射出条纹结构光和点状结构光，在该平面上形成多条光条纹和光点，摄取包含该多条光条纹和光点的平面的图像，得到参考图像。由于平面上各点的深度相同，因此，条纹结构光和点状结构光与该平面相交后，该条纹结构光和点状结构光不会发生畸变。

为了便于理解，参见图2，示出了光投射器投射出条纹状结构光和点状结构光之后，在参考图像中形成的结构光的示意图。在该参考图像中包含有多条光条纹211，每条光条纹均没有发生畸变，没有出现光条纹被分成多段，或者光条纹的不同部分发生移位等现象，在两个光条纹之间分布着多个光点212，该光点也没有发生畸变。

步骤104：根据参考图像中光条纹的特征信息和该目标图像中光条纹的特征信息，计算该目标图像中每条光条纹位置处的第一深度值。

其中，光条纹的特征信息至少包含每条光条纹在图像中的分布位置，还可以包括每条光条纹与其他光条纹之间的位置关系等信息。

将该目标图像中的光条纹的特征信息与该参考图像中的光条纹的特征信息进行比对，则确定目标图像中每条光条纹位置处的深度值。为了便于区分，在本申请实施例中，将该目标图像中光条纹位置处的深度值称为第一深度值。

步骤105：根据参考图中光点的特征信息和目标图像中光点的特征信息，计算目标图像中每个光点位置处的第二深度值。

其中，该光点的特征信息至少包括光点在图像中的位置信息，还可以包括该光点与光条纹的位置关系等，如该光点所在的位置处于哪两条光条纹之间，以及该光点与该两条光条纹的位置关系等。

对于该目标图像中的任意一个光点，将该光点的特征信息与该参考图像中相应光点的特征信息进行比对，可以确定出目标图像中该光点所在的位置处的深度值。为了便于区分，将目标图像中光点位置处的深度值称为第二深度值。

步骤106：根据目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成该目标图像的深度图。

与现有的方式不同，本申请实施例该目标图像的深度图是根据该目标图像中的光条纹位置处的第一深度值和光点位置处的第二深度值生成。

在实际应用中，在向待摄取对象投射条状结构光时，为了使得待摄取对象中呈现出的各个亮条纹之间不会相互干扰，线条纹之间需要设计的比较稀疏，即线条之间的间隙不能小于指定值。但是，对于待摄取对象中分布的光点之间的间距则可以相对增大。比如，为了亮条纹之间不会相互干扰，在同样的视角范围内，在图像的一行可能只能有100根光条纹，但是在该图像的一行中则分布640个点。例如，在图2中，一行分布有7根光条纹，但是一行分布的光点则远多于10个。

如果仅仅基于光条纹的特征信息，计算出目标图像中各个光条纹位置处的第一深度值，然后仅仅根据该第一深度值，生成该目标图像的深度图，则会导致生成的深度图的分辨率较低。通过在待摄取对象的表面投射出光条纹，并在光条纹之间投射出光点，使得目标图像中的光条纹之间分布多个光点，因此，可以分别计算出该目标图像中的光条纹和光点处的深度值，这样，根据目标图像的光条纹和光点处的深度值生成的深度图后，该深度图的分辨率则会明显提高。

可以理解的是，在根据目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成目标图像的深度图时，可以根据目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，进行插值运算，得到目标图像中更多位置处的深度值，并根据得到的各个位置处的深度值来生成该目标图像的深度图。

需要说明的是，本申请实施例中该步骤104和步骤105的执行顺序不限于图1所示，在实际应用中，也可以执行步骤105之后，再执行步骤104，当然，也可以同时执行该步骤104和步骤105的操作。

本申请实施例中，在进行深度分析时，通过光投射器向待摄取对象的表面投射出多条光条纹和位于光条纹之间的光点，然后摄取包含该多条光条纹和光点的待摄取对象的目标图像，从而使得目标图像能够包含更多的结构光的信息，以使得该目标图像中能够计算出深度值的位置点增多。同时，得到该目标图像后，结合参考图像中光条纹和光点的特征信息，分别计算出该目标图像中各条光条纹位置处的第一深度值，以及目标图像中各个光点位置处的第二深度值，然后根据得到的第一深度值和第二深度值生成该目标图像的深度图。与现有基于图像中的光条纹生成深度图相比，由于本申请在光条纹之间插入了多个光点，在生成深度图时，不仅仅考虑了目标图像中光条纹位置处的深度值，还考虑到了光条纹之间的光点的深度值，从而使得得到的深度图具有更高的分辨率。

另外，与现有基于点结构光进行图像深度分析的方式相比，即与向待摄取对象的表面投射出光点，摄取包含有光点的待摄取对象的图像后，并根据该图像中的光点的特征信息，获取该图像的深度图的方式，本申请实施例的方法，采用光条纹代替了一部分光点，从而大大减少了需要计算的光点位置处的深度值，进而减少了计算量，保证了实时性的要求。

其中，在本申请实施例中对于目标图像中任意一条光条纹，计算该目标图像中该光条纹位置处的第一深度值时，可以根据该光条纹的特征信息，以及参考图像中与该光条纹对应的光条纹的特征信息，计算该目标图像中的光条纹与该参考图像中相应光条纹的视差，然后根据这两条光条纹之间的视差，确定出目标图像中该光条纹的第一深度值。其中，视差就是指从有一定距离的两个点上观察同一个目标所产生的方向差异，从目标看两个点之间的夹角，叫做这两个点的视差。而该两点之间的距离称作基线，只要知道视差角度和基线长度，可以计算出目标和观测者之间的距离。

由于该目标图像中有的光条纹可能已经发生了畸变，如有的光条纹被分成多段，且发生了偏移等，因此，在计算目标图像的光条纹之前，需要定位出该目标图像中的各个光条纹，并将同一光条纹的分段连接起来。具体过程与现有的方式相似，在此不再赘述。

其中，对于目标图像中任意一个光点，计算目标图像中光点位置处的第二深度值时，同样可以根据该目标图像中的光点的特征信息与该参考图像中相应光点的特征信息，计算这两个光点之间的视差，然后根据视差确定出目标图像中该光点位置处的第二深度值。

参见图3，示出了本发明一种信息处理方法另一个实施例的流程示意图，本实施例的方法应用于一电子设备，该电子设备至少包括图像传感器和光投射器，如该电子设备可以为基于结构光的深度摄像器，或者其他能够具有摄像头和结构光发射器的电子设备，本实施例的方法包括：

步骤301：控制光投射器向待摄取对象的表面投射多条纹结构光和点结构光，以在该待摄取对象的表面形成多条光条纹，并在光条纹之间形成多个光点。

步骤302：通过图像传感器采集表面具有该光条纹和光点的待摄取对象的目标图像。

步骤303：获取包含该光条纹和光点的参考图像。

步骤301至步骤303的操作过程可以参照前面实施例中相关内容的介绍，在此不再赘述。

步骤304:将目标图像中的光条纹与参考图像中的光条纹进行匹配，得到多对条纹匹配对。

其中，每对条纹匹配对中均包括目标图像中的目标光条纹和该参考图像中的参考光条纹。

为了能够确定出该目标图像中各个光条纹与参考图像中各个光条纹的对应关系，需要进行光条纹匹配。该条纹匹配对中的两个光条纹就分别是目标图像与参考图像中具有匹配关系的光条纹。

为了便于区分，将该条纹匹配对中属于该目标图像的光条纹称为目标光条纹，将条纹匹配对中属于该参考图像中的光条纹称为参考光条纹。

其中，将该目标图像中的光条纹与该参考图像中的光条纹进行匹配的方式可以采用现在的任意匹配光条纹的方式。

可选的，可以按顺序对目标图像中的光条纹进行编号，同时，按顺序对参考图像中的光条纹进行编号。如，可以从左到右的顺序进行编号。通过目标图像中光条纹和参考图像中光条纹的编号，便可以确定出匹配的光条纹对。

当然，如果该目标图像中存在发生畸变的光条纹时，则可以先将被分为多段的光条纹进行连接。在连接过程中有可能会出现连接错误，如将不属于同一个光条纹的光条纹段连接到一起，在该种情况下，在对目标图像的光条纹进行编号后，可以根据对光条纹的编号，对连接错误的光条纹进行纠正，以使得属于同一编号的光条纹被连接到一起。例如，假设将目标图像中的光条纹按照从左到右的顺序编号，上下均进行编号，这样，如果从左到右的第四条光条纹被分段，但是确定出上半部分为第四条光条纹后，可以从下半部分依次查找属于从左到右的第四条光条纹，从而可以准确确定出需要拼接的光条纹。

步骤305：对于每对条纹匹配对，根据条纹匹配对中的两条光条纹的特征信息，计算目标光条纹相对于该参考光条纹的第一视差。

其中，该特征信息至少包括光条纹的位置，根据该条纹匹配对中，该目标图像中的目标条纹在该目标图像中的位置，以及该参考条纹在该参考图像中的位置，计算该目标光条纹相对于该参考光条纹的视差。

为了便于区分，将该目标光条纹相对于该参考光条纹的视差称为第一视差。

其中，从目标图像和参考图像中匹配出匹配的条纹匹配对之后，计算该条纹匹配对中，该目标光条纹相对于该参考光条纹的第一视差的过程可以采用现有的计算视差的任意方式，在此不加以限制。

步骤306：根据该第一视差，计算目标图像中该目标光条纹位置处的第一深度值。

根据该目标光条纹相对于该参考光条纹的视差，计算该目标图像中该目标光条纹位置处的深度值的方式可以与现有的方式相似。

步骤307：将该目标图像中的光点与该参考图像中的光点进行匹配，得到多对光点匹配对。

其中，每对光点匹配对中均包括两个光点，该两个光点分别为目标图像中的第一光点和参考图像中的第二光点。通过图像匹配技术，可以匹配出目标图像与参考图像中匹配的光点，得到多对光点匹配对。为了便于区分，将光点匹配对中属于该目标图像中的光点称为第一光点，将该光点匹配对中属于该参考图像中的光点称为第二光点。

可以理解的是，由于各个光点的形状基本相同，在进行目标图像与参考图像中的光点的匹配时，可以根据该光点与周围光点的排布状态，进行匹配。因此，为了能够匹配出该目标图像与该参考图像中的相匹配的光点对，该光投射器投射到出的光点均需要满足如下条件：

在指定范围区域内，投射出的光点分布情况不重复，以使的参考图像指定范围内的各个光点的排布方式不重复，且该目标图像中指定范围内各个光点的排布情况不重复，该指定范围内的各个光点与其他光点的排布关系能够相互区分。例如，可以设定匹配窗口的大小为3*3的窗口时，在该3*3的窗口内光点可以随机分布，但是任意两个9*9的窗口内的光点的分布不重复。

步骤308：对于每对光点匹配对，根据光点匹配对中的两个光点的特征信息，计算该第一光点相对于该第二光点的第二视差。

步骤309：根据该第二视差，计算该目标图像中该第一光点位置处的第二深度值。

为了便于区分，将该第一光点相对于该参考图像中该第二光点的视差称为第二视差。

其中，计算该光点匹配对中该第一光点相对于该第二光点的视差同样可以采取现有的任意计算视差的方式，在此不加以限制。相应的，根据该第一光点相对于该第二光点的视差，计算该目标图像中该第一光点位置处的第二深度值同样可以采用现有的根据视差计算深度值的方式。

步骤310：根据目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成该目标图像的深度图。

其中，生成深度图的过程同样可以参照前面实施例的相关介绍，在此不再赘述。

可选的，在本申请实施例中，将目标图像中的光点与参考图像中的光点进行匹配时，可以包括：

对于目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定该参考图像中分别与第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹。当然，如果已经进行了步骤304，则可以直接确定出匹配的匹配条纹对，从而可以确定出参考图像与第一目标光条纹和第二目标光条纹分别匹配的第一参考光条纹和第二参考光条纹。

这样，对于目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从该参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配与该目标光点相匹配的参考光点，得到光点匹配对。

也就是说，在进行光点匹配时，对于目标图像中任意两条相邻目标光条纹之间的光点，可以从该参考图像中与该两条相邻的目标光条纹匹配的两条相邻的参考光条纹之间的光点中进行匹配。例如，参照图2，假设目标图像中从左到右的第一条光条纹和第二条光条纹，分别与该图2的参考图像中，从左到右的第一条参考光条纹和第二条参考光条纹匹配。这样，对于该第一条目标光条纹和第二目标光条纹中的目标光点，则可以从该第一条参考光条纹和第二条参考光条纹之间的光点内进行匹配，以得到与该目标光点匹配的参考光点。

可以理解的是，对目标图像的光点和参考图像中的光点进行匹配时，如果每次对该目标图图像的光点进行光点匹配时，均需要依次对该参考图像中各个光点进行匹配计算，将会导致很大的数据计算量。因此，采用根据光条纹的对应关系，依次对两幅图像中具有匹配关系的两条相邻光条纹之间的光点进行匹配，则无需每次匹配时，均需要对参考图像中的所有光点均进行匹配计算，从而大大减少了匹配计算量，进而保证了实时性的要求。

可选的，在以上任意一个实施例中，计算所述目标图像中每条光条纹位置处的第一深度值，可以是在定位出该目标图像中的各条光条纹之后，确定该每条光条纹的条纹中心位置，并计算目标图像中每条光条纹的条纹中心位置处的第一深度值。例如，参见图2，每条光条纹都竖直排布，每条光条纹都有一定的水平宽度，为了计算精确，可以确定沿竖直方向上，在水平宽度内的中心点，从而得到定每条光条纹沿竖直方向上的中心位置，然后计算该条纹的中心位置上的深度值。

对应本本发明的一种图像处理方法，另一方面，本发明还提供了一种图像处理装置。参见图4，示出了本发明一种图像处理装置一个实施例的结构示意图，本实施例的装置应用于电子设备，该电子设备至少包括图像传感器和光投射器，包括：

投射控制单元401，用于控制所述光投射器向所述待摄取对象的表面投射多条纹结构光和点结构光，以在所述待摄取对象的表面形成多条光条纹，并在所述光条纹之间形成多个光点；

摄取控制单元402，用于通过所述图像传感器采集表面具有所述光条纹和所述光点的所述待摄取对象的目标图像；

获取单元403，用于获取包含所述光条纹和所述光点的参考图像；

第一深度计算单元404，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值；

第二深度计算单元405，用于根据所述参考图中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值；

深度图生成单元406，用于根据所述目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成所述目标图像的深度图。

优选的，该第一深度计算单元，包括：

中心深度计算单元，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹的条纹中心位置处的第一深度值。

基于一种深度计算方式，所述第一深度计算单元，可以包括：

第一匹配单元，用于将所述目标图像中的光条纹与所述参考图像中的光条纹进行匹配，得到多对条纹匹配对，其中，每对所述条纹匹配对中均包括所述目标图像中的目标光条纹和所述参考图像中的参考光条纹；

第一视差计算单元，用于对于每对条纹匹配对，根据所述条纹匹配对中的目标光条纹和参考光条纹的特征信息，计算所述目标光条纹相对于所述参考光条纹的第一视差；

第一深度计算子单元，用于根据所述第一视差，计算所述目标图像中所述目标光条纹位置处的第一深度值。

相应的，该第二深度计算单元可以包括：

第二匹配单元，用于将所述目标图像中的光点与所述参考图像中的光点进行匹配，得到多对光点匹配对，其中，每对所述光点匹配对中均包括所述目标图像中的第一光点和所述参考图像中的第二光点；

第二视差计算单元，用于对于每对光点匹配对，根据所述光点匹配对中的第一光点和第二光点的特征信息，计算所述第一光点相对于所述第二光点的第二视差；

第二深度计算子单元，用于根据所述第二视差，计算所述目标图像中所述第一光点位置处的第二深度值。

优选的，该第二匹配单元，包括：

条纹匹配确定单元，用于对于所述目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定所述参考图像中分别与所述第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹；

第二匹配子单元，用于对于所述目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从所述参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配所述目标光点相匹配的参考光点，得到所述光点匹配对。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种图像处理方法，其特征在于，应用于电子设备，该电子设备至少包括图像传感器和光投射器，包括：

控制所述光投射器向待摄取对象的表面投射多条纹结构光和点结构光，以在所述待摄取对象的表面形成多条光条纹，并在所述光条纹之间形成多个光点；

通过所述图像传感器采集表面具有所述光条纹和所述光点的所述待摄取对象的目标图像；

获取包含所述光条纹和所述光点的参考图像；

根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值；

根据所述参考图像中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值；

根据所述目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成所述目标图像的深度图；

其中，所述根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值，包括：

将所述目标图像中的光条纹与所述参考图像中的光条纹进行匹配，得到多对条纹匹配对，其中，每对所述条纹匹配对中均包括所述目标图像中的目标光条纹和所述参考图像中的参考光条纹；

对于每对条纹匹配对，根据所述条纹匹配对中的目标光条纹和参考光条纹的特征信息，计算所述目标光条纹相对于所述参考光条纹的第一视差；

根据所述第一视差，计算所述目标图像中所述目标光条纹位置处的第一深度值；

所述根据所述参考图像中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值，包括：

将所述目标图像中的光点与所述参考图像中的光点进行匹配，得到多对光点匹配对，其中，每对所述光点匹配对中均包括所述目标图像中的第一光点和所述参考图像中的第二光点；

对于每对光点匹配对，根据所述光点匹配对中的第一光点和第二光点的特征信息，计算所述第一光点相对于所述第二光点的第二视差；

根据所述第二视差，计算所述目标图像中所述第一光点位置处的第二深度值。

2.根据权利要求1所述的方法，其特征在于，所述计算所述目标图像中每条光条纹位置处的第一深度值，包括：

计算所述目标图像中每条光条纹的条纹中心位置处的第一深度值。

3.根据权利要求1所述的方法，其特征在于，所述将所述目标图像中的光点与所述参考图像中的光点进行匹配，包括：

对于所述目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定所述参考图像中分别与所述第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹；

对于所述目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从所述参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配所述目标光点相匹配的参考光点，得到所述光点匹配对。

4.一种图像处理装置，其特征在于，应用于电子设备，该电子设备至少包括图像传感器和光投射器，包括：

投射控制单元，用于控制所述光投射器向待摄取对象的表面投射多条纹结构光和点结构光，以在所述待摄取对象的表面形成多条光条纹，并在所述光条纹之间形成多个光点；

摄取控制单元，用于通过所述图像传感器采集表面具有所述光条纹和所述光点的所述待摄取对象的目标图像；

获取单元，用于获取包含所述光条纹和所述光点的参考图像；

第一深度计算单元，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹位置处的第一深度值；

第二深度计算单元，用于根据所述参考图像中光点的特征信息和所述目标图像中光点的特征信息，计算所述目标图像中每个光点位置处的第二深度值；

深度图生成单元，用于根据所述目标图像中光条纹位置处的第一深度值和光点位置处的第二深度值，生成所述目标图像的深度图；

其中，所述第一深度计算单元，包括：

第一匹配单元，用于将所述目标图像中的光条纹与所述参考图像中的光条纹进行匹配，得到多对条纹匹配对，其中，每对所述条纹匹配对中均包括所述目标图像中的目标光条纹和所述参考图像中的参考光条纹；

第一视差计算单元，用于对于每对条纹匹配对，根据所述条纹匹配对中的目标光条纹和参考光条纹的特征信息，计算所述目标光条纹相对于所述参考光条纹的第一视差；

第一深度计算子单元，用于根据所述第一视差，计算所述目标图像中所述目标光条纹位置处的第一深度值；

所述第二深度计算单元，包括：

第二匹配单元，用于将所述目标图像中的光点与所述参考图像中的光点进行匹配，得到多对光点匹配对，其中，每对所述光点匹配对中均包括所述目标图像中的第一光点和所述参考图像中的第二光点；

第二视差计算单元，用于对于每对光点匹配对，根据所述光点匹配对中的第一光点和第二光点的特征信息，计算所述第一光点相对于所述第二光点的第二视差；

第二深度计算子单元，用于根据所述第二视差，计算所述目标图像中所述第一光点位置处的第二深度值。

5.根据权利要求4所述的装置，其特征在于，所述第一深度计算单元，包括：

中心深度计算单元，用于根据所述参考图像中光条纹的特征信息和所述目标图像中光条纹的特征信息，计算所述目标图像中每条光条纹的条纹中心位置处的第一深度值。

6.根据权利要求4所述的装置，其特征在于，所述第二匹配单元，包括：

条纹匹配确定单元，用于对于所述目标图像中任意两条相邻的第一目标光条纹和第二目标光条纹，确定所述参考图像中分别与所述第一目标光条纹和第二目标光条纹匹配的第一参考光条纹和第二参考光条纹；

第二匹配子单元，用于对于所述目标图像中位于第一目标光条纹和第二目标光条纹之间的目标光点，从所述参考图像的第一参考光条纹和第二参考光条纹之间光点中，匹配所述目标光点相匹配的参考光点，得到所述光点匹配对。