CN102771128A - 一种用于获得目标的改善的立体图像的方法和系统 - Google Patents

Abstract

公开了一种用于获得关注目标的立体图像的改善的深度精度的方法，包括：从第一位置成像关注目标的第一图像；从不同于第一位置的第二位置成像关注目标的第二图像；其中，所述方法包括基于第一图像和第二图像，确定关注目标深度的粗略估计；基于深度的粗略估计，确定对应于关注目标改善的深度精度的改善的成像位置集合；从所述改善的成像位置集合成像改善的图像；基于改善的图像确定改善的深度。也公开了有关的系统。

Description

一种用于获得目标的改善的立体图像的方法和系统

技术领域

本公开涉及用于获得关注目标的立体图像信息的方法和设备领域。

背景技术

存在能够获取目标的三维（3D）信息的立体照相机。

在最先进的立体照相机系统中，多个照相机之间的距离是固定的。

尽管目标能够在捕获的场景到处移动，但是经常不能用最优的精度测量目标的深度。

此外，最先进的方法和系统需要在它们的立体照相机设置中的过多数量的照相机和许多的处理能力。

发明内容

本发明的一个目的是为了提供用于获得关注目标的立体图像的改善的深度精度的方法和系统。

这通过本发明的几个方面实现。

根据本发明的第一个方面，描述了一种用于获得关注目标的立体图像改善的深度精度的方法，包括：

-从第一位置成像关注目标的第一图像；

-从不同于第一位置的第二位置成像关注目标的第二图像；

其中所述方法包括

-基于第一图像和第二图像，确定关注目标的深度的粗略估计；

-基于深度的粗略估计，确定对应于关注目标的改善的深度精度的改善的成像位置集合；

-从改善的成像位置集合成像改善的图像；

-基于改善的图像确定改善的深度。

成像位置优选地对应于照相机焦点的位置。在两个照相机之间的距离可以定义为在它们各自焦点之间的距离（也指的是基线（baseline）距离或基线）。

深度是在关注目标和连接第一和第二成像位置的直线之间的距离。

根据优选的实施例，深度的粗略估计的确定基于在第一和第二位置之间的距离和视差（disparity），该视差为在第一图像和第二图像之间的三维关注目标的被投影的二维图像的位置的差别。视差指的是三维真实世界的目标（或点）在两个照相机的像平面上投影之后在二维图像位置的差别；所述差别源于在两个照相机焦点之间的可变的距离。

根据优选的实施例深度的粗略估计可由z=b＊f/d获得，其中b为沿着照相机之间的基线的距离，f为焦距，以及d为视差。

在立体设置中的照相机通常具有基本上相同的焦距。图像校正也使得校正过的图像看起来仿佛它们由一个具有相同焦距的照相机产生。

在离散步骤中测量视差（例如每像素/像素组）。对应于两个连续的视差步骤的深度中的差别被称为深度精度（depth precision）。

对应于两个连续可能的视差值的两个连续深度值之间的差别，不等于超过可能的视差值的整个范围。由于在离散步骤中测量视差，深度也同样可以仅在离散步骤中测量。对应于视差值（d）的每个深度值（z）的不确定性，由这个深度值（z）的距离提供给低于这个深度值（z）的最接近的可能的深度值（z’，对应于视差d’=d+1）和高于这个深度值（z）的最接近的可能的深度值（z”，对应于视差d”=d-1）。这个不确定性确定能够测量深度有多准确，并因此确定深度精度。

根据优选的实施例，改善的成像位置集合包括第一位置或第二位置中的至少一个。

根据优选的实施例，改善的成像位置集合的成像位置沿着连接第一位置和第二位置的直线。

根据优选的实施例，成像第一图像和成像第二图像分别由第一和不同的第二照相机实现。

根据优选的实施例，第一和第二照相机中的至少一个被移动以将第一和第二照相机带到改善的成像位置。则所述方法优选地包括通过第一和第二照相机从改善的成像位置集合成像关注目标。

根据优选地实施例，所述方法包括在多个照相机中选择两个照相机的集合，将所述的两个照相机的集合带到对应的改善的成像位置集合，并且通过两个照相机的集合从所述改善的成像位置集合成像所述关注目标。

根据优选的实施例，所述方法包括基于多个照相机的位置和基于改善的成像位置集合，从位于固定的位置的多个照相机中选择两个照相机的组合，一第三照相机和一第四照相机，所述多个照相机包括第一和第二照相机，并从所选择的两个照相机成像关注目标。优选地可以选择最接近各自的改善的成像位置的照相机。所述第三和第四照相机可以包括第一和/或第二照相机。

在本发明的任何实施例中，可以实施第一和第二图像的立体图像校正。

立体图像校正是重新投影（reprojecting）捕获的图像到公共图像平面上的过程，所述公共图像平面平行于光学中心间的线。立体图像校正最重要的优点是计算立体对应被减少到一维搜索问题。在两个校正后图像中的对应点（对应相同的三维目标的二维点）将取决于在两个校正后图像中的相同的线（具有相同的Y坐标）。

在本发明的任何实施例中，能够实施改善的图像的立体图像校正。

在本发明的任何实施例中，优选地实施各个照相机的照相机校准。照相机校准通常为确定照相机内在和外在参数的过程，该参数描述为从真实世界三维点到在捕获的图像中的二维点的映射。

根据本发明的第二方面，一种用于获得具有关注目标的改善的深度精度的立体图像的系统，包括：

-多个成像设备，该成像设备包括用于用于取得关注目标的第一图像的第一成像设备和用于用于取得关注目标的第二图像的第二成像设备；

-基于第一图像和第二图像，用于获取关注目标的粗略深度的粗略深度获取装置；

-基于粗略深度，用于确定对应所述关注目标的改善的深度精度的改善的成像位置集合的确定装置；

-用于控制多个成像设备的控制装置，所述多个成像设备答复从确定装置接收的改善的成像位置集合，以从对应于改善的成像位置集合的位置成像关注目标。

根据本发明的一个实施例，控制装置包括用于移动所述第一和/或第二成像设备到改善的成像位置集合的装置。根据实施例，所述系统恰好包括两个成像设备。

根据本发明的实施例，控制装置包括用于从多个成像设备中选择第三和第四照相机的装置，以及用于移动所述第三和第四照相机到改善的成像位置集合的装置。

根据本发明的实施例，所述系统在所述立体照相机设置中可包括多于两个的成像设备（例如照相机）。在改善的照相机位置集合的确定后，基于例如到最优成像位置的各个照相机的附近，和/或为照相机关于其他照相机被移动的无障碍的考虑，可以在多个照相机中选择出两个照相机的集合。在所述多个照相机中选择出两个照相机的集合的选择后，则能够带来对应于（通常能够移动到）各个改善的成像位置的所述第三和/或第四照相机的集合。

所述系统还可以进一步包括引导装置，沿着该导引装置多个成像设备中的至少一个成像设备可被引导。所述引导装置可被定位从而它对应所述第一位置和所述第二位置。所述引导装置优选为直的。在另一视图中，所述引导装置可允许至少第一和/或第二成像设备沿着直线的移动。所述引导装置可允许多个成像设备中的所有成像设备的移动。这可优选地沿着直线。

根据本发明的另一个实施例，多个成像设备中的每一个位于固定位置；并且控制装置包括用于从多个成像设备中选择出两个成像设备的选择装置，所述被选择的两个成像设备的位置最优地对应于所述改善的成像位置集合。

根据本发明的优选实施例，多个成像设备中的每一个沿着直线定位。

所述方法和系统也可用于在捕获的场景中的多个关注目标。不同的关注目标可通过应用涉及平行于不同目标的单个关注目标的公开的方法处理。该方法则可通过使用根据本发明的第二方面的包括多于两个（例如三个或四个）照相机的单个系统或多个这样的系统被应用。例如当涉及两个关注目标时，单个系统可使用包括四个照相机，其中两个照相机的第一子系统能够关联到第一关注目标，两个照相机的第二子系统能够关联到第二关注目标。

本发明的进一步方面通过从属权利要求描述。从属权利要求的特征，任何独立权利要求的特征和其他从属权利要求的任何特征可被组合，对于本领域技术人员而言认为是适当的，而不仅仅作为权利要求定义的特定的组合。

附图说明

附图用于描述本发明的实施例。

图1，图2和图3提供为两个照相机中心之间的不同距离，作为关注目标的深度的函数说明深度精度参数的演化的曲线图。

图4提供了本发明的一方面的示意图，在该示意图中两个成像位置间的距离是变化的以改善深度精度。

图5提供了本发明的一方面的示意图，在该示意图中两个成像位置间的距离是变化的以为在场景中到处移动的关注目标改善深度精度。

具体实施方式

当结合各自的附图阅读时，本发明上述和其他有利的特征和目标将变得更明显，并且从下面的详细描述中本发明将被更好地理解。

本发明多个方面的描述通过特定实施例和参考某些附图的方式实施，但是本发明并不局限于此。描述的图像仅仅是示意性的并且不应当作为限制考虑。

通常深度测量的精度不是均匀地分布在整个深度范围内。在最先进的技术中，因此非常类似的是关注目标（例如视频会议期间的人脸或在演出期间中的人体）的深度不是用最优的深度精度测量的，因为关注目标可在被捕捉的场景中到处移动。

本公开的优选实施例包括适合于为整个捕捉场景提取深度的基本的立体照相机设置。因为立体照相机设置潜在地还没有聚焦在关注目标上，相当可能的是关注目标的深度没有用最优的精度捕获。通过自动地调节立体照相机设置中的照相机间的距离，可自动地调整深度范围，在该深度范围中，关注目标的深度被用最优精度测量。初始和粗略的深度的估计被用于作为初始的指示器，关注目标存在于该指示器中，并且作为深度测量中的最优精度所需要的结果。

根据优选实施例，设置被反复调整以便导致关注目标的最优的深度精度。

根据优选实施例，在跟踪关注目标以用最优精度保持这些关注目标在深度范围中的同时，立体照相机的设置可连续地调整。

在图1-3的曲线图中说明了理论模型。在这些曲线图中为不同基线距离（A，B和C；分别对应40mm，4mm和1mm）说明了深度精度与深度之间的关系。这些图指出在立体照相机设置中在深度测量中的精度不是平均地分布于整个深度范围上，并且依赖于在立体照相机设置中的照相机间的距离。曲线图在X轴上（图1：0-50mm；图2：0-200mm；图3：0-500mm）描绘的深度范围不同。例如在图1中示出，为了更大的深度值，线B比线C显示出更好的（更低的）深度分辨率（更高的精确度）。这意味着用于测量更大的深度值，可增加立体照相机设置中照相机间的距离（在这种情况下从1mm-线C-到4mm-线B）。注意到线B在一个大约10mm的小的深度值处停止。这是部分地因为在根据线B的设置中照相机被放置得太宽，以致于邻近的目标在立体照相机设置的照相机两者中都不可见，并且因此深度测量无法进行。

改变基线的另一原因可能是由于照明的改变，或由于被遮避的邻近目标的部分的精度损失。在这种情况下可能需要在立体照相机设置中的照相机之间使用更小的距离。例如可使用根据线C的设置。

附图基于下面描述的关系。两个照相机提供一个场景的两个图像，所述两个图像至少是重叠的并且两者都包括关注目标。优选地所述图像包括关注目标的至少某些共同特征。

关注目标能够分别被辨认为第一和第二照相机的图像中的二维点m和m’。相对于某些全局参考系统，则能够计算出对应于关注目标的真实位置的三维点M的三维坐标。

假设二维点m的坐标为(x,y)，对应二维点m’的坐标为(x’,y’)。在图像的立体校正之后，y和y’能够带入到对应中，并且视差可由d＝|x-x’|给出。然后深度z可由z＝(b＊f)/d给出，其中b为照相机之间的基线，以及f为在图像校正后获得的焦距。焦距f＝分辨率/2tan(Ω/2)，其中Ω代表视野。在摄影中，视野描述了一个通过照相机成像的给定场景的环形区域（也就是公知的视角）。

图4中提供了一个进一步的例子，其示出具有初始设置（1）的立体照相机。所述附图同样示出通过立体照相机中两个照相机中的一个获得的图像之一，该图像具有是人脸的关注目标。关注目标可通过最先进的识别技术（例如人脸识别技术）被检测和指示。但是立体照相机的初始设置（1）对于关注目标的最优深度测量是不够的。立体照相机的当前设置（1）的深度测量的最优精度位于不同于我们的关注目标属于的范围的深度范围。但是，具有基线b的当前设置（1）提供关注目标深度的粗略估计，因而立体照相机设置能够被自动地调整到设置（2），该设置提供关注目标所属于的深度范围中的更好的甚至最优的深度精度。立体照相机的具有基线b’的新设置（2）中的深度范围展示它的深度测量中的最优精度，该最优精度现在更好地符合所述关注目标所属于的深度范围，因此导致在捕获的场景的区域中该最优精度在其中所需要的准确的深度测量。

如图5所示，如果一个关注目标（例如一个人）在场景中正在到处移动，在照相机之间的距离的相应调整可能是必要的。例如当人进一步远离照相机时，能够通过增加基线距离b到b’（b’>b），朝向设置（2）改变设置（1）。当人更接近照相机时，能够通过再一次减小基线距离b’到b”（b”<b’），再一次朝向设置（3）改变设置（2）。如果所述人比在设置（1）中走得更近，基线距离b”将比b更小（b”<b）。关注目标例如可以是在他的椅子上向前和向后倾斜的一个人。通过使用最先进的目标识别和跟踪技术在捕获的场景中跟踪（或预测）关注目标的位置，并且例如自动地通过调整立体照相机设置，展示深度测量中的最优精度的深度范围可与场景中关注目标的移动和位置保持一致。

根据本发明的实施例允许在场景中具有深度测量中的最优精度的关注目标的捕获，无论在哪里所述目标都属于该场景，以及独立于场景中关注目标的移动。当关注目标走得更接近时，照相机之间的距离减小。当关注目标移动的更远时，照相机之间的距离增加。

过多数量的照相机和处理能力因此不再需要。

虽然在此描述的一些实施例包括一些但不是在其他实施例中包括的其他特征，但是如本领域技术人员能够理解的，不同实施例的特征的组合意为仍然落入本发明的范围中，并且形成不同的实施例。

而与具体的实施例相关的本发明的原理在上文已体现，能够清楚地理解的是这些描述仅仅是通过举例的方式，而不是作为通过附加的权利要求确定的保护范围的限制。

Claims (15)

1.用于获得关注目标的立体图像的改善的深度精度的方法，包括：

-从第一位置成像所述关注目标的第一图像；

-从不同于所述第一位置的第二位置成像所述关注目标的第二图像；其中所述方法包括

-基于所述第一图像和所述第二图像，确定所述关注目标的深度的粗略估计；

-基于所述深度的所述粗略估计，确定对应于所述关注目标的改善的深度精度的改善的成像位置集合；

-从所述改善的成像位置集合成像改善的图像；

-基于所述改善的图像确定改善的深度。

2.根据权利要求1的方法，其中确定所述深度的所述粗略估计是基于所述第一和所述第二位置之间的距离和视差，所述视差为在所述第一图像和所述第二图像之间的所述关注目标的图像位置之间的差别。

3.根据权利要求1或2的方法，其中所述改善的成像位置集合包括所述第一位置或所述第二位置中的至少一个。

4.根据上述任一权利要求的方法，其中所述改善的成像位置集合的成像位置沿着连接所述第一位置与所述第二位置的直线。

5.根据上述任一权利要求的方法，包括通过第一和不同的第二照相机成像所述第一图像和所述第二图像。

6.根据权利要求5的方法，包括在多个照相机中选择两个照相机的集合，将所述两个照相机的集合带到对应的所述改善的成像位置集合，并且通过所述两个照相机的集合从所述改善的成像位置集合成像所述关注目标。

7.根据权利要求5的方法，包括移动所述第一和所述第二照相机中的至少一个，并且通过所述第一和所述第二照相机从所述改善的成像位置集合成像所述关注目标。

8.根据权利要求5的方法，包括基于所述多个照相机的位置和基于所述改善的成像位置集合，在固定位置从多个照相机中选择出第三和第四照相机，并且从所述选择的两个照相机成像所述关注目标。

9.根据上述任一权利要求的方法，包括用于所述第一和第二图像的立体图像校正。

10.根据上述任一权利要求的方法，包括用于从所述改善的位置集合获得的改善的图像的立体图像校正。

11.用于获得具有关注目标的改善的深度精度的立体图像的系统，包括：

-多个成像设备，所述成像设备包括用于获得所述关注目标的第一图像的第一成像设备和用于获得所述关注目标的第二图像的第二成像设备；

-基于所述第一图像和所述第二图像，用于获取所述关注目标的粗略深度的粗略深度获取装置；

-基于所述粗略深度，用于确定对应于所述关注目标的改善的深度精度的改善的成像位置集合的确定装置；

-用于控制所述多个成像设备的控制装置，所述多个成像设备答复从所述确定装置接收的改善成像位置集合，以从对应于所述改善的成像位置集合的位置成像所述关注目标。

12.根据权利要求11的系统，其中所述控制装置包括用于移动所述第一和/或所述第二成像设备到所述改善的成像位置集合的装置。

13.根据权利要求11的系统，其中所述控制装置包括用于从所述多个成像设备中选择出第三和第四照相机的装置，和用于移动所述第三和第四照相机到所述改善的成像位置集合的装置。

14.根据权利要求11至13的系统，包括沿着可被引导的所述多个成像设备中的至少一个的引导装置。

15.根据权利要求11的系统，其中所述多个成像设备中的每一个位于固定位置；所述控制装置包括：

-用于从所述多个成像装置中选择出两个成像设备的选择装置，所述被选择的两个成像设备的位置最优地对应于所述改善的成像位置集合；

Images