CN104252706B - 特定平面的检测方法和系统 - Google Patents

Abstract

本发明公开了一种在立体视觉中检测特定平面的方法和系统，该方法包括：根据视差图和灰度图中的至少一个来生成逆透变换图；根据所述视差图来生成宽度‑距离图；以及基于所述逆透变换图和所述宽度‑距离图的匹配，来检测所述特定平面。通过基于从视差图和/或灰度图生成的所述逆透变换图（IPM图）和所述宽度‑距离图（RWD图）的匹配来检测所述特定平面，可以更准确地检测到该特定平面。

Description

特定平面的检测方法和系统

技术领域

本发明涉及一种特定平面的检测方法和系统，且更具体地，涉及在立体视觉系统中检测例如路面的特定平面的检测技术。

背景技术

如今，随着图像处理技术的不断深化发展，人们已经不能满足于仅反映物体的平面视觉的二维图像了，人们已经越来越注意到还能反映物体的远近、凸凹和深浅的立体感的立体视觉、例如3D/三维技术，并研究和产生了诸多应用。

人的左右眼在观察物体时存在视差，这一发现奠定了双目立体视觉的理论基础。双目立体视觉是由不同位置的两台摄像机(所谓双目摄像机)或者一台摄像机经过移动或旋转拍摄同一场景，通过各种算法匹配出相应像点，从而计算出该像点的视差并生成视差图，然后基于三角测量原理恢复该像点的深度（距离）信息。该双目立体视觉计算像点的视差图的计算和生成已经是本领域技术中公知的，其详细算法和过程在此不赘述。

这种立体视觉的应用范围非常广泛，诸如三维电影、基于三维技术的道路检测、行人检测、自动驾驶等等应用。而在立体视觉中检测特定平面也成为研究的热点。

例如，可靠的3D道路环境理解对于车辆的安全辅助/自主驾驶十分重要，尤其是对于环境远复杂于高速公路、乡间道路的城市道路。3D驾驶环境的识别主要包括：路面检测，路边护栏检测，消失点检测以及行人、车辆检测等。在这些功能当中，路面检测是非常重要的一个部分，它的性能对其他功能有很大的影响。如果能够更准确地且高效地检测出例如道路平面，或其他特定平面，则可以通过这些参数来获得更为广泛的应用，例如检测位于道路或其他特定平面上的行人、车辆、建筑物或其他物体等等。

已知的技术也对道路平面的检测提出了一些解决方案。例如，下面列出两篇相关文献：

专利文献1：RABOISSON等人在1998年1月6日公布的美国专利申请公开No.US5706355A，题为“Method of analyzing sequences of road images,device forimplementing it and its application to detecting obstacles”，该专利文献1通过分析亮度信息以提取轮廓与区域，并建立路面模板，分析颜色信息以确定路面点，并结合亮度与颜色信息提取最终的路面。这样通过亮度与颜色特征进行路面检测，容易受到天气，光照，阴影等变化的影响，而得到检测不准确的道路平面。

专利文献2：IWASE KOJI等人在2009年10月8日公开的日本特开No.JP2009230709A，题为“Detection Apparatus for Vehicle Traveling RoadSurface”。专利文献2的路面检测方法包括：从立体相机输出图像中获取每一行的视差点，高度最低的点被提取出来进行后续处理，基于高度与距离信息进行路面检测。其利用高度特征进行路面检测，其选择每一行中的最低点作为路面点。但在一些场景中，路面点并不总是最低点，如高架桥上的路面，两侧有沟渠的道路等，而得到检测不准确的道路平面。

发明内容

根据本发明的一个方面，提供一种在立体视觉中检测特定平面的方法，包括：根据视差图和灰度图中的至少一个来生成逆透变换（Inverse Perspective Mapping,IPM）图；根据所述视差图来生成宽度-距离（Real Width Distance，RWD）图；以及基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面。

根据本发明的另一方面，提供一种在立体视觉中检测特定平面的系统，包括：逆透变换图生成装置，被配置为根据视差图和灰度图中的至少一个来生成逆透变换图；宽度-距离图生成装置，被配置为根据所述视差图来生成宽度-距离图的装置；以及特定平面检测装置，被配置为基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面。

根据本发明的各个实施例，可以采用例如道路平面的平面特征，进行IPM图与RWD图的匹配以检测该道路平面。与那些微观特征（例如，颜色，边缘，纹理等）相比，道路的平面特征是一个宏观特征，因此，本发明的各个实施例对环境变化有较强的鲁棒性。与此同时，在本公开中，IPM图与RWD图可以不分先后的同时生成，因此可以进行并行处理，因此本发明的各个实施例还具有较强的实时性。

附图说明

图1示出了根据本发明的一个实施例的用于在立体视觉中检测特定平面的方法的示意流程图。

图2示例性地示出了基于灰度图或视差图生成IPM图的示意图。

图3示例性地示出了基于视差图生成RWD图的示意图。

图4A-4E示例性地示出了所述逆透变换图和所述宽度-距离图的匹配的过程。

图5示例性地示出了根据本发明的实施例的检测特定平面的方法的效果与传统方法的效果的比较。

图6示出了根据本发明的另一个实施例的用于在立体视觉中检测特定平面的系统的示意方框图。

具体实施方式

现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示出了根据本发明的一个实施例的用于在立体视觉中检测特定平面的方法100的示意流程图。

该在立体视觉中检测特定平面的方法100包括：步骤S101，根据视差图和灰度图中的至少一个来生成逆透变换图（IPM图）；步骤S102，根据所述视差图来生成宽度-距离图（RWD图）；以及步骤S103，基于所述逆透变换图（IPM图）和所述宽度-距离图（RWD图）的匹配，来检测所述特定平面。

通过基于从视差图和/或灰度图生成的所述逆透变换图（IPM图）和所述宽度-距离图（RWD图）的匹配来检测所述特定平面，可以更准确地检测到该特定平面。

在一个实施例中，所述逆透变换IPM图可以用于描述所述视差图中的对象在世界坐标系中在与所述特定平面相关的具体平面上的图形表示。而所述宽度-距离RWD图可以用于描述所述视差图中的对象在宽度和距离上的关系。注意，这里所说的“宽度”可以与实际宽度相关，其可以是实际宽度，也可以与实际宽度成比例。在本公开中，示例性地利用实际宽度来生成RWD图。

在一个实施例中，所述逆透变换IPM图可以是通过将视差图中的对象从图像坐标系重新映射到世界坐标系、将世界坐标系的v轴和u轴变换为等分辨率的、并取世界坐标系的z坐标为与所述特定平面相关的一特定值（在此例中为0）而得到的平面图。一般来说，世界坐标系的v轴表示距离（或深度），u轴表示宽度，z轴表示高度。为了去除在摄像机成像过程中的透视变换效果，所谓逆透视变换IPM图的几何变换被用来对灰度图或视差图进行重新映射，以得到一种在水平与纵向上均匀分布的俯视图。该IPM图的生成是公知的，可以从例如袁启平等人发表在微计算机信息2010年21期的论文“基于逆透视投影变换的图像拼接方法”、以及题为“Implementation of inverse perspective mapping algorithm forthe development of an automatic lane tracking system”，作者为Muad,AnuarMikdad;Hussain,Aini;Samad,S.A.;Mustaffa,Mohd Marzuki;Majlis,BurhanuddinYeop.TENCON2004，2004IEEE Region10Conference,Page(s):207-210Vol.1.中得到。在此将这些论文合并于此，且不赘述IPM图的具体生成方式。

这里，一般通过视差图和摄像机的内部参数和外部参数来进行该IPM图的生成。通常，通过离线标定来获得摄像机的内部参数（例如，双目摄像机的基线距离、光学特性等），同时根据摄像机在车辆上的安装位置，确定摄像机的外部参数（例如，摄像机相对于路面的角度、位置等）。

注意，在普通的IPM图的生成（例如上述并入的论文所述的）中，可能需要在将视差图中的对象从图像坐标系重新映射到世界坐标系之后，将世界坐标系的v轴和u轴变换为等分辨率的，然后再取世界坐标系的z坐标为与所述特定平面相关的一特定值（在此例中为0）来得到IPM图，这是因为在直接将视差图中的对象从图像坐标系重新映射到世界坐标系时，在世界坐标系的v轴方向上，单位像素所表示的实际距离不同。在上述论文中，例如，由于v轴方向上，单位像素所表示的实际距离不同，因此通过u轴上的点来求得v轴上的单位像素与实际距离的比例值（例如，任意选取一对平行于u轴的点，依据式u-v轴的关系公式（见上述论文中的公式（7））得到它们在世界坐标系中沿距离方向的实际距离差△x，然后给它在目标图像中分配相应的像素数N，则可得比例N/△x）。如此，通过该单位像素与实际距离的比例值，可以将重新映射得到的世界坐标系变换为u、v轴相对于像素都是等比例的，从而更好地还原物体的实际尺寸。

在上述实施例中，生成的逆透变换IPM图能够使得在与所述特定平面（例如路面）相关的一平面（例如世界坐标系z坐标=0的平面）上的点不发生变形，而不在与所述特定平面（例如路面）相关的一平面上的点可能发生变形（在此，假设世界坐标系z坐标=0的平面（即，与特定平面相关的一平面）能够模拟诸如路面的特定平面）。在此，该与所述特定平面（例如路面）相关的一平面不一定就是该特定平面本身，但是希望该相关的一平面能够尽可能地接近该特定平面、例如路面，这样能够使得检测该特定平面、例如路面的效果更准确。

图2示例性示出了基于灰度图和视差图来生成逆透变换IPM图的结果。参考图2，从图2的右侧的基于视差图得到的IPM图可以看出，在例如世界坐标系z坐标=0的平面上的点（例如路面上的车道线的点）没有发生变形，而不在z坐标=0的平面上的点可能发生变形（参考路面上方的车辆以及道路旁边的护栏等等）。从图2的左侧的基于灰度图得到的IPM图更可以看出，位于例如路面上（非路面上方或下方）的车道线的形状特征得到了保持，而不位于路面上（例如，位于路面上方或下方）的其他物体的形状特征全部发生了变形。

注意，在实际应用中，可以通过灰度图或视差图来生成IPM图（参照上述合并的论文中生成IPM图的步骤），但是为了使得与下述宽度-距离图（RWD图）的匹配更加精确，可以在生成IPM图和RWD图时都使用同一视差图来进行。当然，本公开也不限于此，根据本领域技术人员对IPM图和RWD图的生成原理的理解，也可以使用其他图像特征和参数来生成类似于IPM图和RWD图的其他图，在此，将这种其他图也被包括在本公开中提到的逆透变换图（或IPM图）和宽度-距离图（或RWD图）的范围内。

在一个实施例中，所述宽度-距离图（RWD图）可以是通过将所述视差图重新映射到以宽度为一个坐标轴且以距离为另一坐标轴的二维域而得到的平面图，其中，所述宽度-距离图图中的两个坐标轴分别是等分辨率的。

在视差图中，每个点的视差值表示深度信息。基于Ｘ－Ｙ及深度信息，可以对视差图进行变换以得到真实宽度-距离（RWD）图。RWD图也是一种俯视图，该RWD图中水平与垂直（X－宽度，Y－距离）坐标都分别具有相等的分辨率。例如，在RWD图中，一辆2米宽的车，在距离为10米处具有20个像素宽度，那么另一辆2米宽的车，在距离为50米处，依然具有20个像素宽。

在一个实施例中，所述逆透变换图和/或宽度-距离图可以通过视差图、拍摄得到所述视差图的摄像机的内部参数和外部参数来得到。

也就是说，通过视差图和摄像机的内外参数，可以得到例如物体的实际宽度和物体与摄像机的距离，从而将该实际宽度和距离作为二维域上相互垂直的两个坐标轴，可以将这些物体重新映射到该宽度-距离图（RWD图）中。在此，由于物体的实际宽度和摄像机的距离对于每个像素来说是等分辨率的，因此重新映射得到的该宽度-距离图（RWD图）不需要像在生成IPM图时一样进行等分辨率的转换。

图3示例性地示出了基于视差图生成RWD图的示意图。从图3中可以看出，基于视差图生成的RWD图可以示出位于路面上的车道线、车辆、路面两边的护栏、等等各个物体的形状特征（其中，这些形状特征没有发生过多的变形）。

从上述IPM图和RWD图的生成过程可以看出，对于原始视差图中的任意点，它将根据逆透视变换映射到IPM图中，同时它又将根据其深度与宽度信息映射到RWD图中。在IPM图中，X－水平维与Y－垂直维（宽度维与距离维）在方向上都分别是等分辨率的。与此同时，在RWD图中，在这两个方向也分别是等分辨率的。两个图的水平与垂直坐标的单位都可以是实际的物理单位：米（或其他单位）。因此，对于路面平面上的任意点，其在IPM图与RWD图中都有着近似相同的坐标（X－宽度，Y－距离，单位：米（或其他单位））。与此同时，对于任意非路面平面上的点，其在IPM图与RWD图中具有不同的坐标。因此，根据本实施例的方法可以通过在如下步骤中进行上述IPM图和RWD图的匹配来确定路面上的点与非路面上的点，来较为准确地检测到该诸如道路面的特定平面。

例如，车辆的底部与路面相接触的部分，这些点也处于路面平面中，他们在IPM图与RWD图中具有近似相同的坐标；与此同时，车辆上的其他点，即位于路面平面上方的那些点，在IPM图与RWD图中具有不同的坐标值。因为车辆后部的那些点，无论在上部还是下部，距相机的距离都是相同的，所以在RWD图中，他们具有相同的垂直坐标（Y坐标，深度，距离方向）。而在IPM图中，车辆上部的点，即位于路面平面上方的那些点，在生成IPM图时将发生畸变。故可以通过匹配IPM图与RWD图来确定路面点与非路面点。

因此，在生成了逆透变换IPM图和所述宽度-距离RWD图之后，可以通过观察该IPM图和RWD图的图像特征来检测特定平面。

以下例举（而非限制）通过一种通过该IPM图和RWD图来检测特定平面的示例方式：

具体地，在一个实施例中，图1所示的所述基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面的步骤S103可以包括：S1031（图中未示出），对于所述灰度图和视差图中的至少一个上的像素点，查找在该像素点被重新映射到的逆透变换图和所述宽度-距离图两者的两个坐标；S1032（图中未示出）比较所述两个坐标的距离，如果该距离小于预定阈值，则确定该像素点在所述逆透变换图和宽度-距离图上是匹配的，作为所述特定平面上的点；以及S1033（图中未示出），根据所述特定平面上的各个点来获得所述特定平面。

具体地，由于摄像机的外部参数（即摄像机相对于路面的参数）是离线标定的，而在车辆行驶过程中，路面会有起伏，倾斜等变化，即先前标定的摄像机的外部参数可能发生了改变。但进行IPM变换时一般采用的是先前的摄像机的外部参数，在IPM图与RWD图的匹配时，生成的IPM图上的路面点的坐标可能与RWD图中的同一个路面点所映射的坐标不完全一致，因此，可能需要在一定的精确度上进行路面点的匹配，即不一定要求同一路面点或其他像素点在IPM和RWD图中具有完全相同的坐标、或者完全相同的图像特征（例如，灰度、色度等），而可以允许一定程度的容许范围来进行路面点的匹配。要匹配两个图上的各个像素点的匹配方式存在很多公知的方式，例如运动图像中的图像匹配算法、其他各种图像匹配算法等等。下面例举两个匹配方式作为示例而非限制：

一种匹配方法是基于局部信息的方法，另一种匹配方法是基于全局信息的方法。

基于局部信息的匹配方法可以以所要匹配的像素点为中心，选取矩形或梯形区域（或其他形状的区域）为扫描窗口，即，不仅考虑中心点，还考虑其矩形或梯形邻域内的其他点的分布。在匹配时，可以以RWD图中的一个像素点为基准（也可以IPM图为基准），在IPM图（相应的为RWD图）中该像素点的对应位置附近进行扫描窗口的匹配。若在IPM图中的这个扫描窗口中找到一个像素点，其例如灰度值与RWD图中的要匹配的像素点的灰度值的差值小于一定阈值，则可以认为两个像素点是匹配的，且可以判定其都为路面上的路面点。若未匹配上，则判定其为非路面点。

基于全局信息的匹配方法分别在IPM图与RWD图中检测车道线或道路边缘等路面标志物，然后在IPM图与RWD图中匹配所检测到的车道线等标志物（例如通过图像匹配等公知方式）。若匹配上，则判定这些标志物为路面上的目标。若未匹配上，则判定其为非路面目标。与基于局部信息的方法相比，基于全局信息的匹配方法的鲁棒性更强。

因此，在另一个实施例中，图1所示的所述基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面的步骤S103可以包括：以逆透变换图和所述宽度-距离图中的一个图中的第一像素为基准，在所述逆透变换图和所述宽度-距离图中的另一个图中、在与所述第一像素相距的一预定区域范围内查找与所述第一像素的特征的差异小于预定阈值的第二像素，作为与所述第一像素匹配的像素点且作为所述特定平面上的点；以及根据所述特定平面上的各个点来获得所述特定平面。

参考图4A-4E来举例说明所述逆透变换图和所述宽度-距离图的匹配的具体过程。

在图4A中，获得通过图4A上部的示例视差图生成的示例的IPM图和RWD图（为了直观和便于理解，用线条来代表性地示出这些图）。从图4A的IPM图中可以看出，在诸如道路面的特定平面上的物体（例如路面上的车道线，和车辆与路面接触的底部）的形状特征（例如，边缘、大小等）被保持、而不在诸如道路面的特定平面上的其他物体（例如，车辆的除了与路面接触的底部以外的部分）的形状特征变形。而在图4A的RWD图中，基本上示出了各个物体（包括路面上的车道线和车辆）的实际形状特征（因为RWD图是用实际宽度和距离来产生的，因此RWD图与实际形状特征相符）。

注意，由于IPM图和RWD图一般都是由双目摄像机拍摄得到的左右视图而生成的视差图来生成的，因此一般无法还原物体的原本形状（因为，只从摄像机的角度看到了物体的正面）。因此，图4A中的IPM图和RWD图中的车辆均不是车辆的实际原本形状，而在IPM图中，由于将车辆的除了与地面接触的部分以外的其他部分看做是比所述与地面接触的部分更远的部分，因此在生成IPM图时，认为该其他部分中的单位像素所表示的距离越远，因此车辆的该其他部分显得更大。而在RWD图中，由于只利用了视差图中看到的物体的宽度和距离的信息，因此在RWD图中也没有显示从摄像机的角度看去看不到车辆的后面的部分。

然后，在图4B中，可以以逆透变换图和所述宽度-距离图中的一个图中的第一像素为基准，在所述逆透变换图和所述宽度-距离图中的另一个图中、在与所述第一像素相距的一预定区域范围内查找与所述第一像素的特征的差异小于预定阈值的第二像素，作为与所述第一像素匹配的像素点。例如，如图4B所示，对于视差图中的车辆底部的那个像素点，以在IPM图中的车辆底部的相应像素点为基准，在例如RWD图中查找与所述视差图中的那个像素点对应的相应像素点。例如，如果图4B中RWD图中所示的相应点与IPM图中的相应点的坐标的距离小于预定阈值（该距离位于例如15×15像素范围（或其他形状、其他大小的范围）内），则可以将该RWD图中的相应点作为IPM图中的相应点的匹配的像素点，从而确认该RWD图中的该点以及IPM图中的该点是位于特定平面上的点。

在图4C中，类似地，对于视差图中的车道线上的那个像素点，以在IPM图中的车道线上的相应像素点为基准，在RWD图中查找与所述视差图中的那个像素点对应的相应像素点。例如，如果图4B的RWD图中所示的车道线上的相应点与IPM图中的相应点的坐标的距离小于预定阈值（该距离位于例如15×15像素范围（或其他形状、其他大小的范围）内），则可以将该RWD图中的该点作为IPM图中的该点的匹配的像素点，从而确认该RWD图中的该点以及IPM图中的该点是位于特定平面上的点。

例如，如图4C所示，对于视差图中的车辆身体上的那个像素点，以IPM图的车辆身体上的相应点为基准，在RWD图中查找与所述视差图中的那个像素点对应的相应像素点。但是，如果图4C的RWD图中所示的车辆身体上的相应点与IPM图中的相应点的坐标的距离大于预定阈值（该距离位于例如15×15像素范围（或其他形状、其他大小的范围）以外），则可以认为该视差图中的该像素点在RWD图和IPM图中不匹配，从而确认该RWD图中的该点以及IPM图中的该点不是位于特定平面上的点。见图4C的上部，车辆的身体（不是与路面接触的部分）上的那个点映射到IPM图中和映射到RWD图中，得到不同坐标位置处的两个相应像素点。因此，这种在IPM图和RWD图中不匹配的像素点可以被认为不位于特定平面上。

因此，通过上述示例过程，可以反复地将IPM图和RWD图中的所有像素点都进行匹配的过程，最终找到在两个图中匹配的各个像素点作为特定平面上的各个点。然后，根据该找到的特定平面上的各个点来获得该特定平面。根据该找到的特定平面上的各个点来获得该特定平面的方式可以存在很多公知的方式，例如通过平面拟合或者对各个点平均化等等方式，在此不做限制也不赘述。

图4E的下部示出了在实验中经过根据本实施例的上述匹配过程之后所得到的匹配的各个像素点所组成的路面上的车道线，图4E的上部示出了基于根据本实施例的上述匹配过程后对匹配的像素点进行平面拟合得到的路面，而进行车辆检测的结果。可以从图4E中看出，通过本实施例的检测特定平面的方式，可以更准确地检测到该诸如路面的特定平面，并能够基于该更准确地路面来更准确地检测路面上的车辆或行人等（下面还将结合图5来进一步示出相比于传统方法的检测特定平面的准确性）。

在一个实施例中，该检测特定平面的方法100还可以包括：S104（图中未示出），根据所述逆透变换图和所述宽度-距离图的匹配结果，来校正拍摄得到所述视差图的摄像机的外部参数。

在一个实施例中，所述通过根据所述逆透变换图和所述宽度-距离图的匹配结果，来校正拍摄所述立体视觉图的摄像机的外部参数的步骤S104可以包括：根据所述逆透变换图和所述宽度-距离图的匹配结果，得到匹配的像素点在所述逆透变换图和所述宽度-距离图上的坐标偏差；根据所述坐标偏差，校正拍摄得到所述视差图的摄像机的外部参数。

具体地，如上所述，由于摄像机的外部参数（即摄像机相对于路面的参数）是离线标定的，而在车辆行驶过程中，路面会有起伏，倾斜等变化，即先前标定的摄像机的外部参数可能发生了改变。因此，在通过匹配算法找到IPM图与RWD图中对应的路面点后，可以以RWD图为基准，用匹配上的路面点的坐标的偏差来校正摄像机的外部参数，例如，知道了坐标的偏差，则调整摄像机的相对于路面的角度、位置等外部参数以补偿该坐标的偏差，从而，在下一帧进行IPM变换时，采用此校正过的外部参数来进行该IPM变换。如此，可以得到更准确的IPM图，从而更准确地进行特定平面的检测。且根据本实施例的检测特定平面的方法可以实时地自我更新、提高特定平面检测的准确度。

图5示例性地示出了根据本发明的实施例的检测特定平面的方法的效果与传统方法的效果的比较。

图5的最上部示出了进行该比较所采用的示例灰度图和/或视差图。然后，在除了图5的最上部以外的6个小图中，左侧的3个图是基于颜色及边缘的传统路面检测方法的检测结果，右侧的3个图是根据本发明的实施例提出的检测特定平面的方法的检测结果。可以看到，传统方法将路肩石错误地检测为路面，而根据本发明的实施例的方法精确地检测到了路面上的路面点。还可以看到，由于传统方法将路肩石错误地检测为路面，因此其车道线检测也受到了影响，左侧车道线发生了错误检测。而根据本发明的实施例的方法精确地检测到了路面上的车道线。该实验结果证明了根据本发明的实施例的方法的准确性和有效性。

图6示出了根据本发明的另一个实施例的用于在立体视觉中检测特定平面的系统600的示意方框图。

该在立体视觉中检测特定平面的系统600包括：逆透变换图生成装置601，被配置为逆透变换图生成装置，被配置为根据视差图和灰度图中的至少一个来生成逆透变换图；宽度-距离图生成装置602，被配置为根据所述视差图来生成宽度-距离图；以及特定平面检测装置603，被配置为基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面。

通过基于从视差图和/或灰度图生成的所述逆透变换图（IPM图）和所述宽度-距离图（RWD图）的匹配来检测所述特定平面，可以更准确地检测到该特定平面。

在一个实施例中，所述逆透变换图可以用于描述所述视差图中的对象在世界坐标系中在与所述特定平面相关的具体平面上的图形表示，而所述宽度-距离图用于描述所述视差图中的对象在宽度和距离上的关系。

在一个实施例中，所述逆透变换图可以是通过将视差图中的对象从图像坐标系重新映射到世界坐标系、将世界坐标系的v轴和u轴变换为等分辨率的、并取世界坐标系的z坐标为与所述特定平面相关的一特定值而得到的平面图。

在一个实施例中，所述宽度-距离图可以是通过将所述视差图重新映射到以宽度为一个坐标轴且以距离为另一坐标轴的二维域而得到的平面图，其中，所述宽度-距离图图中的两个坐标轴分别是等分辨率的。

在一个实施例中，所述逆透变换图和/或宽度-距离图通过视差图、拍摄得到所述视差图的摄像机的内部参数和外部参数来得到。

在一个实施例中，该特定平面检测装置603可以包括：装置6031（图中未示出），被配置为对于所述灰度图和视差图中的至少一个上的像素点，查找在该像素点被重新映射到的逆透变换图和所述宽度-距离图两者的两个坐标；装置6032（图中未示出），被配置为比较所述两个坐标的距离，如果该距离小于预定阈值，则确定该像素点在所述逆透变换图和宽度-距离图上是匹配的，作为所述特定平面上的点；以及装置6033（图中未示出），被配置为根据所述特定平面上的各个点来获得所述特定平面。

在一个实施例中，该特定平面检测装置603可以包括：装置6034（图中未示出），被配置为以逆透变换图和所述宽度-距离图中的一个图中的第一像素为基准，在所述逆透变换图和所述宽度-距离图中的另一个图中、在与所述第一像素相距的一预定区域范围内查找与所述第一像素的特征的差异小于预定阈值的第二像素，作为与所述第一像素匹配的像素点且作为所述特定平面上的点；以及装置6035（图中未示出），被配置为根据所述特定平面上的各个点来获得所述特定平面。

在一个实施例中，该系统600还可以包括：装置604（图中未示出），被配置为根据所述逆透变换图和所述宽度-距离图的匹配结果，来校正拍摄得到所述视差图的摄像机的外部参数。

在一个实施例中，该装置604包括：装置6041（图中未示出），被配置为根据所述逆透变换图和所述宽度-距离图的匹配结果，得到匹配的像素点在所述逆透变换图和所述宽度-距离图上的坐标偏差；以及装置6042（图中未示出），被配置为根据所述坐标偏差，校正拍摄得到所述视差图的摄像机的外部参数。

从而，在下一帧进行IPM变换时，采用此校正过的外部参数来进行该IPM变换。如此，可以得到更准确的IPM图，从而更准确地进行特定平面的检测。且根据本实施例的检测特定平面的方法可以实时地自我更新、提高特定平面检测的准确度。

本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

本公开中的步骤流程图以及以上方法描述仅作为例示性的例子并且不意图要求或暗示必须按照给出的顺序进行各个实施例的步骤。如本领域技术人员将认识到的，可以按任意顺序进行以上实施例中的步骤的顺序。诸如“其后”、“然后”、“接下来”等等的词语不意图限制步骤的顺序；这些词语仅用于引导读者通读这些方法的描述。此外，例如使用冠词“一个”、“一”或者“该”对于单数的要素的任何引用不被解释为将该要素限制为单数。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本发明。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明的范围。因此，本发明不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

以上所述的方法的各个操作可以通过能够进行相应的功能的任何适当的手段而进行。该手段可以包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路（ASIC）或处理器。

可以利用被设计用于进行在此所述的功能的通用处理器、数字信号处理器（DSP）、ASIC、场可编程门阵列信号（FPGA）或其他可编程逻辑器件（PLD）、离散门或晶体管逻辑、离散的硬件组件或者其任意组合而实现或进行所述的各个例示的逻辑块、模块和电路。通用处理器可以是微处理器，但是作为替换，该处理器可以是任何商业上可获得的处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合，多个微处理器、与DSP核协作的一个或多个微处理器或任何其他这样的配置。

结合本公开描述的方法或算法的步骤可以直接嵌入在硬件中、处理器执行的软件模块中或者这两种的组合中。软件模块可以存在于任何形式的有形存储介质中。可以使用的存储介质的一些例子包括随机存取存储器（RAM）、只读存储器（ROM）、快闪存储器、EPROM存储器、EEPROM存储器、寄存器、硬碟、可移动碟、CD-ROM等。存储介质可以耦接到处理器以便该处理器可以从该存储介质读取信息以及向该存储介质写信息。在替换方式中，存储介质可以与处理器是整体的。软件模块可以是单个指令或者许多指令，并且可以分布在几个不同的代码段上、不同的程序之间以及跨过多个存储介质。

在此公开的方法包括用于实现所述的方法的一个或多个动作。方法和/或动作可以彼此互换而不脱离权利要求的范围。换句话说，除非指定了动作的具体顺序，否则可以修改具体动作的顺序和/或使用而不脱离权利要求的范围。

所述的功能可以按硬件、软件、固件或其任意组合而实现。如果以软件实现，功能可以作为一个或多个指令存储在切实的计算机可读介质上。存储介质可以是可以由计算机访问的任何可用的切实介质。通过例子而不是限制，这样的计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光碟存储、磁碟存储或其他磁存储器件或者可以用于携带或存储指令或数据结构形式的期望的程序代码并且可以由计算机访问的任何其他切实介质。如在此使用的，碟（disk）和盘（disc）包括紧凑盘（CD）、激光盘、光盘、数字通用盘（DVD）、软碟和蓝光盘，其中碟通常磁地再现数据，而盘利用激光光学地再现数据。

因此，计算机程序产品可以进行在此给出的操作。例如，这样的计算机程序产品可以是具有有形存储（和/或编码）在其上的指令的计算机可读的有形介质，该指令可由一个或多个处理器执行以进行在此所述的操作。计算机程序产品可以包括包装的材料。

软件或指令也可以通过传输介质而传输。例如，可以使用诸如同轴电缆、光纤光缆、双绞线、数字订户线（DSL）或诸如红外、无线电或微波的无线技术的传输介质从网站、服务器或者其他远程源传输软件。

此外，用于进行在此所述的方法和技术的模块和/或其他适当的手段可以在适当时由用户终端和/或基站下载和/或其他方式获得。例如，这样的设备可以耦接到服务器以促进用于进行在此所述的方法的手段的传送。或者，在此所述的各种方法可以经由存储部件（例如RAM、ROM、诸如CD或软碟等的物理存储介质）提供，以便用户终端和/或基站可以在耦接到该设备或者向该设备提供存储部件时获得各种方法。此外，可以利用用于将在此所述的方法和技术提供给设备的任何其他适当的技术。

其他例子和实现方式在本公开和所附权利要求的范围和精神内。例如，由于软件的本质，以上所述的功能可以使用由处理器、硬件、固件、硬连线或这些的任意的组合执行的软件实现。实现功能的特征也可以物理地位于各个位置，包括被分发以便功能的部分在不同的物理位置处实现。而且，如在此使用的，包括在权利要求中使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“A、B或C的至少一个”的列举意味着A或B或C，或AB或AC或BC，或ABC（即A和B和C）。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。

可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的和权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。

Claims (9)

1.一种在立体视觉中检测特定平面的方法，包括：

根据视差图和灰度图中的至少一个来生成逆透变换图；

根据所述视差图来生成宽度-距离图；以及

基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面，

其中，所述逆透变换图用于描述所述视差图中的对象在世界坐标系中在与所述特定平面相关的具体平面上的图形表示，而所述宽度-距离图用于描述所述视差图中的对象在宽度和距离上的关系。

2.根据权利要求1所述的方法，其中，所述逆透变换图是通过将视差图中的对象从图像坐标系重新映射到世界坐标系、将世界坐标系的深度轴和宽度轴变换为等分辨率的、并取世界坐标系的高度轴坐标为与所述特定平面相关的一特定值而得到的平面图。

3.根据权利要求1所述的方法，其中，所述宽度-距离图是通过将所述视差图重新映射到以宽度为一个坐标轴且以距离为另一坐标轴的二维域而得到的平面图，其中，所述宽度-距离图图中的两个坐标轴分别是等分辨率的。

4.根据权利要求1所述的方法，其中，所述逆透变换图和/或宽度-距离图通过视差图、拍摄得到所述视差图的摄像机的内部参数和外部参数来得到。

5.根据权利要求1所述的方法，其中，所述基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面的步骤包括：

对于所述灰度图和视差图中的至少一个上的像素点，查找在该像素点被重新映射到的逆透变换图和所述宽度-距离图两者的两个坐标；

比较所述两个坐标的距离，如果该距离小于预定阈值，则确定该像素点在所述逆透变换图和宽度-距离图上是匹配的，作为所述特定平面上的点；以及

根据所述特定平面上的各个点来获得所述特定平面。

6.根据权利要求1所述的方法，其中，所述基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面的步骤包括：

以逆透变换图和所述宽度-距离图中的一个图中的第一像素为基准，在所述逆透变换图和所述宽度-距离图中的另一个图中、在与所述第一像素相距的一预定区域范围内查找与所述第一像素的特征的差异小于预定阈值的第二像素，作为与所述第一像素匹配的像素点且作为所述特定平面上的点；以及

根据所述特定平面上的各个点来获得所述特定平面。

7.根据权利要求1所述的方法，还包括：

根据所述逆透变换图和所述宽度-距离图的匹配结果，来校正拍摄得到所述视差图的摄像机的外部参数。

8.根据权利要求7所述的方法，其中，所述根据所述逆透变换图和所述宽度-距离图的匹配结果，来校正拍摄所述视差图的摄像机的外部参数的步骤包括：

根据所述逆透变换图和所述宽度-距离图的匹配结果，得到匹配的像素点在所述逆透变换图和所述宽度-距离图上的坐标偏差；以及

根据所述坐标偏差，校正拍摄得到所述视差图的摄像机的外部参数。

9.一种在立体视觉中检测特定平面的系统，包括：

逆透变换图生成装置，被配置为逆透变换图生成装置，被配置为根据视差图和灰度图中的至少一个来生成逆透变换图；

宽度-距离图生成装置，被配置为根据所述视差图来生成宽度-距离图；以及

特定平面检测装置，被配置为基于所述逆透变换图和所述宽度-距离图的匹配，来检测所述特定平面，

其中，所述逆透变换图用于描述所述视差图中的对象在世界坐标系中在与所述特定平面相关的具体平面上的图形表示，而所述宽度-距离图用于描述所述视差图中的对象在宽度和距离上的关系。