CN112400094B

CN112400094B - 物体探测装置

Info

Publication number: CN112400094B
Application number: CN201980046422.3A
Authority: CN
Inventors: 大里琢马; 的野春树; 大塚裕史
Original assignee: Hitachi Astemo Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2018-07-19
Filing date: 2019-07-04
Publication date: 2022-10-28
Anticipated expiration: 2039-07-04
Also published as: EP3825648A4; WO2020017336A1; EP3825648A1; JP2020012742A; CN112400094A; JP7064400B2

Abstract

本发明即便在图像垂直方向上产生了偏差的情况下也确保视差的算出精度而且抑制性能劣化和处理成本的增加。本发明的物体探测装置具备：摄像部(310)，其获得多个图像；视差图像生成部，其利用从摄像部(310)获取到的图像来生成视差图像；可靠度算出部(342)，其使用匹配窗口内的边缘取向来算出视差图像的各视差的可靠度；可靠度算出实施判定部(341)，其进行是否实施可靠度算出的判定；以及物体探测部(343)，在可靠度算出实施判定部(341)判定要算出可靠度的情况下，所述物体探测部(343)使用视差图像和可靠度来探测物体。

Description

物体探测装置

技术领域

本发明涉及一种物体探测装置。

背景技术

作为本技术领域的背景技术，有WO13/062087号公报(专利文献1)。

该公报的摘要栏中记载有如下内容：“抑制输入至一个视点图像的测定点与对另一个视点图像设定的对应点之间的偏差，提高三维测定的精度。对左视点图像(6L)输入成为三维测定的基准的测定点(7)。在从测定点(7)朝右视点图像6(R)水平延伸的延长线上设定对应点(8a)。在通过校准进行了位置调整时，左右视点图像(6L、6R)产生垂直偏差D，通过各视点图像(6L、6R)的测定点(7)、对应点(8a)的直线(24、27)以小角度θ与水平线交叉，在该情况下，对应点(8a)会误设定在大幅偏离真正的对应点(8)的位置。为了避免这一情况，判定角度θ在阈值S以下的左右视点图像(6L、6R)不适于三维测定并作出警告”。

现有技术文献

专利文献

专利文献1：WO13/062087号公报

发明内容

发明要解决的问题

在所述专利文献1中，记载有在测定点附近实施直线检测、根据直线的斜率来产生警告的方法。然而，由于在不需要高精度的视差的情况下也会执行处理，因此存在有将物体视为未探测到之虞、处理成本增加等问题。

本发明的目的在于提供一种即便在图像垂直方向上产生了偏差的情况下也能确保视差的算出精度而且抑制性能劣化和处理成本的增加的物体探测装置。

解决问题的技术手段

为了达成上述目的，本发明的物体探测装置具备：摄像部，其获得多个图像；视差图像生成部，其利用从所述摄像部获取到的图像来生成视差图像；可靠度算出部，其使用匹配窗口内的边缘取向来算出所述视差图像的各视差的可靠度；可靠度算出实施判定部，其进行是否实施所述可靠度算出的判定；以及物体探测部，在所述可靠度算出实施判定部判定要算出可靠度的情况下，所述物体探测部使用视差图像和可靠度来探测物体。

发明的效果

根据本发明，可以提供一种即便在图像垂直方向上产生了偏差的情况下也能确保视差的算出精度而且抑制性能劣化和处理成本的增加的物体探测装置。上述以外的课题、构成及效果将通过以下实施方式的说明来加以明确。

附图说明

图1为立体摄像机产生了垂直方向偏差的情况下的视差误差相关的说明图。

图2为表示车载立体摄像机的构成的说明图。

图3为表示物体探测装置的构成的说明图。

图4为伴随视差的消除而来的逆向影响的说明图。

图5为实施例1中的可靠度算出实施判定部的流程图。

图6为测距极限距离相关的说明图。

图7为物体探测极限距离相关的说明图。

图8为可靠度算出部的流程图。

图9为可靠度与边缘角度的关系的说明图。

图10为物体探测部的流程图。

图11为实施例2中的物体探测部的流程图。

具体实施方式

实施例1

作为推断对象的三维位置的手段，立体摄像机系统为人所熟知。立体摄像机系统是在多个位置配置摄像机而从不同的多个视点拍摄同一对象物，根据得到的图像中的表观的偏差也就是视差来算出到对象物体的距离。在使用2台摄像机的一般的立体摄像机系统中，该转换由以下式1表示。

[式1]

此处，Z[mm]表示到对象物体的距离，f[mm]表示焦距，w[mm/px]表示像素间距，B[mm]表示摄像机间的距离(基线长)，D[px]表示视差。

在算出视差时，水平排列从多个位置拍摄到的图像，对应于左图像内的特定的点而在右图像内探索拍摄到同一个点的位置。为了高效地实施该探索，通常会事先实施平行化处理。

所谓平行化，意指图像的纵向的位置对准。即，以左右图像上在同一高度拍摄到同一个点的方式对图像进行校正的处理。在平行化之后的图像中探索对应点时，仅探索某横向一列即可，处理效率高。然而，组装时的误差、经年劣化会导致用于进行平行化的参数发生变化，即便是实施了平行化处理的左右图像，也存在垂直方向上有偏差的情况。此时，尤其是在拍摄到倾斜方向的直线这样的区域内，由于在不同高度拍摄到了相似的纹理，因此会检测到错误的对应点而导致三维位置产生误差。

图1为垂直方向上产生了dj[px]的偏差时的视差误差dD[px]的说明图。左图像100LA和右图像100RA表示未产生高度偏差的情况。对应于左图像100LA中的探索对象121而从右图像100RA中探索拍摄到同一物体的位置并进行匹配，获得与匹配到的匹配对象122的图像位置的偏差量作为视差。

另一方面，左图像100LB和右图像100RB表示产生了高度偏差的情况。针对同样的探索对象121而获得与匹配对象123的图像位置的偏差量作为视差。此时，以视差误差dD[px]的形式产生122与123的位置的偏差。若将直线相对于水平的斜率设为θ[rad]，则视差误差dD由以下式2表示。

[式2]

即，在产生了某一垂直偏差dj时，视差误差dD成为直线的斜率θ的函数，得知，θ越接近0也就是越接近水平，dD便越大。因此，通过消除在接近水平的角度θ方向上具有边缘的视差，可以消除掉有可能包含较大误差的视差。

此外，此处，根据式1，产生了视差误差dD时的距离误差dZ[mm]由以下式3表示。

[式3]

f、B、w是根据摄像机而固定的，因此得知，视差D越小，伴随视差误差dD而来的距离误差dZ便越大。另一方面，在相对于dD而言D足够大的情况下，dZ减小，因此可以忽略对物体的探测或测距的影响。

下面，使用附图，对实施例进行说明。

首先，使用图2，对使用搭载有物体探测装置的立体摄像机的车辆控制系统的概要进行说明。车辆200上搭载有立体摄像机201。立体摄像机201中搭载有物体探测装置，例如测量到前方的物体210的距离、相对速度并发送至车辆控制部202。车辆控制部根据收到的距离、相对速度对制动、加速、转向进行控制。

接着，使用图3，对本发明的物体探测装置的概要进行说明。

图3表示本发明的第1实施方式中的物体探测装置的构成。物体探测装置具备立体摄像机310、存储器320、CPU 330、图像处理部340、外部输出部350等。立体摄像机310具备立体摄像机的左摄像部311和右摄像部312，对搭载有立体摄像机310的车辆的前方进行拍摄。通过图像处理部340对拍摄到的图像进行处理，根据由图像处理部340的视差图像生成部(未图示)生成的视差信息来进行物体的探测。在可靠度算出实施判定部341中判断是否需要根据可靠度消除视差，在判断需要的情况下，在可靠度算出部342中算出视差的可靠度，在物体探测部343中根据视差和可靠度来进行立体物的探测。探测结果从外部通信部350发送至处理装置的外部，若是车载立体摄像机，则用于加速、制动、转向等车辆控制的判断。

下面，对可靠度算出实施判定部341的详情进行说明。

本实施例中作为课题的视差偏差的影响特别大的状况之一是从立体摄像机310监视远方的情况。因此，在需要监视远方的情景下，通过使用边缘角度的可靠度的算出以及使用可靠度的视差的消除来提高距离精度、抑制物体的误探测。在不需要监视远方的情景下，不实施可靠度的算出以及使用可靠度的视差的消除，由此来抑制未探测到物体等逆向影响并削减处理成本。

图4展示发生未探测到物体这样的情形。在摄像机图像400拍摄到的是正对的护栏410的情况下，在区域420内拍摄到仅由大致水平方向的直线构成的物体。尤其是在没有限制地消除了具有接近水平的边缘的视差的情况下，区域420内大部分的视差都被消除掉，从而有无法探测到护栏之虞。再者，虽然此处展示的是护栏来作为一例，但只要是从背面观察到的车辆等大量包含接近水平的边缘的物体，便同样有可能因视差的消除而造成未探测到。

接着，图5展示可靠度算出实施判定部341的处理流程的一例。在S501到S506中判定是否需要监视远方，在S507、S508中根据判定结果来建立标记。

(S501)算出后面的处理S502中使用的距离阈值TH1。算出方法于后文叙述。

(S502)对于处理时刻t，参考时刻t－1以前的物体探测结果，在相较于阈值TH1而言在附近探测到物体的情况下，判定不实施可靠度算出。其原因在于，例如在自身车辆正面的附近探测到物体的情况下，远方的物体的探测结果不会影响自身车辆的控制。

(S503)算出后面的处理S504中使用的移动速度阈值TH2。算出方法于后文叙述。

(S504)在立体摄像机的移动速度低于阈值TH2的情况下，判定不实施可靠度算出。在车等移动体上搭载立体摄像机而根据探测结果来进行控制时，越是以高速移动，越需要探测远方的物体而反映到控制中。在正以低速移动的情况下，远方的探测结果对控制产生影响的可能性较低，从而不需要远方的监视。

(S505)算出后面的处理S506中使用的曲率阈值TH3。算出方法于后文叙述。

(S506)在设想行进道路的曲率高于阈值TH3的情况下，判定不实施可靠度算出。在自身车辆朝左右方向进行弯道行驶的情况下，即便在正面远方探测到物体，也不会在探测到的位置上行驶，因此对控制产生影响的可能性较低，所以不需要远方的监视。关于曲率的算出方法，例如若是车辆，则可使用舵角、横摆率而根据物理模型来算出，也可使用白线、路端探测功能来算出，或者，也可根据GPS和地图信息来算出行驶预定道路的曲率。在算出曲率时，至少不限于这些任一算出方法，只要是采用了可与这些算出方法同样地算出的公知方法的构成即可。此外，也可使用多个阈值或者使用通过加权平均等算出的阈值来实施判定。

在各种判定处理的结果是某一判定处理中判断不应实施可靠度算出的情况下，在S508中将可靠度算出实施标记设为OFF，不实施可靠度算出处理。

对各种判定处理的阈值的算出方法进行说明。在视差产生了误差的情况下，有可能对物体探测产生两种不良影响。

第一种是测距的错误。如式3所示，越是远方，伴随视差的误差而来的测距误差便越大。图6展示说明可用于测距的视差的极限距离的算出方法的图。对于搭载有立体摄像机的车辆601而言，在配置有虚线所示的物体602时，某一视差误差会导致以实际上在黑圆点所示的位置603上存在物体的方式将测距弄错。在图6下部的图表中以符号605表示此时的距离与测距误差的关系。将该测距误差超过容许值的位置设为测距极限距离DIST_MAX_a[m]。关于容许值，例如当相对于实际距离而设定为5％以内时，像符号604那样表示，符号604与符号605的交点就是测距极限。

第二种是高度或左右方向的位置的错误。视差的误差会导致摄像机的光学中心方向的位置误差的产生，因此，例如对应于相对于实际的摄像机的高度Y，高度方向的误差dY由以下式4表示。

[式4]

在该误差较大的情况下，对于从地面得到的视差，有可能误探测为有障碍物。图7展示说明高度方向的误差所引起的物体探测的极限距离的算出方法的图。对于立体摄像机701而言，相对于虚线所示的道路面上的观测点702，某一视差误差会导致以实际上在黑圆点所示的位置703存在物体的方式将位置的测定弄错。在图7下部的图表中以符号704表示此时的距离与高度方向误差的关系。将该高度误差超过容许值的位置设为物体探测极限距离DIST_MAX_b[m]。关于容许值，例如若是后面的物体探测功能仅将具有距路面50[cm]以上的高度的视差的组探测为物体的规格，则以容许值50[cm]的形式像符号705那样表示，符号704与符号705的交点就是物体探测极限。测距极限距离与物体探测极限距离可根据功能而分别加以使用，但此处为简单起见，对2个值进行比较，将更附近侧的极限值作为DIST_MAX[m]而设定为可以将视差用于物体探测的极限距离。在各判定处理中，判定是否应在相较于DIST_MAX而言靠远方实施物体探测，在需要在远方进行物体探测的情况下，视为需要基于可靠度的视差的消除，建立标记以实施可靠度算出即可。

在图5的S502中，若到前帧为止探测到的物体的距离相较于DIST_MAX而言为附近，则不需要视差的消除。

在S504中，例如若是针对碰撞规避用的紧急制动功能，则可以根据移动体的制动性能来算出能避免撞到相距DIST_MAX程度的物体的最大移动速度。在正以比该速度低的速度移动的情况下，不需要视差的消除。

若是S506，则可以算出在前进了DIST_MAX程度时会在立体摄像机的视场角外行驶的最小曲率，在行进道路的曲率大于该曲率的情况下，即便见到了相较于DIST_MAX而言靠远方的物体，也不会在该位置上行驶，从而不需要视差的消除。

各种判定处理是相互独立的，因此无须全部进行判定，也无须以该顺序来实施。根据实施时的构成要素而仅实施需要的判定即可。

接着，对可靠度算出部342的详情进行说明。

本实施例的目的是拍摄到接近水平的斜线的位置上的视差的消除。在立体摄像机中，在算出某一点的视差时，将点的周边区域指定为匹配块，根据匹配块内的图像信息来进行左右图像的匹配。

因此，算出匹配块内的图像信息的边缘，根据边缘角度来算出可靠度即可。

可靠度算出部的流程图示于图8。在S801中，检测匹配块内的边缘取向。作为一般的边缘检测方法，可列举索贝尔滤波器等。所谓索贝尔滤波器，是通过对以某一关注像素为中心的3×3的9个像素值乘以下面的式5、6那样的矩阵并将结果加以合计来检测边缘的滤波器。

[式5]

[式6]

EdgeH为水平方向的边缘强度，EdgeV为垂直方向的边缘强度。使用这2个值而由以下式7、8来表现最终的边缘的强度S和取向φ。

[式7]

[式8]

通过以上的计算，针对每1像素算出边缘信息。再者，视差的可靠度须针对匹配块整体而不是仅仅1个像素来考虑，与后面的可靠度算出一起叙述。

接着，在S802中算出视差的可靠度。例如，在为了简单起见而以可以信赖/无法信赖可靠度的1/0来表现的情况下，在匹配块内数出角度φ为水平方向±α的范围内的像素的数量，在为阈值以上时设为可靠度0即可。或者，如前文所述，边缘角度越接近水平误差便越大，因此，也可根据边缘角度来改变可靠度。像图9(a)那样，边缘角度为0°时可靠度最低，为90°时可靠度最高。进而，考虑到转换成距离时的影响度，即便是相同的边缘角度，视差值较小时可靠度也较低，视差值较大时可靠度也较高。可以像图9(b)那样，即便是相同的边缘角度，视差值越小，可靠度也设定得越低。例如考虑利用以下那样的式9来表现该关系。Dmax[px]为视差的可取的最大值。

[式9]

上述式9中的下述式10为边缘的角度相关的项。

[式10]

|sinφ|

此处使用的φ须采用匹配块的代表性角度而不是仅仅1个像素的边缘角度。作为算出方法，考虑创建每一定角度的直方图而将峰值位置作为代表性角度、根据投票到成为峰值的范围内的所有边缘来取使用了边缘强度的加权平均等方法。

上述式9中的下述式11为视差的大小相关的项。

[式11]

可靠度的算出取决于后面的物体探测功能的要求规格，因此不限于该式11，但要以如下函数的形式加以设计：边缘角度为水平时降低、边缘角度为垂直时提高，视差较小时降低、视差较大时提高。

接着，对物体探测部343的详情进行说明。

在物体探测部343中，根据视差信息和与视差信息相对应的图像坐标来算出实际空间内的点的坐标。针对各点算出点彼此的距离，将处于附近的点彼此编组而探测为一个立体物。本实施例中的物体探测部的流程图示于图10。

(S1001)判定可靠度是否已算出。其目的在于，参考可靠度算出部实施判定部341的结果，在不应消除视差的情景下未实施可靠度的算出的情况下，实施仅使用视差的立体物探测。下面，在S1002、S1003中实施针对视差整体的循环处理。

(S1002)将可靠度为阈值以上的视差判定为可用于物体探测的视差。

(S1003)登记视差，生成可用于物体探测的视差点云数据。

(S1004)在视差的登记结束后，将实际空间内处于附近的点彼此编组。

(S1005)根据编组后的结果来算出距离、物体的纵横尺寸，整形为物体探测结果并输出。

根据上述实施例1的物体探测装置，可以提供一种即便在立体摄像机系统中在图像垂直方向上产生了偏差的情况下也能确保视差的算出精度而且抑制性能劣化和处理成本的增加的物体探测装置。

实施例2

实施例2为实施例1的变形例，展示在物体探测部343中根据可靠度将视差分类为多个种类的实施方式。像实施例1中展示过的那样，作为视差的误差造成的影响，有(1)纵深方向的偏差所引起、虽然正确地探测到物体但弄错了距离这一情形和(2)高度或左右方向的偏差所引起、在没有物体的区域内误探测到物体这一情形，可以根据各自的特性来设定极限距离。通过考虑各自的极限距离来算出可靠度，可以在物体探测部343中将视差分类为可用于测距的视差、可用于物体探测的视差、不得用于任一探测的视差来加以利用。本实施例中的物体探测部343的流程图示于图11。在实施例1中，测距误差较大的视差也不会用于物体探测，而本实施例的流程是在物体探测的阶段利用该视差、在测距时予以消除。

(S1102)、(S1103)以与图10的S1002、S1003中不一样的阈值参考可靠度，登记可用于测距的视差。

(S1105)在算出探测到的物体的位置、速度时，仅使用登记为测距用视差的视差来进行推断，由此，一方面能抑制因过分消除视差造成的未探测到，另一方面能提高测距精度。

根据上述物体探测装置，可以提供一种在立体摄像机系统中不会因视差的消除而将应探测到的物体视为未探测到的物体探测装置。

再者，本发明包含各种变形例，并不限定于上述实施例。

例如，上述实施例是为了以易于理解的方式说明本发明所作的详细说明，并非一定限定于具备说明过的所有构成。此外，可以将某一实施例的构成的一部分替换为其他实施例的构成，此外，也可以对某一实施例的构成加入其他实施例的构成。此外，可以对各实施例的构成的一部分进行其他构成的追加、删除、替换。

此外，上述各构成中，它们的一部分或全部可由硬件构成，也可构成为通过由处理器执行程序来实现。此外，控制线和信息线展示的是认为说明上需要的部分，在产品上未必展示了所有控制线和信息线。实际上，可认为几乎所有构成都相互连接在一起。

符号说明

310…摄像部、342…可靠度算出部、341…可靠度算出实施判定部、343…物体探测部。

Claims

1.一种物体探测装置，其特征在于，具备：

摄像部，其获得多个图像；

视差图像生成部，其利用从所述摄像部获取到的图像来生成视差图像；

可靠度算出部，其使用匹配窗口内的图像信息的边缘取向来算出所述视差图像的各视差的可靠度；

可靠度算出实施判定部，其进行是否实施所述可靠度算出的判定；以及

物体探测部，在所述可靠度算出实施判定部判定要算出可靠度的情况下，所述物体探测部使用视差图像和可靠度来探测物体，

所述物体探测部根据所述可靠度将所述视差图像分类为物体探测用视差和测距用视差。

2.根据权利要求1所述的物体探测装置，其特征在于，

所述可靠度算出部使用所述匹配窗口内的图像信息的边缘取向和得到的视差值来算出所述可靠度。

3.根据权利要求1所述的物体探测装置，其特征在于，

所述可靠度算出实施判定部使用所述物体的探测信息、自身车辆的移动速度信息或者所述自身车辆前方的行驶道路信息中的任一方来进行是否算出所述可靠度的判定。