CN108629763B - 一种视差图的评判方法、装置及终端 - Google Patents

Abstract

本申请提供一种视差图的评判方法、装置及终端，涉及图像处理技术领域，该方法包括：根据双目摄像机采集到的双目源图像得到梯度图与视差图；根据梯度图得到纹理分布图，并根据视差图得到视差变化分布图；根据纹理分布图与视差变化分布图，将视差图中满足预设条件的区域确定为无效视差区域；根据无效视差区域占视差图的区域比例确定视差图的有效性。应用该方法，可以实现评判视差图的有效性、准确性，从而当连续判定出多帧无效或有效性较差的视差图时，及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

Description

一种视差图的评判方法、装置及终端

技术领域

本申请涉及图像处理技术领域，尤其涉及一种视差图的评判方法、装置及终端。

背景技术

基于双目立体视觉技术进行车辆测距，或检测道路上的障碍物等功能是高级驾驶辅助系统(Advanced Driver Assistant Systems，简称ADAS系统)领域中比较热门的研究课题，而双目立体视觉技术的核心是双目立体匹配。

目前的双目立体匹配算法都是在双目源图像具有较高画质这一基础上推演而来的，然而，由于实际应用中的道路场景复杂多变，车载双目摄像机所拍摄得到的双目源图像的画质也很容易受到光照影响，因此很容易导致双目源图像的画质欠佳，例如，在没有路灯的夜晚场景下、大雾场景下等，双目源图像的清晰度和对比度将急剧下降，从而，利用双目立体匹配算法对画质欠佳的双目源图像进行立体匹配，所得到的视差图中噪点较多，有效视差点占比较小，也即视差图的质量较差，准确度较低，进一步，也就将直接影响ADAS系统的工作效果。

发明内容

有鉴于此，本申请提供一种视差图的评判方法、装置及终端，以实现评判视差图的有效性、准确性，从而当连续判定出多帧无效或有效性较差的视差图时，及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

根据本申请实施例的第一方面，提供一种视差图的评判方法，所述方法包括：

根据双目摄像机采集到的双目源图像得到梯度图与视差图；

根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，所述纹理分布图用于表示所述双目源图像的纹理程度，所述视差变化分布图用于表示所述视差图的视差变化程度；

根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；

根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性。

可选的，所述纹理程度至少包括：无纹理、弱纹理、强纹理；

所述视差变化程度至少包括：平滑、渐变、突变。

可选的，所述预设条件包括：纹理程度为无纹理或弱纹理，且视差变化程度为突变；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

确定所述无效视差区域占所述视差图的区域比例；

比较所述区域比例与预设的比例阈值；

若比较得出所述区域比例大于所述比例阈值，则确定所述视差图无效，否则，确定所述视差图有效。

可选的，所述预设条件还包括：纹理程度为无纹理或弱纹理；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

确定纹理程度为无纹理的无效视差区域占所述视差图的第一比例；

确定纹理程度为弱纹理的无效视差区域占所述视差图的第二比例；

确定纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域占所述视差图的第三比例；

根据所述第一比例、所述第二比例，以及所述第三比例共同确定所述视差图的有效性。

可选的，所述根据所述梯度图得到纹理分布图，包括：

将所述梯度图划分为两个以上第一设定区域；

针对每一个所述第一设定区域，根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度；

所述根据所述视差图得到视差变化分布图，包括：

将所述视差图划分为两个以上第二设定区域；

针对每一个所述第二设定区域，根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度。

可选的，所述根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度，包括：

计算所述第一设定区域中像素点的梯度值之和；

比较所述梯度值之和与第一预设阈值；

若比较得出所述梯度值之和大于所述第一预设阈值，则确定所述第一设定区域的纹理程度为强纹理，否则，继续比较所述梯度值之和与第二预设阈值，所述第二预设阈值小于所述第一预设阈值；

若比较得出所述梯度值之和小于所述第二预设阈值，则确定所述第一设定区域的纹理程度为无纹理区域，否则，确定所述第一设定区域的纹理程度为弱纹理区域。

可选的，所述根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度，包括：

计算出所述第二设定区域中视差点的视差值所对应的物理距离；

根据所述物理距离，计算出所述第二设定区域对应的距离方差；

比较所述距离方差与第一方差阈值；

若比较得出所述距离方差不小于所述第一方差阈值，则确定所述第二设定区域的视差变化程度为突变，否则，继续比较所述距离方差与第二方差阈值；

若比较得出所述距离方差小于所述第二方差阈值，则确定所述第二设定区域的视差变化程度为平滑，否则，确定所述第二设定区域的视差变化程度为渐变。

可选的，在所述确定所述无效视差区域占所述视差图的区域比例之后，所述方法还包括：

重复执行所述根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；确定所述无效视差区域占所述视差图的区域比例的过程，直至执行所述过程的次数达到预设次数；

其中，在每次执行所述过程中，所述第一设定区域的大小各不相同，所述第二设定区域的大小各不相同；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

根据多次执行所述过程所得到的无效视差区域占所述视差图的区域比例共同确定所述视差图的有效性。

根据本申请实施例的第二方面，提供一种视差图的评判装置，所述装置包括：

图像处理模块，用于根据双目摄像机采集到的双目源图像得到梯度图与视差图；

分布图获取模块，用于根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，所述纹理分布图用于表示所述双目源图像的纹理程度，所述视差变化分布图用于表示所述视差图的视差变化程度；

区域确定模块，用于根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；

评判模块，用于根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性。

可选的，所述纹理程度至少包括：无纹理、弱纹理、强纹理；

所述视差变化程度至少包括：平滑、渐变、突变。

可选的，所述预设条件包括：纹理程度为无纹理或弱纹理，且视差变化程度为突变；

所述评判模块包括：

第一确定子模块，用于确定所述无效视差区域占所述视差图的区域比例；

第一比较子模块，用于比较所述区域比例与预设的比例阈值；

结果确定子模块，用于若比较得出所述区域比例大于所述比例阈值，则确定所述视差图无效，否则，确定所述视差图有效。

可选的，所述预设条件还包括：纹理程度为无纹理或弱纹理；

所述评判模块包括：

第二确定子模块，用于确定纹理程度为无纹理的无效视差区域占所述视差图的第一比例；

第三确定子模块，用于确定纹理程度为弱纹理的无效视差区域占所述视差图的第二比例；

第四确定子模块，用于确定纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域占所述视差图的第三比例；

有效性确定子模块，用于根据所述第一比例、所述第二比例，以及所述第三比例共同确定所述视差图的有效性。

可选的，所述分布图获取模块包括：

第一划分子模块，用于将所述梯度图划分为两个以上第一设定区域；

纹理程度确定子模块，用于针对每一个所述第一设定区域，根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度；

第二划分子模块，用于将所述视差图划分为两个以上第二设定区域；

视差变化程度确定子模块，用于针对每一个所述第二设定区域，根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度。

可选的，所述纹理程度确定子模块包括：

第一计算子模块，用于计算所述第一设定区域中像素点的梯度值之和；

第二比较子模块，用于比较所述梯度值之和与第一预设阈值；

第五确定子模块，用于若比较得出所述梯度值之和大于所述第一预设阈值，则确定所述第一设定区域的纹理程度为强纹理；

第三比较子模块，用于若比较得出所述梯度值之和不大于所述第一预设阈值，则继续比较所述梯度值之和与第二预设阈值，所述第二预设阈值小于所述第一预设阈值；

第六确定子模块，用于若比较得出所述梯度值之和小于所述第二预设阈值，则确定所述第一设定区域的纹理程度为无纹理区域，否则，确定所述第一设定区域的纹理程度为弱纹理区域。

可选的，所述视差变化程度确定子模块包括：

第二计算子模块，用于计算出所述第二设定区域中视差点的视差值所对应的物理距离；

第三计算子模块，用于根据所述物理距离，计算出所述第二设定区域对应的距离方差；

第四比较子模块，用于比较所述距离方差与第一方差阈值；

第七确定子模块，用于若比较得出所述距离方差不小于所述第一方差阈值，则确定所述第二设定区域的视差变化程度为突变；

第五比较子模块，用于若比较得出所述距离方差小于所述第一方差阈值，则继续比较所述距离方差与第二方差阈值；

第八确定子模块，用于若比较得出所述距离方差小于所述第二方差阈值，则确定所述第二设定区域的视差变化程度为平滑，否则，确定所述第二设定区域的视差变化程度为渐变。

可选的，所述装置还包括：

重复执行模块，用于重复执行所述根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；确定所述无效视差区域占所述视差图的区域比例的过程，直至执行所述过程的次数达到预设次数；

其中，在每次执行所述过程中，所述第一设定区域的大小各不相同，所述第二设定区域的大小各不相同；

所述评判模块具体用于：

根据多次执行所述过程所得到的无效视差区域占所述视差图的区域比例共同确定所述视差图的有效性。

根据本申请实施例的第三方面，提供一种视差图的评判终端，包括存储器、处理器、通信接口、摄像头组件，以及通信总线；

其中，所述存储器、处理器、通信接口、双目摄像头组件通过所述通信总线进行相互间的通信；

所述双目摄像头组件，用于采集双目源图像，并通过所述通信总线将所述双目源图像发送至所述处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例提供的任一视差图的评判方法。

根据本申请实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一视差图的评判方法。

由上述实施例可见，通过根据双目摄像机采集到的双目源图像得到梯度图与视差图，根据梯度图得到用于表示双目源图像的纹理程度的纹理分布图，并根据视差图得到用于表示视差图的视差变化程度的视差变化分布图，后续，根据纹理分布图与视差变化分布图，可以在视差图中将满足预设条件的区域确定为无效视差区域，继而根据无效视差区域占视差图的区域比例确定视差图的有效性。

由于双目源图像的纹理程度可以影响后续得到的视差图的有效性、准确性，从而根据纹理程度与视差变化程度可以同时确定出视差图中无效视差区域，基于无效视差区域占视差图的区域比例即可对视差图的有效性进行评判，进一步，当连续判定出多帧无效或有效性较差的视差图时，及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

综上所述，应用本申请实施例提供的方法可以实现评判视差图的有效性、准确性，基于视差图的有效性及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

附图说明

图1为极端场景下双目源图像的一种左视图的示例；

图2为极端场景下双目源图像的视差图的一种示例；

图3为本申请一示例性实施例示出的一种视差图的评判方法的实施例流程图；

图4为纹理分布图的一种示例；

图5为视差变化分布图的一种示例；

图6为无效视差区域的一种示例；

图7为本申请一示例性实施例示出的另一种视差图的评判方法的实施例流程图；

图8为本申请一示例性实施例示出的一种视差图的评判装置的实施例框图；

图9为本申请视差图的评判装置所在视差图的评判终端的一种硬件结构图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

目前的双目立体匹配算法都是在车载的双目摄像机所拍摄得到的双目源图像具有较高画质这一基础上推演而来的，然而，实际应用中的道路场景复杂多变，不可避免地出现一些极端场景，而双目摄像机所拍摄得到的双目源图像的画质也很容易受到光照影响，因此，在一些极端场景下，双目摄像机所拍摄到的双目源图像的画质欠佳，例如，如图1所示，为极端场景下双目源图像的一种左视图的示例，其中的图1(a)为路灯较暗，光线较差的夜晚场景下拍摄的双目源图像中的一副左视图，图2(b)为大雾场景下拍摄的双目源图像中的一幅左视图。由图1可见，在极端场景下，双目源图像的清晰度和对比度急剧下降，从而，同一物体在左右两幅源图像中的灰度值将存在较大差异，而且，在双目立体匹配算法中，是对于目标图像中的每一个待匹配点，以该点为中心选定一个固定窗口，同样在参考图像中的每一个候选匹配点为中心，选定一个同样大小的固定窗口，将参考图像中的固定窗口与目标图像中的固定窗口进行灰度相似性计算或灰度差异性计算，得到待匹配点的视差值的，从而，在极端场景下，很容易导致误匹配的概率增大，所得到的视差图中噪点较多，有效视差点占比较小，也即视差图的有效性较差，准确度较低，例如，如图2所示，为极端场景下双目源图像的视差图的一种示例，其中的图2(a)为图1(a)所示例的双目源图像对应的视差图，图2(b)为图1(b)所示例的双目源图像对应的视差图。

由上述描述可知，在极端场景下，由于双目源图像的画质欠佳，导致所得到的视差图的质量较差，有效性较差、准确度较低，从而导致后续在ADAS系统中根据视差图进行障碍物检测或车辆测距等工作时，很容易出现检测结果不准确现象，也即ADAS系统的工作效果出现异常，从而无法实现准确无误地辅助驾驶员驾驶车辆。

基于此，本申请提供一种视差图的评判方法，以实现评判视差图的有效性、准确性，从而当连续判定出多帧无效或有效性较差的视差图时，及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

如下，示出下述实施例对申请提供的视差图的评判方法进行说明：

实施例一：

请参见图3，为本申请一示例性实施例示出的一种视差图的评判方法的实施例流程图，该方法可以包括以下步骤：

步骤301：根据双目摄像机采集到的双目源图像得到梯度图与视差图。

在本申请实施例中，可以在车辆上布设双目摄像机，该双目摄像机具有左右两个摄像头，在一次图像采集过程中，该左右两个摄像头可分别采集到一幅图像，为了描述方便，在本申请实施例中，将双目摄像机的两个摄像头所采集到的两幅图像统称为双目源图像，同时，可以将其中一幅指定为目标图像，另一幅指定为参考图像。

在本申请实施例中，还可以对双目源图像进行预处理，该预处理可以包括感兴趣区域划分、灰度处理、下采样、滤波平滑处理，其中，下采样的主要目的是将高分辨率的灰度图缩减为低分辨率的缩略图，例如，假设双目源图像的灰度图大小为M*N，对该灰度图进行r*s倍下采样，即可得到尺寸大小为(M/r)*(N/s)的缩略图，通过该种处理，可以节省后续计算量；滤波平滑处理可以为高斯滤波，主要目的是去除图像中的噪点。

进一步，在本申请实施例中，可以根据预处理后的目标图像，得到梯度图，根据预处理后的目标图像与参考图像得到视差图。至于根据预处理后的目标图像得到梯度图的具体过程，以及根据预处理后的目标图像与参考图像得到视差图的具体过程，本领域技术人员可以参见现有技术中的相关描述，本申请对此不再详述。

本领域技术人员可以理解的是，若在上述预处理过程中对双目源图像进行了感兴趣区域划分，那么，在本步骤中获取到的则是感兴趣区域的梯度图与视差图。

步骤303：根据梯度图得到纹理分布图，并根据视差图得到视差变化分布图，该纹理分布图用于表示双目源图像的纹理程度，该视差变化分布图用于表示视差图的视差变化程度。

在本申请实施例中，可以将梯度图划分为两个以上第一设定区域，其中，每一第一设定区域的大小可以相同，也可以不同，本申请对此不作限制，后续，针对每一个第一设定区域，根据该第一设定区域中像素点的梯度值确定第一设定区域的纹理程度。

类似的，可以将视差图划分为两个以上第二设定区域，其中，每一第二设定区域的大小可以相同，也可以不同，本申请对此不作限制，后续，针对每一个第二设定区域，根据该第二设定区域中视差点的视差值确定第二设定区域的视差变化程度。

如下，首先以每一第一设定区域的大小相同为例，对根据梯度图得到纹理分布图的过程进行说明：

在本申请实施例中，按照设定的窗口大小，将梯度图划分为两个以上大小相同的第一设定区域，例如，假设梯度图的尺寸大小为8*8，设定的窗口大小为2*2，则可以将该梯度图划分为16个大小相同的第一设定区域。

后续，针对每一个第一设定区域，计算出该第一设定区域中像素点的梯度值之和，继而，比较该梯度值之和与第一预设阈值，若比较得出该梯度值之和大于第一预设阈值，则可以确定该第一设定区域的纹理程度为强纹理；若比较得出该梯度值之和不大于该第一预设阈值，则可以继续比较该梯度值之和与第二预设阈值(第二预设阈值小于第一预设阈值)，若比较得出该梯度值之和小于该第二预设阈值，则可以确定该第一设定区域的纹理程度为无纹理，若比较得出该梯度值之和不小于该第二预设阈值，则可以确定该第一设定区域的纹理程度为弱纹理。

通过上述处理，即可得到每一个第一设定区域的纹理程度，从而得到纹理分布图，例如，如图4所示，为纹理分布图的一种示例。

其次，以每一第二设定区域的大小相同为例，对根据视差图得到视差变化分布图的过程进行说明：

在本申请实施例中，按照设定的窗口大小，将视差图划分为两个以上大小相同的第二设定区域，例如，假设视差图的尺寸大小为8*8，设定的窗口大小为2*2，则可以将该视差图划分为16个大小相同的第二设定区域。

在本申请实施例中，考虑到若直接计算视差值的方差，并无法有效反映出低视差值的视差点的变化程度，而视差值与物理距离成反比，即视差值越小，物理距离越大，而物理距离的变化越明显，从而提出用物理距离的方差来表示视差的变化程度。

具体的，针对每一个第二设定区域，可以根据下述公式(一)计算出该第二设定区域中每一视差点对应的物理距离：

在上述公式(一)中，Z表示物理距离，B表示双目摄像机的基线长度，f表示双目摄像机的焦距，d表示视差点的视差值。

进一步，根据下述公式(二)计算出距离方差：

在上述公式(二)中，S²表示距离方差，w表示第二设定区域的宽度，h表示第二设定区域的高度，z_ij表示在第二设定区域的第i行第j列上视差点所对应的物理距离，M表示第二设定区域中视差点对应的物理距离的平均值。

进一步，比较该距离方差与第一方差阈值，若比较得出该距离方差不小于第一方差阈值，则可以确定该第二设定区域的视差变化程度为突变；若比较得出该距离方差小于该第一方差阈值，则可以继续比较该距离方差与第二方差阈值(第二方差阈值小于第一方差阈值)，若比较得出该距离方差小于该第二方差阈值，则可以确定该第二设定区域的视差变化程度为平滑，若比较得出该距离方差不小于该第二方差阈值，则可以确定该第二设定区域的视差变化程度为渐变。

通过上述处理，即可得到每一个第二设定区域的视差变化程度，从而得到视差变化分布图，例如，如图5所示，为视差变化分布图的一种示例。

最后说明，在本申请实施例中，上述第一设定区域和第二设定区域的大小可以相同，也可以不同，本申请对此不作限制。

步骤304：根据纹理分布图与视差变化分布图，将视差图中满足设定条件的区域确定为无效视差区域。

步骤305：根据无效视差区域占视差图的区域比例确定视差图的有效性。

如下，对步骤304至步骤305进行说明：

在一实施例中，考虑到双目源图像的纹理程度越弱，基于该双目源图像进行立体视觉匹配时就越容易发生错误，从而同一物体上的视差变化也就越明显，基于此，设定条件可以包括：纹理程度为无纹理或弱纹理，且视差变化程度为突变，那么，则可以对比图4所示例的纹理分布图与图5所示例的视差变化分布图，在视差图中找到纹理程度为无纹理或弱纹理，且视差变化程度为突变的区域，这些区域即可为无效视差区域，例如，如图6所示，为视差图中无效视差区域的一种示例。

本领域技术人员可以理解的是，在上述步骤303中，若第一设定区域和第二设定区域大小相同，那么，在视差图中，则可以以第一设定区域(或第二设定区域)为单位，判断该区域是否满足设定条件。

进一步，可以计算出该无效视差区域占视差图的区域比例，若该区域比例大于预设的比例阈值，即表示视差图中的无效视差区域较多，从而可以认为该视差图无效，否则，则可以认为视差图有效。

在另一实施例中，为了提高对视差图有效性的评判结果的准确性，还可以在上述实施例的基础上，同时考虑双目源图像的质量，在此可以以双目源图像的纹理程度为考量参数。具体的，在上述实施例的基础上，设定条件还可以包括：纹理程度为无纹理或弱纹理，从而，所确定出的无效视差区域则可以包括三类，分别为：纹理程度为无纹理的无效视差区域、纹理程度为弱纹理的无效视差区域，以及纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域。

进一步，分别确定出每一类无效视差区域占视差图的区域比例，为了描述方便，将纹理程度为无纹理区域的无效视差区域占视差图的区域比例称为第一比例，将纹理程度为弱纹理区域的无效视差区域占视差图的区域比例称为第二比例，将纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域占视差图的区域比例称为第三比例。

后续，则可以根据第一比例、第二比例，以及第三比例共同确定视差图的有效性。

在一个例子中，若第一比例、第二比例，以及第三比例均大于预设的比例阈值，则可以认为视差图无效，否则，可以认为视差图有效。

在另一个例子中，若第一比例或第二比例其中之一大于预设的比例阈值，且第三比例大于预设的比例阈值，则可以认为视差图无效，否则，则可以认为视差有效。

在又一个例子中，还可以通过一个与区域比例相关的函数来确定视差图的有效性，其中，区域比例与视差图的有效性成负相关关系，即区域比例越大，视差图的有效性越低，本申请对该函数的具体形式不作限制。

本领域技术人员可以理解的是，上述根据第一比例、第二比例，以及第三比例共同确定视差图有效性的描述仅仅作为举例，在实际应用中，还可以存在其他具体实现方式，本申请实施例对此不作限制。

由上述实施例可见，通过根据双目摄像机采集到的双目源图像得到梯度图与视差图，根据梯度图得到用于表示双目源图像的纹理程度的纹理分布图，并根据视差图得到用于表示视差图的视差变化程度的视差变化分布图，后续，根据纹理分布图与视差变化分布图，可以在视差图中将满足预设条件的区域确定为无效视差区域，继而根据无效视差区域占视差图的区域比例确定视差图的有效性。

由于双目源图像的纹理程度可以影响后续得到的视差图的有效性、准确性，从而根据纹理程度与视差变化程度可以同时确定出视差图中无效视差区域，基于无效视差区域占视差图的区域比例即可对视差图的有效性进行评判，进一步，当连续判定出多帧无效或有效性较差的视差图时，及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

综上所述，应用本申请实施例提供的方法可以实现评判视差图的有效性、准确性，基于视差图的有效性及时提醒驾驶员ADAS系统的工作效果可能存在异常，以提醒驾驶员谨慎驾驶。

至此，完成实施例一的相关描述。

通过上述实施例一的相关描述可知，在本申请实施例中，是以区域为单位，得到纹理分布图与视差变化分布图的，本领域技术人员可以理解的是，不同大小的区域，则对应不同的统计精度，所得到的纹理分布图与视差变化分布图的精细程度也就不同，从而，为了提高对视差图的有效性进行评判的准确度，可以采用不同的窗口大小，多次得到具有不同精细程度的纹理分布图与视差变化分布图，综合多次的结果得出最终的定论。

请参见图7，为本申请一示例性实施例示出的另一种视差图的评判方法的实施例流程图，该方法可以包括以下步骤：

步骤701：根据双目摄像机采集到的双目源图像得到梯度图与视差图。

步骤702：根据梯度图得到纹理分布图，并根据视差图得到视差变化分布图。

步骤703：根据纹理分布图与视差变化分布图，将视差图中满足设定条件的区域确定为无效视差区域。

步骤704：确定无效视差区域占视差图的区域比例。

步骤705：判断执行次数是否达到预设次数，若是，则执行步骤706，否则，返回执行步骤702。

上述步骤701至步骤704的详细描述请参见上述实施例一种的描述，本申请对此不再详述。

需要说明的是，在每次执行上述步骤702至步骤704的过程中，第一设定区域的大小各不相同，第二设定区域的大小各不相同。

步骤706：根据多次执行上述过程所得到的区域比例共同确定视差图的有效性。

在本申请实施例中，若采取多次执行上述步骤702至步骤704的方式，那么，则可以根据多次执行所得到的区域比例共同确定视差图的有效性，在一个例子中，当多次所得到的区域比例均大于预设的比例阈值时，则确定视差图无效，否则，视差图有效；在另一个例子中，在多次所得到的区域比例中，大于预设比例阈值的区域比例的个数达到预设的个数阈值时，则确定视差图无效，否则视差图有效。

本领域技术人员可以理解的是，上述根据多次执行上述过程所得到的区域比例共同确定视差图有效性的描述仅仅作为举例，在实际应用中，还可以存在其他具体实现方式，本申请实施例对此不作限制。

由上述实施例可见，通过多次执行根据双目摄像机采集到的双目源图像得到梯度图与视差图，根据梯度图得到用于表示双目源图像的纹理程度的纹理分布图，并根据视差图得到用于表示视差图的视差变化程度的视差变化分布图，后续，根据纹理分布图与视差变化分布图，可以在视差图中将满足预设条件的区域确定为无效视差区域，继而确定无效视差区域占视差图的区域比例这一过程，根据多次执行该过程所得到的区域比例共同确定视差图的有效性，可以有效地提高评判结果的精度。

至此，完成实施例二的相关描述。

此外，本领域技术人员可以理解的是，相关技术中存在两类视差图，分别为稀疏视差图与稠密视差图，其中，稀疏视差图仅在梯度变化较大的边缘区域上具有有效视差点，而稠密视差图则在所有图像像素点处均具有有效视差点，正由于稠密视差图中有效视差点的个数相对而言较多，那么针对稠密视差图，则可以利用本申请提出的视差图的评判方法确定稠密视差图的有效性。

而针对有效视差点的数量相对而言较少的稀疏视差图，则可以在对初始视差图进行后处理之后，统计出边缘处有效视差点的个数，并统计出在后处理过程(包括置信度检验，左右一致性检测和斑点滤波等处理)中删除的视差点的个数，进一步计算出有效视差点的个数与删除的视差点的个数之间的比值，根据该比值确定稀疏视差图的有效性，例如，若该比值大于预设的阈值，则可以认为该稀疏视差图有效，反之，则认为该稀疏视差图无效。

与前述视差图的评判方法的实施例相对应，本申请还提供了视差图的评判装置的实施例。

请参见图8，为本申请一示例性实施例示出的一种视差图的评判装置的实施例框图，该装置可以包括：图像处理模块81、分布图获取模块82、区域确定模块83、评判模块84。

其中，图像处理模块81，可以用于根据双目摄像机采集到的双目源图像得到梯度图与视差图；

分布图获取模块82，可以用于根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，所述纹理分布图用于表示所述双目源图像的纹理程度，所述视差变化分布图用于表示所述视差图的视差变化程度；

区域确定模块83，可以用于根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；

评判模块84，可以用于根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性。

在一实施例中，所述纹理程度至少包括：无纹理、弱纹理、强纹理；

所述视差变化程度至少包括：平滑、渐变、突变。

在一实施例中，所述预设条件包括：纹理程度为无纹理或弱纹理，且视差变化程度为突变；

所述评判模块84可以包括(图8中未示出)：

第一确定子模块，用于确定所述无效视差区域占所述视差图的区域比例；

第一比较子模块，用于比较所述区域比例与预设的比例阈值；

结果确定子模块，用于若比较得出所述区域比例大于所述比例阈值，则确定所述视差图无效，否则，确定所述视差图有效。

在一实施例中，所述预设条件还包括：纹理程度为无纹理或弱纹理；

所述评判模块84可以包括(图8中未示出)：

第二确定子模块，用于确定纹理程度为无纹理的无效视差区域占所述视差图的第一比例；

第三确定子模块，用于确定纹理程度为弱纹理的无效视差区域占所述视差图的第二比例；

第四确定子模块，用于确定纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域占所述视差图的第三比例；

有效性确定子模块，用于根据所述第一比例、所述第二比例，以及所述第三比例共同确定所述视差图的有效性。

在一实施例中，所述分布图获取模块82可以包括(图8中未示出)：

第一划分子模块，用于将所述梯度图划分为两个以上第一设定区域；

纹理程度确定子模块，用于针对每一个所述第一设定区域，根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度；

第二划分子模块，用于将所述视差图划分为两个以上第二设定区域；

视差变化程度确定子模块，用于针对每一个所述第二设定区域，根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度。

在一实施例中，所述纹理程度确定子模块可以包括(图8中未示出)：

第一计算子模块，用于计算所述第一设定区域中像素点的梯度值之和；

第二比较子模块，用于比较所述梯度值之和与第一预设阈值；

第五确定子模块，用于若比较得出所述梯度值之和大于所述第一预设阈值，则确定所述第一设定区域的纹理程度为强纹理；

第三比较子模块，用于若比较得出所述梯度值之和不大于所述第一预设阈值，则继续比较所述梯度值之和与第二预设阈值，所述第二预设阈值小于所述第一预设阈值；

第六确定子模块，用于若比较得出所述梯度值之和小于所述第二预设阈值，则确定所述第一设定区域的纹理程度为无纹理区域，否则，确定所述第一设定区域的纹理程度为弱纹理区域。

在一实施例中，所述视差变化程度确定子模块可以包括(图8中未示出)：

第二计算子模块，用于计算出所述第二设定区域中视差点的视差值所对应的物理距离；

第三计算子模块，用于根据所述物理距离，计算出所述第二设定区域对应的距离方差；

第四比较子模块，用于比较所述距离方差与第一方差阈值；

第七确定子模块，用于若比较得出所述距离方差不小于所述第一方差阈值，则确定所述第二设定区域的视差变化程度为突变；

第五比较子模块，用于若比较得出所述距离方差小于所述第一方差阈值，则继续比较所述距离方差与第二方差阈值；

第八确定子模块，用于若比较得出所述距离方差小于所述第二方差阈值，则确定所述第二设定区域的视差变化程度为平滑，否则，确定所述第二设定区域的视差变化程度为渐变。

在一实施例中，所述装置还可以包括(图8中未示出)：

重复执行模块，用于重复执行所述根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；确定所述无效视差区域占所述视差图的区域比例的过程，直至执行所述过程的次数达到预设次数；

其中，在每次执行所述过程中，所述第一设定区域的大小各不相同，所述第二设定区域的大小各不相同；

所述评判模块84具体可以用于：

根据多次执行所述过程所得到的无效视差区域占所述视差图的区域比例共同确定所述视差图的有效性。

本申请视差图的评判装置的实施例可以应用在视差图的评判终端上。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在视差图的评判终端的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图9所示，为本申请视差图的评判装置所在视差图的评判终端的一种硬件结构图，其中，处理器901是该视差图的评判终端900的控制中心，利用各种接口和线路连接整个视差图的评判装置的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行视差图的评判装置900的各种功能和处理数据，从而对该视差图的评判装置进行整体监控。

可选的，处理器901可包括(图9中未示出)一个或多个处理核心；可选的，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。

存储器902可用于存储软件程序以及模块，处理器901通过运行存储在存储器902的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器902主要包括(图9中未示出)存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储视差图的评判装置900的使用所创建的数据(比如采集到的双目源图像、计算得到的视差图像或者处理得到的灰度图像)等。

此外，存储器902可以包括(图9中未示出)高速随机存取存储器，还可以包括(图9中未示出)非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器902还可以包括(图9中未示出)存储器控制器，以提供处理器901对存储器902的访问。

在一些实施例中，装置900还可选包括有：外围设备接口903和至少一个外围设备。处理器901、存储器902和外围设备接口903之间可以通信总线或信号线(图9中未示出)相连。各个外围设备可以通信总线或信号线与外围设备接口903相连。具体地，外围设备可以包括：射频组件904、触摸显示屏905、双目摄像头组件906、音频组件907、定位组件908和电源组件909中的至少一种。

其中，双目摄像头组件906用于采集双目源图像。

在一些实施例中，双目摄像头组件906还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

除了图9所示例的各个硬件之外，实施例中装置所在的视差图的评判终端通常根据该终端的实际功能，还可以包括其他硬件，对此不再赘述。

本领域技术人员可以理解的是，图9所示例的视差图的评判终端可以应用在汽车上，也可以应用在电脑、智能手机等其他设备上，本申请对此并不作限制。

本申请实施例还一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的任一视差图的评判方法。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (9)

1.一种视差图的评判方法，其特征在于，所述方法包括：

根据双目摄像机采集到的双目源图像得到梯度图与视差图，其中，所述视差图为稠密视差图；

将所述梯度图划分为两个以上第一设定区域；针对每一个所述第一设定区域，根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度，以将确定的纹理程度作为用于表示所述双目源图像的纹理程度的纹理分布图；

将所述视差图划分为两个以上第二设定区域；针对每一个所述第二设定区域，根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度，以将确定的视差变化程度作为用于表示所述视差图的视差变化程度的视差变化分布图；

根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；

根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性。

2.根据权利要求1所述的方法，其特征在于，所述纹理程度至少包括：无纹理、弱纹理、强纹理；

所述视差变化程度至少包括：平滑、渐变、突变。

3.根据权利要求2所述的方法，其特征在于，所述预设条件包括：纹理程度为无纹理或弱纹理，且视差变化程度为突变；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

确定所述无效视差区域占所述视差图的区域比例；

比较所述区域比例与预设的比例阈值；

若比较得出所述区域比例大于所述比例阈值，则确定所述视差图无效，否则，确定所述视差图有效。

4.根据权利要求3所述的方法，其特征在于，所述预设条件还包括：纹理程度为无纹理或弱纹理；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

确定纹理程度为无纹理的无效视差区域占所述视差图的第一比例；

确定纹理程度为弱纹理的无效视差区域占所述视差图的第二比例；

确定纹理程度为无纹理或弱纹理，且视差变化程度为突变的无效视差区域占所述视差图的第三比例；

根据所述第一比例、所述第二比例，以及所述第三比例共同确定所述视差图的有效性。

5.根据权利要求1所述的方法，其特征在于，所述根据所述第一设定区域中像素点的梯度值确定所述第一设定区域的纹理程度，包括：

计算所述第一设定区域中像素点的梯度值之和；

比较所述梯度值之和与第一预设阈值；

若比较得出所述梯度值之和大于所述第一预设阈值，则确定所述第一设定区域的纹理程度为强纹理，否则，继续比较所述梯度值之和与第二预设阈值，所述第二预设阈值小于所述第一预设阈值；

若比较得出所述梯度值之和小于所述第二预设阈值，则确定所述第一设定区域的纹理程度为无纹理区域，否则，确定所述第一设定区域的纹理程度为弱纹理区域。

6.根据权利要求1所述的方法，其特征在于，所述根据所述第二设定区域中视差点的视差值确定所述第二设定区域的视差变化程度，包括：

计算出所述第二设定区域中视差点的视差值所对应的物理距离；

根据所述物理距离，计算出所述第二设定区域对应的距离方差；

比较所述距离方差与第一方差阈值；

若比较得出所述距离方差不小于所述第一方差阈值，则确定所述第二设定区域的视差变化程度为突变，否则，继续比较所述距离方差与第二方差阈值；

若比较得出所述距离方差小于所述第二方差阈值，则确定所述第二设定区域的视差变化程度为平滑，否则，确定所述第二设定区域的视差变化程度为渐变。

7.根据权利要求1所述的方法，其特征在于，在所述确定所述无效视差区域占所述视差图的区域比例之后，所述方法还包括：

重复执行所述根据所述梯度图得到纹理分布图，并根据所述视差图得到视差变化分布图，根据所述纹理分布图与所述视差变化分布图，将所述视差图中满足预设条件的区域确定为无效视差区域；确定所述无效视差区域占所述视差图的区域比例的过程，直至执行所述过程的次数达到预设次数；

其中，在每次执行所述过程中，所述第一设定区域的大小各不相同，所述第二设定区域的大小各不相同；

所述根据所述无效视差区域占所述视差图的区域比例确定所述视差图的有效性，包括：

根据多次执行所述过程所得到的无效视差区域占所述视差图的区域比例共同确定所述视差图的有效性。

8.一种视差图的评判终端，其特征在于，包括存储器、处理器、通信接口、摄像头组件，以及通信总线；

其中，所述存储器、处理器、通信接口、双目摄像头组件通过所述通信总线进行相互间的通信；

所述双目摄像头组件，用于采集双目源图像，并通过所述通信总线将所述双目源图像发送至所述处理器；

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一所述方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一所述方法。

Images