CN109997148B - 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质 - Google Patents

Abstract

一种信息处理装置包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于第一信息检测表示对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，该第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于第二信息检测表示对象的多个区域；以及输出单元，其被配置为使基于第一信息检测到的一个区域与基于第二信息检测到的多个区域相关联，并输出彼此相关联的该一个区域和该多个区域。

Description

信息处理装置、成像装置、设备控制系统、移动对象、信息处理 方法和计算机可读记录介质

技术领域

本发明涉及信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质。

背景技术

在现有技术中，从机动车的安全性的观点出发，考虑到在行人与机动车碰撞的情况下如何挽救行人和保护乘员，已经开发了机动车车身结构等。然而，近年来，信息处理技术和图像处理技术已经得到发展，使得已经开发出快速检测人和机动车的技术。通过应用这些技术，已经开发出了一种通过在机动车与对象碰撞之前自动制动来防止碰撞的机动车。为了自动控制机动车，需要精确测量到诸如人或另一个汽车之类的对象的距离。因此，使用毫米波雷达和激光雷达的距离测量、使用立体摄像机的距离测量等被投入实际使用。

当立体摄像机被用作识别对象的技术时，基于投射在拍摄的亮度图像中的每个对象的视差来生成视差图像，并且通过对具有相似视差值的像素组进行整合来识别对象。

专利文献1公开了一种使用通过立体图像处理生成的距离图像来检测对象的技术(一种抑制错误检测的技术)，使得当在多个检测到的对象中存在一组相同的对象时，相同的对象被错误地认为是多个分开的小对象(例如，两个行人)，但是相同的对象应被视为一个对象并被检测为单个对象(例如，一个在前的车辆)。

发明内容

技术问题

然而，在用于从由立体摄像机拍摄的视差图像检测诸如车辆或行人的对象的相关技术中，例如，诸如车辆的对象与该对象相邻的另一个对象可能被检测为一个对象。

鉴于上述传统问题，需要提供一种用于提高识别对象的性能的技术。

解决技术问题的技术方案

根据本发明的示例性实施方式，提供了一种信息处理装置，其包括：第一生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成其中对象的水平方向位置和深度方向位置彼此相关联的第一信息；第一检测单元，其被配置为基于第一信息检测表示对象的一个区域；第二生成单元，其被配置为根据其中对象的竖直方向位置、水平方向位置和深度方向位置彼此相关联的信息生成第二信息，该第二信息的分离性能比其中对象的水平方向位置和深度方向位置彼此相关联的第一信息的分离性能高；第二检测单元，其被配置为基于第二信息检测表示对象的多个区域；以及输出单元，其被配置为将基于第一信息检测到的一个区域与基于第二信息检测到的多个区域相关联，并输出彼此相关联的该一个区域和该多个区域。

发明的有益效果

根据所公开的技术，可以提高识别对象的性能。

附图说明

图1A是安装有根据第一实施方式的设备控制系统的车辆的侧视图。

图1B是图1A所示的车辆的前视图。

图2是示出根据第一实施方式的对象识别装置的硬件配置的示例的图。

图3是示出根据第一实施方式的对象识别装置的功能块配置的示例的图。

图4是示出根据第一实施方式的对象识别装置的识别处理单元的功能块配置的示例的图。

图5A是示出参考图像的示例的图。

图5B是示出从视差图像和参考图像生成的Vmap的示例的图。

图6A是示出参考图像的示例的图。

图6B是示出从参考图像和视差图像生成的Umap的示例的图。

图6C是示出从参考图像和视差图像生成的Umap的另一个示例的图。

图7A是示出从Umap生成的真实Umap的示例的图。

图7B是示出从Umap生成的真实Umap的示例的图。

图8是用于说明对对象的类型进行分类的方法的图。

图9是示出由聚类处理单元执行的处理的示例的流程图。

图10A是用于说明创建检测框架的处理的图。

图10B是用于说明创建检测框架的处理的图。

图11是示出基本检测处理的示例的流程图。

图12是示出整合检测处理的示例的流程图。

图13是示出选择要输出的对象区域的处理的示例的流程图。

图14是示出选择要输出的对象区域的处理的示例的流程图。

图15A是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。

图15B是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。

图15C是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。

图16A是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。

图16B是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。

图16C是用于说明在用于其中组合有诸如行人的两个组的对象区域的检测框架的情况下的背景检测处理的图。

图17是示出剔除处理的示例的流程图。

图18A是用于说明基于背景信息的剔除处理的图。

图18B是用于说明基于背景信息的剔除处理的图。

图19是示出根据第二实施方式的设备控制系统的示意性配置的示意图。

图20是成像单元和分析单元的示意性框图。

图21是示出主体和每个摄像机单元的成像透镜之间的位置关系的图。

图22是用于示意性说明分析单元的功能的图。

图23是示出对象检测处理单元的功能的示例的图。

图24是示出路面检测处理单元的功能的示例的图。

图25是示出拍摄图像的示例的图。

图26是示出高Umap的示例的图。

图27是示出标准Umap的示例的图。

图28是示出聚类处理单元的特定功能的示例的图。

图29是示出拍摄图像的示例的图。

图30是示出隔离区域的示例的图。

图31是示出与图30所示的隔离区域对应的视差图像上的区域的图。

图32是用于说明剔除处理的图。

图33是示出由聚类处理单元执行的处理的示例的流程图。

图34是示出隔离区域检测处理的示例的流程图。

图35是示出基本检测处理的示例的流程图。

图36是示出在执行二值化处理之后的示例的图。

图37是示出分离检测处理的示例的流程图。

图38是示出用于整合的检测处理的示例的流程图。

图39A是示出用于对检测结果进行分类的条件的示例的表。

图39B是示出用于对检测结果进行分类的条件的示例的表

图39C是示出用于对检测结果进行分类的条件的示例的表。

图40是示出最终判定处理的示例的流程图。

图41A是示出剔除条件的示例的图。

图41B是示出剔除条件的示例的表。

图42是示出合并处理的条件的示例的表。

图43是示出校正处理的示例的图。

图44是示出整合校正处理的示例的流程图。

图45是示出在包含框架内具有视差的像素的外接矩形的图。

图46是示出部分框架的校正处理的过程的流程图。

图47是示出是否是组合处理的目标的条件的示例的表。

图48是示出短距离的校正处理的过程的流程图。

图49是示出长距离的校正处理的过程的流程图。

图50是示出高度图的示例的图。

图51是示出关注区域的示例的图。

图52是示出高度轮廓的示例的图。

图53是示出高度轮廓的示例的图。

图54是示出组合判定处理的过程的流程图。附图旨在描述本发明的示例性实施方式，而不应被解释为限制其范围。在各个附图中，相同或相似的附图标记表示相同或相似的部件。

具体实施方式

本文使用的术语仅用于描述特定实施方式的目的，并不意图限制本发明。

如本文所使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。

在描述附图所示的优选实施方式时，为了清楚起见，可以采用特定术语。然而，本专利说明书的公开内容并不旨在限于如此选择的特定术语，并且应理解，每个特定元件包括具有相同功能、以类似方式操作并实现类似的结果的所有技术等效物。

第一实施方式

下面参照附图具体描述实施方式。这里，举例说明对象识别装置1安装在机动车上的情况。

包括对象识别装置的车辆的示意性配置

图1A和图1B是示出根据本实施方式的设备控制系统安装在车辆上的示例的图。参照图1A和图1B，下面描述其上安装有根据本实施方式的设备控制系统60的车辆70。图1A是安装有设备控制系统60的车辆70的侧视图，图1B是车辆70的前视图。

如图1A和图1B所示，设备控制系统60安装在作为机动车的车辆70上。设备控制系统60包括安装在作为车辆70的就座空间的车厢中的对象识别装置1、车辆控制装置6(控制装置)、方向盘7和制动踏板8。

对象识别装置1具有用于对车辆70的行进方向进行成像的成像功能，并且例如安装在车辆70的后视镜附近的前窗的内侧。关于对象识别装置1的配置和操作的细节将在后面描述。对象识别装置1包括主体单元2以及固定到主体单元2上的成像单元10a和成像单元10b。成像单元10a和10b固定到主体单元2上，以便拍摄在车辆70的行进方向上的对象的图像。

车辆控制装置6是基于从对象识别装置1接收的识别信息来执行各种车辆控制的电子控制单元(ECU)。作为车辆控制的示例，车辆控制装置6基于从对象识别装置1接收的识别信息来执行用于控制包括方向盘7的转向系统(控制对象)以避开障碍物的转向控制、用于控制制动踏板8(控制对象)使车辆70减速和停止的制动控制等。

如在包括对象识别装置1和车辆控制装置6的设备控制系统60中，通过执行诸如转向控制或制动控制的车辆控制，可以提高车辆70的驾驶安全性。

如上所述，假设对象识别装置1拍摄车辆70的前方的图像，但是实施方式不限于此。也就是说，对象识别装置1可以被安装为拍摄车辆70的后面或侧面的图像。在这种情况下，对象识别装置1可以检测车辆70后方的跟随车辆和人的位置、车辆70侧面的另一个车辆和人的位置等。车辆控制装置6可以检测在车辆70改变车道时或在车辆70加入车道时的危险，并执行如上所述的车辆控制。在停放车辆70等时的反向操作中基于从对象识别装置1输出的关于车辆70后方的障碍物的识别信息确定存在碰撞风险时，车辆控制装置6可以执行如上所述的车辆控制。

对象识别装置的硬件配置

图2是示出根据本实施方式的对象识别装置的硬件配置的示例的图。参照图2，下面描述了对象识别装置1的硬件配置。

如图2所示，对象识别装置1包括主体单元2中的视差值导出单元3和识别处理单元5。

视差值导出单元3从通过对对象E成像获得的多个图像导出表示对象E的视差的视差值dp，并输出表示每个像素的视差值dp的视差图像(“其中检测目标的竖直方向上的位置、检测目标的水平方向上的位置和检测目标的深度方向上的位置彼此相关联的测量信息”的示例)。识别处理单元5基于从视差值导出单元3输出的视差图像对拍摄图像中投影的诸如人和车等对象进行对象识别处理等，并向车辆控制装置6输出作为表示对象识别处理结果的信息的识别信息。

如图2所示，视差值导出单元3包括成像单元10a、成像单元10b、信号转换单元20a、信号转换单元20b和图像处理单元30。

成像单元10a是对前方对象成像并生成模拟图像信号的处理单元。成像单元10a包括成像透镜11a、光阑12a和图像传感器13a。

成像透镜11a是用于折射入射光以在图像传感器13a上形成对象的图像的光学元件。光阑12a是通过阻挡穿过成像透镜11a的一部分光来调节输入到图像传感器13a的光量的构件。图像传感器13a是将进入成像透镜11a并穿过光阑12a的光转换成电模拟图像信号的半导体元件。例如，图像传感器13a由诸如电荷耦合器件(CCD)或互补式金属氧化物半导体(CMOS)的固态成像元件实现。

成像单元10b是对前方对象成像并生成模拟图像信号的处理单元。成像单元10b包括成像透镜11b、光阑12b和图像传感器13b。成像透镜11b、光阑12b和图像传感器13b的功能分别与上述成像透镜11a、光阑12a和图像传感器13a的功能相同。成像透镜11a和成像透镜11b安装成使得它们的透镜表面位于同一平面上，使得左摄像机和右摄像机可以在相同条件下拍摄图像。

信号转换单元20a是将由成像单元10a生成的模拟图像信号转换为数字图像数据的处理单元。信号转换单元20a包括相关双采样电路(CDS)21a、自动增益控制器(AGC)22a、模拟数字转换器(ADC)23a和框架存储器24a。

CDS 21a通过相关双采样、水平方向上的差分滤波器、竖直方向上的平滑滤波器等从图像传感器13a产生的模拟图像信号中去除噪声。AGC 22a执行增益控制，以控制通过CDS21a从中去除了噪声的模拟图像信号的强度。ADC 23a将由AGC 22a执行了增益控制的模拟图像信号转换为数字图像数据。框架存储器24a存储由ADC 23a转换的图像数据。

信号转换单元20b是将由成像单元10b生成的模拟图像信号转换为数字图像数据的处理单元。信号转换单元20b包括CDS 21b、AGC 22b、ADC 23b和框架存储器24b。CDS 21b、AGC 22b、ADC 23b和框架存储器24b的功能分别与上述CDS 21a、AGC 22a、ADC 23a和框架存储器24a的功能相同。

图像处理单元30是对由信号转换单元20a和信号转换单元20b转换的图像数据执行图像处理的装置。图像处理单元30包括现场可编程门阵列(FPGA)31、中央处理单元(CPU)32、只读存储器(ROM)33、随机存取存储器(RAM)34、接口(I/F)35、总线39。

FPGA 31是集成电路，在本文执行基于图像数据导出图像的视差值dp的处理。CPU32控制视差值导出单元3的每个功能。ROM 33存储用于由用于控制视差值导出单元3的每个功能的CPU 32执行的图像处理的计算机程序。RAM 34用作CPU 32的工作区域。I/F 35是用于经由通信线路4与识别处理单元5的I/F 55通信的接口。如图2所示，总线39是将FPGA 31、CPU 32、ROM 33、RAM 34和I/F 35以能通信的方式彼此连接的地址总线、数据总线等。

假设图像处理单元30包括作为用于导出视差值dp的集成电路的FPGA 31，但是实施方式不限于此。集成电路可以是专用集成电路(ASIC)等。

如图2所示，识别处理单元5包括FPGA 51、CPU 52、ROM 53、RAM 54、I/F 55、控制器局域网(CAN)I/F 58和总线59。

FPGA51是集成电路，在本文中基于从图像处理单元30接收的视差图像对对象执行对象识别处理。CPU 52控制识别处理单元5的每个功能。ROM 53存储由CPU 52执行的用于对象识别处理的计算机程序，以执行识别处理单元5的对象识别处理。RAM 54用作CPU 52的工作区域。I/F 55是用于经由通信线路4与图像处理单元30的I/F 35进行数据通信的接口。CAN I/F 58是用于与外部控制器(例如，图2所示的车辆控制装置6)通信的接口。例如，连接至机动车的CAN等的总线59是如图2所示以可通信的方式连接FPGA 51，CPU 52、ROM 53、RAM54、I/F 55和CAN I/F 58的地址总线、数据总线等。

利用这样的配置，当视差图像从图像处理单元30的I/F 35经由通信线路4发送到识别处理单元5时，FPGA 51根据来自识别处理单元5的CPU 52的命令基于视差图像对投影在拍摄图像中的诸如人和车辆的对象执行对象识别处理等。

上述每个计算机程序可以作为可安装或可执行的文件记录并分配在计算机可读记录介质中。记录介质的示例包括压缩光盘只读存储器(CD-ROM)或安全数字(SD)存储卡。

对象识别装置的功能块的配置和操作

图3是示出根据本实施方式的对象识别装置的功能块配置的示例的图。首先，下面参照图3描述对象识别装置1的功能块的配置和操作。

如上参照图2所述，对象识别装置1包括图3所示的视差值导出单元3和识别处理单元5。其中，视差值导出单元3包括图像获取单元100a(第一成像模块)、图像获取单元100b(第二成像模块)、转换单元200a和200b以及视差值算术处理单元(生成单元)300。

对象识别装置1的至少一些功能单元可以由FPGA 31或FPGA 51实现，或者可以在CPU 32或CPU 52执行计算机程序时实现。

图像获取单元100a和图像获取单元100b是分别从由右摄像机(成像单元10a)和左摄像机(成像单元10b)拍摄的图像获得亮度图像的功能单元。

转换单元200a是从由图像获取单元100a获得的亮度图像的图像数据中去除噪声并将图像数据转换为要输出的数字图像数据的功能单元。转换单元200a可以由图2所示的信号转换单元20a实现。

转换单元200b是从由图像获取单元100b获得的亮度图像的图像数据中去除噪声并将图像数据转换为要输出的数字图像数据的功能单元。转换单元200b可以由图2所示的信号转换单元20b实现。

关于由转换单元200a和200b输出的两个亮度图像的图像数据(下文中，简称为亮度图像)，由用作右摄像机(成像单元10a)的图像获取单元100a拍摄的亮度图像被假设是参考图像Ia的图像数据(下文中，简称为参考图像Ia)，并且由用作左摄像机(成像单元10b)的图像获取单元100b拍摄的亮度图像被假设是比较图像Ib的图像数据(以下，简称为比较图像Ib)。也就是说，转换单元200a和200b基于从图像获取单元100a和100b输出的两个亮度图像分别输出参考图像Ia和比较图像Ib。

视差值算术处理单元300基于从转换单元200a和200b接收的参考图像Ia和比较图像Ib来导出参考图像Ia的每个像素的视差值，并生成其中参考图像Ia的每个像素与视差值相关联的视差图像。

图4是示出根据本实施方式的对象识别装置的识别处理单元的功能块配置的示例的图。参照图4，下面描述识别处理单元5的功能块的配置和操作。

如图4所示，识别处理单元5包括第二生成单元500、聚类处理单元510和跟踪单元530。

第二生成单元500

第二生成单元500是接收从视差值算术处理单元300输入的视差图像，接收从视差值导出单元3输入的参考图像Ia，并生成V差异(Disparity)图、U差异图、真实U差异图等的功能单元。V差异图是“竖直方向上的位置与深度方向上的位置相关联的信息”的示例。U差异图和真实U差异图是“水平方向上的位置与深度方向上的位置相关联的信息”的示例。

如图4所示，第二生成单元500包括第三生成单元(运动表面估计单元)501、第四生成单元502和第五生成单元503。参照图4至图7B，下面描述识别处理单元5的第二生成单元500的配置和操作。

图5A是示出参考图像的示例的图，图5B是示出根据参考图像和视差图像生成的Vmap的示例的图。图6A是示出参考图像的示例的图。图6B和图6C是示出根据参考图像和视差图像生成的Umap的示例的图。图7A和图7B是示出根据Umap生成的真实Umap的示例的图。

第三生成单元501是根据从视差值算术处理单元300输入的视差图像来生成用于检测路面(移动表面)的作为图5B所示的V差异图的Vmap VM的功能单元。这里，假设竖轴表示参考图像Ia(图5A)的y轴(竖直方向)，横轴表示视差图像的视差值dp或深度方向上的距离，V差异图是表示视差值dp的频率分布的二维直方图。在图5A所示的参考图像1a中，例如，投射有路面600、电线杆601和汽车602。参考图像1a中的路面600对应于Vmap VM中的路面部分600a，电线杆601对应于电线杆部分601a，并且汽车602对应于汽车部分602a。

第三生成单元501对从生成的Vmap VM估计为路面的位置进行线性近似。当路面平坦时，可以用一条直线进行近似，但是当路面的倾斜度可变时，需要通过划分Vmap VM中的区段来精确地进行线性近似。作为线性近似，可以使用霍夫变换、最小二乘法等作为公知技术。在Vmap VM中，作为位于检测到的路面部分600a上方的附聚物的电线杆部分601a和汽车部分602a分别对应于作为路面600上的对象的电线杆601和汽车602。当由后面描述的第四生成单元502生成U差异图时，仅关于位于路面上方的部分的信息被用于去除噪声。如果估计路面，则找到路面的高度，从而可以找到对象的高度。该过程通过使用公知的方法进行。例如，获得表示路面的线性表达式，使得确定视差值dp＝0的对应y坐标y0，并且坐标y0是路面的高度。例如，当视差值是dp并且y坐标是y’时，y’-y0表示在视差值d的情况下距路面的高度。可以通过算术表达式H＝(z×(y’-y0))/f获得上述坐标(dp，y’)处距路面的高度H。在这种情况下，算术表达式中的“z”是根据视差值dp(z＝BF/(d-偏移))计算的距离，“f”是通过将成像单元10a和10b的焦距f转换成与(y’-y0)的单位相同的单位而获得的值。在这种情况下，BF是通过将基本长度B乘以成像单元10a和10b的焦距f而获得的值，并且偏移是在拍摄无限远对象的情况下的视差。

第四生成单元502是通过仅使用位于Vmap VM中检测到的路面上方(“高于或等于第一高度”的示例)的信息(即，使用关于对应于图6A所示的参考图像Ia中的左护栏611、右护栏612、汽车613和汽车614的视差图像的信息)来生成作为用于识别对象的图6B所示的U差异图的Umap UM(第二频率图像)的功能单元。这里，假设水平轴表示参考图像Ia的x轴(水平方向)，并且竖轴表示视差图像的视差值dp或深度方向上的距离，Umap UM是表示视差值dp的频率分布的二维直方图。图6A所示的参考图像Ia中的左护栏611对应于Umap UM中的左护栏部分611a，右护栏612对应于右护栏部分612a，汽车613对应于汽车部分613a，并且汽车614对应于汽车部分614a。

第四生成单元502通过仅使用位于Vmap VM中检测到的路面上方的信息(即，使用关于对应于图6A所示的参考图像Ia中的左护栏611、右护栏612、汽车613和汽车614的视差图像的信息)来生成作为图6C所示的U差异图的示例的高度Umap UM_H。作为U差异图的示例的高度Umap UM_H是其中假设水平轴表示参考图像Ia的x轴，假设竖轴表示视差图像的视差值dp，并且假设像素值是对象的高度的图像。在这种情况下，对象的高度值是距路面的高度的最大值。图6A所示的参考图像Ia中的左护栏611对应于高度Umap UM_H中的左护栏部分611b，右护栏612对应于右护栏部分612b，汽车613对应于汽车部分613b，并且汽车614对应于汽车部分614b。

第五生成单元503根据由第四生成单元502生成的高度Umap UM_H生成真实高度Umap RM_H，作为通过将水平轴转换为实际距离而获得的图7A所示的真实U差异图的示例。

第五生成单元503还根据由第四生成单元502生成的Umap UM生成真实Umap RM，作为通过与上述处理相同的处理将水平轴转换为实际距离而获得的图7B所示的真实U差异map的示例。

这里，假设水平轴表示从成像单元10b(左摄像机)到成像单元10a(右摄像机)的方向(水平方向)上的实际距离，竖轴表示视差图像的视差值dp(或者从视差值dp转换的深度方向上的距离)，真实高度Umap RM_H和真实Umap RM中的每一个都是二维直方图。图7A所示的真实高度Umap RM_H中的左护栏部分611b对应于真实Umap RM中的左护栏部分611c，右护栏部分612b对应于右护栏部分612c，汽车部分613b对应于汽车部分613c，并且汽车部分614b对应于汽车部分614c。

具体地，在高度Umap UM_H和Umap UM中，当对象处于远处(视差值dp小)时，由于对象小并且视差信息量和距离分辨率小，第五生成单元503通过不执行稀化(thin out)来生成与俯视图对应的真实高度Umap RM_H和真实Umap RM，而当对象处于短距离位置时，由于投影的对象大并且视差信息量和距离分辨率大，第五生成单元503通过大大稀化像素来生成与俯视图对应的真实高度Umap RM_H和真实Umap RM。如后面所述，可以从真实高度UmapRM_H或真实Umap RM提取像素值的群集(cluster)(对象区域)。在这种情况下，围绕该群集的矩形的宽度对应于提取的对象的宽度，并且其高度对应于提取的对象的深度。第五生成单元503不一定根据高度Umap UM_H生成真实高度Umap RM_H。可替代地，第五生成单元503可以直接根据视差图像生成真实高度Umap RM_H。

第二生成单元500可以根据生成的高度Umap UM_H或真实高度Umap RM_H中指定对象的视差图像和参考图像Ia中的X轴方向上的位置和宽度(xmin，xmax)。第二生成单元500可以根据生成的高度Umap UM_H或真实高度Umap RM_H中的对象的高度(dmin，dmax)的信息指定对象的实际深度。第二生成单元500可以根据生成的Vmap VM指定对象在视差图像和参考图像Ia中的y轴方向上的位置和高度(ymin＝“对应于具有最大视差值的距路面的最大高度的y坐标”，ymax＝“表示从最大视差值获得的距路面的高度的y坐标”)。第二生成单元500还可以根据在视差图像中指定的对象的x轴方向上的宽度(xmin，xmax)和y轴方向上的高度(ymin，ymax)以及与之对应的视差值dp来指定对象的x轴方向和y轴方向上的实际尺寸。如上所述，第二生成单元500可以通过使用Vmap VM、高度Umap UM_H和实际高度Umap RM_H来指定对象在参考图像Ia中的位置以及其实际宽度、高度和深度。对象在参考图像Ia中的位置被指定，使得其在视差图像中的位置也被确定，并且第二生成单元500可以指定到对象的距离。

图8是用于说明对对象的类型进行分类的方法的图。第二生成单元500可以基于为对象指定的实际尺寸(宽度、高度和深度)，使用图8所示的表来指定对象的分类(对象类型)。例如，在对象的宽度为1300[mm]，其高度为1800[mm]，并且其深度为2000[mm]的情况下，该对象可被指定为“普通汽车”。可以将宽度、高度和深度与图8所示的对象的分类(对象类型)相关联的信息作为表格存储在RAM 54等中。

聚类处理单元510

图4所示的聚类处理单元510是基于从第二生成单元500输入的每个图来检测诸如车辆的对象的功能单元。如图4所示，聚类处理单元510包括基本检测单元511、分离检测单元512、整合检测单元513、选择单元514、框架创建单元515、背景检测单元516和剔除单位517。

基本检测单元511基于作为高分辨率图的真实U差异图执行用于检测诸如车辆的对象的深度、宽度等的基本检测处理。下面描述基本检测单元511使用真实U差异图执行检测的示例。可替代地，基本检测单元511可以使用U差异图执行检测。在这种情况下，例如，基本检测单元511可以执行将U差异图中的x坐标转换为横向方向(水平方向)上的实际距离等的处理。在基本检测处理中，例如，如果基于Vmap VM估计的路面低于实际路面，则对象区域的检测精度变差。

分离检测单元512使用如下的图作为高位置图的示例来执行用于检测诸如车辆的对象的深度、宽度等的分离检测处理，该图是采用真实U差异图中包括的视差点中的距路面的高度大于或等于预定值(“第二高度”)的视差点的图。在对象的高度相对较低的情况下，分离检测单元512可以在某些情况下将相同的对象分为要检测的多个对象区域。

整合检测单元513使用小的真实Umap作为低分辨率图的示例来执行用于检测诸如车辆的对象的深度、宽度等的整合检测处理，该小的真实Umap例如是通过使像素稀化来减小真实U差异图而获得的。小的真实Umap中的像素的数量少于真实Umap的像素的数量，使得假设小的真实Umap的分辨率较低。整合检测单元513可以使用通过减小U差异图所获得的图来执行检测。整合检测单元513使用分辨率相对较低的小的真实Umap，使得整合检测单元513可以在一些情况下将多个对象检测为相同对象。

以这种方式，通过基本上使用用于对象检测的高分辨率图，并且还使用具有较高的分离性能的高位置图和可以整体检测相同对象的低分辨率图，可以提高对象的检测性能。

选择单元514从由基本检测单元511、分离检测单元512和整合检测单元513检测到的对象中选择将不被剔除的对象。这里，剔除意味着从稍后阶段的处理(跟踪处理等)中排除对象的处理。

框架创建单元515在视差图像Ip(或参考图像Ia)中的与由选择单元514选择的对象的区域对应的区域(识别区域)中创建框架(检测框架)。这里，框架是指围绕对象的矩形的信息，该信息是表示对象的位置和大小的信息，例如，矩形的拐角坐标和矩形的高度和宽度的信息。

背景检测单元516在由框架创建单元515创建的检测框架中检测与检测框架对应的对象的背景。

剔除单元517剔除与其中通过背景检测单元516检测到满足预定条件的背景的检测框架对应的对象。背景检测和基于其的剔除优选被执行，但不一定被执行。

跟踪单元530

跟踪单元530是基于识别区域信息执行跟踪处理的功能单元，该识别区域信息是关于由聚类处理单元510识别的对象的信息，该跟踪处理是对对象跟踪的处理。这里，识别区域信息是指关于由聚类处理单元510识别的对象的信息，例如包括诸如识别对象在V差异图、U差异图和真实U差异图中的位置和尺寸的信息、后面描述的标记处理的标识号和剔除标记。

处理

接下来，下面参照图9描述由聚类处理单元510执行的处理。图9是示出由聚类处理单元510执行的处理的示例的流程图。

在步骤S11中，聚类处理单元510的基本检测单元511执行用于从真实Umap RM检测对象的区域的基本检测处理。在基本检测处理中，检测真实Umap RM上的视差点群集。

在真实Umap RM中，像素的数量相对较大，使得距离的分辨率相对较高，并且利用位于路面上方的对象的视差信息。因此，在基本检测处理中，以相对稳定的精度检测对象区域。然而，例如，当基于Vmap VM估计的路面低于实际路面时，或者当作为检测目标的对象的视差点的数量小时，对象区域的检测精度变差。关于基本检测处理的细节将在后面描述。

随后，聚类处理单元510的分离检测单元512执行用于使用真实Umap RM中包括的视差点中的距路面的高度大于或等于预定值的视差点来检测对象的区域的分离检测处理(步骤S12)。在分离检测处理中，从真实Umap RM中包括的视差点中检测距路面的高度大于或等于预定值的视差点群集。因此，由于高度相对较高的对象不受距路面的高度相对较低的对象的影响，因此即使当多个高度相对较高的对象彼此相邻时，也可以检测到通过将对象彼此正确地分离而获得的对象区域。然而，当对象具有相对较低的高度时，在某些情况下相同对象可以被检测到被分成多个对象区域。关于分离检测处理的细节将在后面描述。

随后，聚类处理单元510的整合检测单元513执行整合检测处理，该整合检测处理用于使用小的真实Umap作为通过稀化来自真实Umap RM像素而获得的图像，来检测对象的区域(步骤S13)。例如，可以通过稀化来自真实Umap RM的像素来创建小的真实Umap，使得一个像素的宽度对应于大约10cm。在稀化像素时，可以从真实Umap RM中简单地提取像素，或者可以基于从真实Umap RM中提取的像素的预定范围内的像素的值来确定小的真实Umap中的像素的值。在整合检测处理中，在视差点的数量少的对象的情况下，相同对象相对较难被检测到被分成多个对象区域。然而，例如，距离的分辨率相对较低，使得彼此相邻的多个对象可以被检测为相同对象。关于整合检测处理的细节将在后面描述。

上述基本检测处理、分离检测处理和整合检测处理可以以任何顺序执行，或者可以并行执行。

随后，聚类处理单元510的选择单元514从通过如上所述的“基本检测处理”、“分离检测处理”和“整合检测处理”检测到的对象区域中选择要输出到框架创建单元515的对象区域(步骤S14)。关于选择要输出到框架创建单元515的对象区域的处理的细节将在后面描述。

随后，聚类处理单元510的框架创建单元515创建与由选择单元514选择的对象区域对应的检测框架(步骤S15)。图10A和图10B是用于说明创建检测框架的处理的图。图10A是示出真实Umap RM的示例的图，并且图10B是示出基于真实Umap RM的视差图像Ip(参考图像Ia)的示例的图。如图10B所示，通过使用通过对象区域检测处理检测到并且通过路面区域剔除处理未剔除的对象区域，在与视差图像Ip(或参考图像Ia)中的对象区域对应的区域(识别区域)中创建框架。

随后，聚类处理单元510的背景检测单元516检测创建的检测框架中的与通过“整合检测处理”检测到的对象区域对应的检测框架中的背景(步骤S16)。关于在检测框架中进行检测背景的处理的细节将在后面描述。

随后，聚类处理单元510的剔除单元517执行剔除处理(步骤S17)。关于剔除处理的细节将在后面描述。

基本检测处理

接下来，参照图11，下面描述由基本检测单元511执行的步骤S11的基本检测处理。图11是示出基本检测处理的示例的流程图。

在步骤S201中，基本检测单元511执行用于对在真实Umap RM中的视差点的在竖直、水平或倾斜方向上连续的像素赋予相同ID的8邻域标记处理，该视差点是像素值大于或等于的预定值(视差的频率)的像素。可以使用公知的标记处理。

随后，基本检测单元511设置外接赋予了相同ID的每个像素组(每个隔离区域)的矩形(步骤S202)。

随后，基本检测单元511剔除具有小于或等于预定值的尺寸的矩形(步骤S203)。这是因为尺寸小于或等于预定值的矩形可以被确定为噪声。例如，基本检测单元511还可以剔除相对于每个矩形的区域的真实Umap RM的区域中的像素值(视差的频率)的平均值小于预定值的矩形。

因此，外接每个隔离区域的矩形被检测为对象区域。

在基本检测处理中，基于视差图像检测表示对象的区域就足够了。可以使用公知的技术来执行基本检测处理。

分离检测处理

接下来，下面描述由分离检测单元512执行的步骤S12的分离检测处理。分离检测处理与上述“基本检测处理”的明显不同之处在于，使用的是在真实Umap RM中包括的视差点中的距路面的高度大于或等于预定值的视差点，而不是使用真实Umap RM中包含的所有视差点。其他点可以与上述“基本检测处理”的点相同。在“分离检测处理”中的步骤S201中执行8领域标记处理时，在真实Umap RM中水平方向上的小于或等于预定值(例如，对应于一个像素)的视差点的中断可能是由噪声引起的，使得视差点可以被认为是连续的。

整合检测处理

接下来，参照图12，下面描述由整合检测单元513执行的步骤S13的整合检测处理。图12是示出整合检测处理的示例的流程图。

在步骤S301中，整合检测单元513执行用于对小的真实Umap上在竖直方向(深度方向)或横向方向(水平方向)上连续的像素(视差点)赋予相同ID的4邻域标记处理。在上述处理中，可以使用8邻域标记处理。

随后，整合检测单元513设置外接赋予了相同ID的每个像素组(每个隔离区域)的矩形(步骤S302)。

随后，整合检测单元513提取诸如车辆的对象(步骤S303)。整合检测单元513基于每个隔离区域的宽度、深度、视差频率等来提取诸如车辆的对象的区域。因此，外接每个隔离区域的矩形被检测为对象区域。

选择处理

接下来，参照图13，下面描述由选择单元514执行的步骤S14的选择要输出到框架创建单元515的对象区域的处理。图13是示出选择要输出的对象区域的处理的示例的流程图。

在步骤S401中，选择单元514剔除通过整合检测处理检测到的对象区域中的不存在于主车辆正在行驶的车道上的对象区域。例如，当对象区域的位置在从主车辆的向前方向的预定范围之外时，选择单元514剔除对象区域。因此，对于可能妨碍主车辆行驶的对象，输出通过整合检测处理检测到的对象区域。

在距主车辆的距离相对较长的远处地方，检测对象区域的位置的精度变差。因此，可以对应于距主车辆的距离将预定范围设置为相对较宽。

随后，选择单元514确定通过整合检测处理检测到的对象区域与通过基本检测处理检测到的一个对象区域是否在真实Umap RM中在一定程度上重叠(步骤S402)。例如，如果通过将其中通过整合检测处理检测到的对象区域与通过基本检测处理检测到的对象区域在真实Umap RM中重叠的区域的面积除以通过基本检测处理检测到的对象区域的面积而获得的值大于或等于预定阈值，则确定它们在一定程度上彼此重叠。

如果对象区域在一定程度上彼此重叠(步骤S402为是)，则选择单元514判定作为整合检测处理的结果的对象区域的尺寸是否小于作为基本检测处理的结果的对象区域的尺寸(步骤S403)。如果判定尺寸较小(步骤S403为是)，则通过基本检测处理检测到的对象区域和通过分离检测处理检测到的对象区域被输出到框架创建单元515(步骤S404)，并且处理结束。也就是说，作为包含检测结果的基本检测处理的结果和作为部分检测结果的分离检测处理的结果在作为表示相同对象的信息彼此相关联的同时被输出。这是因为，当作为整合检测处理的结果的对象区域的尺寸小于作为基本检测处理的结果的对象区域的尺寸时，整合检测处理的结果很可能是错误的，使得基本检测处理的结果被认为是作为表示一个对象的信息最可靠的，而分离检测处理的结果被认为是作为表示多个对象的信息最可靠的。

如果尺寸被判定为不是较小(步骤S403为“否”)，则选择单元514判定在通过基本检测处理检测到的一个对象区域中是否存在通过分离检测处理检测到的多个对象区域(步骤S405)。

如果存在多个对象区域(步骤S405为“是”)，则选择单元514将通过整合检测处理检测到的对象区域和通过分离检测处理检测到的对象区域输出到框架创建单元515(步骤S406)，并且结束该处理。也就是说，作为包含检测结果的整合检测处理的结果和作为部分检测结果的分离检测处理的结果在作为表示相同对象的信息彼此相关联的同时被输出。这是因为，当在通过基本检测处理检测到的一个对象区域中存在通过分离检测处理检测到的多个对象区域时，整合检测处理的结果被认为是作为表示一个对象的信息最可靠的，而分离检测处理的结果被认为是作为表示多个对象的信息最可靠的。

如果不存在多个对象区域(步骤S405为“否”)，则选择单元514将通过整合检测处理检测到的对象区域和通过基本检测处理检测到的一个对象区域输出到框架创建单元515(步骤S407)，并且处理结束。也就是说，作为包含检测结果的整合检测处理的结果和作为部分检测结果的基本检测处理的结果在作为表示相同对象的信息彼此相关联的同时被输出。这是因为，当通过基本检测处理检测到的一个对象区域中不存在通过分离检测处理检测到的多个对象区域时，基本检测处理的结果和分离检测处理的结果可以被同等对待，使得整合检测处理的结果被认为是作为表示一个对象最可靠的，并且基本检测处理的结果被认为是作为表示多个对象的信息最可靠的。

如果对象区域在一定程度上彼此不重叠(步骤S402为“否”)，则选择单元514仅将通过整合检测处理检测到的对象区域输出到框架创建单元515(步骤S408)，并且处理结束。也就是说，作为包含检测结果的整合检测处理的结果和作为部分检测结果的表示未检测到对象区域的结果在作为表示相同对象彼此相关联的同时被输出。这是因为，当通过整合检测处理检测到的对象区域与通过基本检测处理检测到的一个对象区域在一定程度上不重叠时，几乎不受噪声影响的整合检测处理的结果被认为是作为表示对象的大致位置的信息最可靠的。

对于通过整合检测处理检测到的每个对象区域，执行步骤S402之后的处理。

如上所述，各个检测处理结果被简单地比较并相互关联以被输出，使得可以在相对较短的时间内输出高精度的检测结果。

检测检测框架中的背景的处理

接下来，参照图14，下面描述步骤S16中检测检测框架中的背景的处理。图14是示出选择要输出的对象区域的处理的示例的流程图。

在步骤S501中，背景检测单元516计算与在视差图像Ip中创建的检测框架对应的真实Umap RM上的范围。当检测框架位于主车辆的直的行进方向附近时，该范围可以是与检测框架对应的对象区域的真实Umap RM中的水平方向上的坐标的左端与对象区域的水平方向上的坐标的右端之间的范围。可替代地，例如，该范围可以是连接成像单元10a和成像单元10b的中心和与检测框架对应的真实Umap RM上的对象区域的视差点的两条不同直线(即，相对于水平方向具有最大角度的第一直线和相对于水平方向具有最小角度的第二直线)之间的范围。

随后，背景检测单元516创建表示该范围中的与检测框架对应的真实Umap RM上的对象区域的视差点的视差频率的总值的直方图(下文中，称为“对象视差直方图”)(步骤S502)。

随后，背景检测单元516创建表示该范围中的远离与检测框架对应的真实Umap RM上的对象区域预定距离或更大距离的视差点的视差频率的总值的直方图(下文中，称为“背景视差直方图”)(步骤S503)。

随后，背景检测单元516判定在该范围是否存在对象视差直方图的值小于或等于第一预定值且背景视差直方图的值大于或等于第二预定值的部分(步骤S504)。

如果该部分存在(步骤S504为是)，则背景检测单元516判定检测框架中存在背景(步骤S505)，并且处理结束。

如果该部分不存在(步骤S504为“否”)，则背景检测单元516判定检测框架中不存在背景(步骤S506)，并且处理结束。

图15A、图15B和图15C是用于说明在用于诸如车辆的对象区域的检测框架的情况下的背景检测处理的图。在图15A中的用于诸如车辆的对象区域的检测框架701的预定高度中，可以仅使用存在于预定高度的范围702中的真实Umap RM上的视差点。在这种情况下，如图15B所示，在对象视差直方图705中，视差频率的总值在与车辆等的两端703和704的附近对应的部分处增大。在这种情况下，如图15C所示，比诸如车辆的对象更远的对象因被诸如车辆的对象阻挡而未被拍摄到，使得视差频率的总值实质上不存在于背景视差直方图706中。在这种情况下，在步骤S506中，判定检测框架中不存在背景。

图16A、图16B和图16C是用于说明在其中组合了诸如行人的两组的对象区域的检测框架的情况下的背景检测处理的图。与图15A至图15C的情况类似，在图16A中的用于对象区域的检测框架711的预定高度中，可以仅使用存在于预定高度的范围712中的真实UmapRM上的视差点。在这种情况下，如图16B所示，在对象视差直方图717中，视差频率的总值在行人713、714、715、716等附近增大。在这种情况下，比诸如行人的对象更远的对象通过行人等之间的间隙被拍摄到。因此，在背景视差直方图718中，如图16C所示，在对象视差的值实质上不存在的部分719中存在其中背景视差直方图718的值大于或等于预定值的部分720。在这种情况下，在步骤S505中，判定检测框架中存在背景。

剔除处理

接下来，参照图17，下面描述步骤S17的剔除处理。图17是示出剔除处理的示例的流程图。在剔除处理中，在与在步骤S14中选择的对象区域对应的检测框架中，剔除满足预定条件的检测框架。

在以下描述中，在上述步骤S16中检测检测框架中的背景的处理中，在与通过“整合检测处理”检测到的对象区域对应的检测框架中，可以使被判定为包括背景的每个检测框架成为处理目标。

在步骤S601中，剔除单元517判定在作为处理目标的检测框架中是否存在与通过基本检测处理或分离检测处理检测到的多个对象区域对应的多个检测框架。

如果不存在多个检测框架(步骤S601为“否”)，则处理结束。

如果存在多个检测框架(步骤S601为“是”)，则剔除单元517判定在检测框架之间的部分中是否存在背景(步骤S602)。此时，类似于上述检测检测框架中的背景的处理，当在该部分中背景视差直方图的值大于或等于预定值时，判定存在背景。

如果不存在背景(步骤S602为“否”)，则处理结束。

如果存在背景(步骤S602为“是”)，则剔除单元517剔除作为处理目标的检测框架(步骤S603)。

图18A和图18B是用于说明基于背景信息的剔除处理的图。在图18A的示例中，对应于通过基本检测处理检测到的一个对象区域的检测框架752存在于作为处理目标的检测框架751中。如图18A所示，当在作为处理目标的检测框架751中不存在多个检测框架时，不剔除作为处理目标的检测框架751。

在图18B的示例中，与通过基本检测处理或分离检测处理检测到的多个对象区域对应的多个检测框架762和763存在于作为处理目标的检测框架761中。此时，类似于上述检测检测框架中的背景的处理，如果背景视差直方图的值在检测框架762和763之间的部分764中大于或等于预定值，则是判定存在背景。

如图18B所示，即使诸如杆的侧方对象765和车辆767通过基本检测处理被检测为相同对象的情况下，它们也可以通过背景检测和基于其的剔除处理被检测为具有检测框架762和763的不同对象。

剔除单元517可以在不执行背景检测的情况下使用另一种方法剔除检测框架。例如，在与步骤S14中选择的对象区域对应的检测框架中，剔除单元517可以使用图8所示的对象的类别的分类方法来剔除与被分类为“其他”的对象的区域对应的检测框架。在与步骤S14中选择的对象区域对应的检测框架中，剔除单元517可以剔除与另一个检测框架重叠的检测框架，其重叠面积大于或等于预定比率。

结论

根据上述实施方式，具有相对较低的分离性能的第一检测结果和具有相对较高的分离性能的第二检测结果被生成为彼此相关联。该配置可以通过在稍后阶段执行简单处理来提高容易识别对象的性能。基于预定条件剔除彼此相关联的第一检测结果和第二检测结果中的一个。该配置可以提高识别多个对象中的每一个的性能。

可以等效地处理距离的值(距离值)和视差值，使得在本实施方式中视差图像用作距离图像的示例。然而，实施方式不限于此。例如，可以通过将通过使用立体摄像机生成的视差图像与通过使用诸如毫米波雷达和激光雷达的检测装置生成的距离信息进行整合来生成距离图像。可替代地，可以同时使用立体摄像机和诸如毫米波雷达和激光雷达的检测装置，并且结果可以与通过上述立体摄像机获得的对象的检测结果组合以进一步改善检测精度。

不言而喻，上述实施方式中的系统配置仅是示例，并且根据应用和目的存在系统配置的各种示例。可以组合上述实施方式中的一些或所有部件。

例如，执行对象识别装置1的诸如视差值算术处理单元300、第二生成单元500、聚类处理单元510和跟踪单元530的功能单元的至少一部分处理的功能单元可以通过由一个或多个计算机构成的云计算来实现。

在上述实施方式中，描述了对象识别装置1安装在作为车辆70的机动车上的示例。然而，实施方式不限于此。例如，对象识别装置1可以安装在作为其他车辆的示例的诸如摩托车、自行车、轮椅和农业用耕耘机的车辆上。除了作为移动对象的示例的车辆之外，对象识别装置1也可以安装在诸如机器人的移动对象上。

在上述实施方式中，在对象识别装置1中的视差值导出单元3和识别处理单元5中的至少一个功能单元通过执行计算机程序来实现的情况下，将计算机程序嵌入并提供在ROM等中。由根据上述实施方式的对象识别装置1执行的计算机程序可以作为可安装或可执行的文件被记录并提供在计算机可读记录介质中，例如压缩光盘只读存储器(CD-ROM)、软盘(FD)、可记录压缩光盘(CD-R)和数字多功能光盘(DVD)。由根据上述实施方式的对象识别装置1执行的计算机程序可以存储在连接至诸如因特网的网络的计算机中，并且通过该网络下载来提供。此外，由根据上述实施方式的对象识别装置1执行的计算机程序可以通过诸如因特网的网络提供或分配。由根据上述实施方式的对象识别装置1执行的计算机程序具有包括上述功能单元中的至少一个的模块配置。作为实际硬件，当CPU 52(CPU 32)从上述ROM 53(ROM 33)读出并执行计算机程序时，上述功能单元被加载到主存储装置(RAM 54(RAM 34)等)中以便被生成。

第二实施方式

图19是示出根据第二实施方式的设备控制系统1100的示意性配置的示意图。如图19所示，设备控制系统1100设置在作为设备(移动对象)的示例的诸如机动车的车辆1101中。设备控制系统1100包括成像单元1102、分析单元1103、控制单元1104和显示单元1105。

成像单元1102设置在作为移动对象的示例的车辆1101的挡风玻璃1106上的车室内后视镜附近，并且例如拍摄在车辆1101的行进方向上的图像。包括通过成像单元1102执行的成像操作所获得的图像数据的各种数据被提供给分析单元1103。分析单元1103基于从成像单元1102提供的各种数据来分析要识别的对象，例如车辆1101正在行驶的路面、车辆1101的前方车辆、行人和障碍物。控制单元1104基于分析单元1103的分析结果经由显示单元1105向车辆1101的驾驶员发出警告等。控制单元1104基于分析结果执行诸如各种车载装置的控制以及车辆1101的方向盘控制或制动控制的行驶支持。尽管下面描述了车辆作为设备的示例，但是根据本实施方式的设备控制系统也可以应用于船舶、飞行器、机器人等。

图20是成像单元1102和分析单元1103的示意性框图。在该示例中，分析单元1103用作“信息处理装置”，一对成像单元1102和分析单元1103用作“成像装置”。上述控制单元1104用作“控制单元”，并且基于成像装置的输出结果来控制设备(在该示例中，车辆1101)。成像单元1102被配置为使得两个摄像机单元彼此并行地组装，摄像机单元包括用于左眼的第一摄像机单元1A和用于右眼的第二摄像机单元1B。也就是说，成像单元1102被配置为用于拍摄立体图像的立体摄像机。立体图像是指包括通过对每个视点成像而获得的多个拍摄图像(多个拍摄图像与多个视点一对一地对应)的图像，并且成像单元1102是用于拍摄立体图像的装置(用作“成像单元”)。摄像机单元1A和1B分别包括成像透镜5A和5B、图像传感器6A和6B和传感器控制器7A和7B。例如图像传感器6A和6B是CCD图像传感器或CMOS图像传感器。

分析单元1103包括数据总线10、串行总线11、CPU 15、FPGA 16、ROM 17、RAM 18、串行IF 19和数据IF 20。

上述成像单元1102经由数据总线10和串行总线11连接至分析单元1103。CPU 15执行并控制分析单元1103的整个操作、图像处理和图像识别处理。由第一摄像机单元1A和第二摄像机单元1B的图像传感器6A和6B拍摄的图像的亮度图像数据经由数据总线10被写入分析单元1103的RAM 18中。来自CPU 15或FPGA 16的传感器曝光值的改变控制数据、图像读取参数的改变控制数据、各种设置数据等经由串行总线11发送或接收。

FPGA 16对存储在RAM 18中的图像数据执行需要具有实时性能的处理。FPGA 16使由第一摄像机单元1A和第二摄像机单元1B拍摄的相应的亮度图像数据(拍摄图像)中的一个成为参考图像，并使它们中的另一个成为比较图像。然后，FPGA 16将参考图像上的对应图像部分与比较图像上的对应图像部分之间的位置偏移量计算为对应图像部分的视差值(视差图像数据)，参考图像上的对应图像部分与比较图像上的对应图像部分都对应于成像区域中的相同点。

图21示出了XZ平面上的主体40、第一摄像机单元1A的成像透镜5A和第二摄像机单元1B的成像透镜5B之间的位置关系。在图21中，成像透镜5A和5B之间的距离b与成像透镜5A和5B的焦距f分别是固定值。假设成像透镜5A的X坐标相对于主体40的注视点P的偏移量为Δ1。假设成像透镜5B的X坐标相对于主体40的注视点P的偏移量为Δ2。在这种情况下，FPGA16通过下面的表达式1计算视差值d，该视差值d是成像透镜5A和5B相对于主体40的注视点P的X坐标之间的差。

视差值d＝|Δ1-Δ2| (1)

分析单元1103的FPGA 16对从成像单元1102提供的亮度图像数据执行需要具有实时性能的处理，例如伽马校正处理和失真校正处理(左拍摄图像和右拍摄图像的并行)。通过使用其上执行了需要具有实时性能的处理的亮度图像数据执行上述表达式1的算术运算，FPGA 16生成要写入RAM 18的视差图像数据。

返回图20，继续描述。CPU 15执行成像单元1102的传感器控制器7A和7B的控制以及分析单元1103的整体控制。ROM 17存储用于执行后面描述的情况识别、预测、三维对象识别等的三维对象识别程序。三维对象识别程序是图像处理程序的示例。例如CPU 15经由数据IF 20获取主车辆的CAN信息(车速、加速度、舵角、偏航率等)作为参数。例如，通过根据存储在ROM 17中的三维对象识别程序使用存储在RAM 18中的亮度图像和视差图像来执行并控制诸如情况识别的各种处理，CPU 15识别诸如前车的识别目标。

识别目标的识别数据经由串行IF 19提供给控制单元1104。控制单元1104使用识别目标的识别数据来执行诸如主车辆的制动控制和主车辆的速度控制的行驶支持。

图22是用于示意性说明分析单元1103的功能的图。由包括在立体摄像机中的成像单元1102拍摄的立体图像被提供给分析单元1103。例如，第一摄像机单元1A和第二摄像机单元1B具有颜色规格，第一摄像机单元1A和第二摄像机单元1B中的每一个都执行下面的表达式2的算术运算以执行用于从RGB(红色、绿色和蓝色)的每个信号生成亮度(y)信号的颜色亮度转换处理。第一摄像机单元1A和第二摄像机单元1B中的每一个将通过颜色亮度转换处理生成的亮度图像数据(拍摄图像)提供给包括在分析单元1103中的预处理单元1111。可以认为立体图像是由第一摄像机单元1A拍摄的亮度图像数据(拍摄图像)和由第二摄像机单元1B拍摄的一组亮度图像数据(拍摄图像)的集合。在该示例中，预处理单元1111由FPGA16实现。

Y＝0.3R+0.59G+0.11B (2)

预处理单元1111预处理从第一摄像机单元1A和第二摄像机单元1B接收的亮度图像数据。在该示例中，执行伽马校正处理作为预处理。预处理单元1111将经预处理的亮度图像数据提供给并行图像生成单元1112。

并行图像生成单元1112对从预处理单元1111提供的亮度图像数据执行并行处理(失真校正处理)。并行处理是将从第一摄像机单元1A和第二摄像机单元1B输出的亮度图像数据转换为在并行附接两个针孔摄像机时所获得的理想的并行立体图像的处理。具体地，通过使用诸如Δx＝f(x，y)、Δy＝g(x，y)的多项式来计算每个像素的失真量，通过使用上述计算获得的计算结果，转换第一摄像机单元1A和第二摄像机单元1B输出的亮度图像数据的每个像素。多项式例如基于与x(图像的水平方向位置)和y(图像的竖直方向位置)相关的五次多项式。因此，可以获得并行亮度图像，其中第一摄像机单元1A和第二摄像机单元1B的光学系统的失真被校正。在该示例中，并行图像生成单元1112由FPGA 16实现。

视差图像生成单元1113是“距离图像生成单元”的示例，并且根据由成像单元1102拍摄的立体图像生成包括每个像素的视差值的视差图像，该视差图像是包括每个像素的距离信息的距离图像的示例。在这种情况下，视差图像生成单元1113假设第一摄像机单元1A的亮度图像数据是标准图像数据并且第二摄像机单元1B的亮度图像数据是比较图像数据来执行由上述表达式1表示的算术运算，并生成表示标准图像数据和比较图像数据之间的视差的视差图像数据。具体地，视差图像生成单元1113针对标准图像数据的预定“行”定义包括以一个关注像素为中心的多个像素(例如，16像素×1像素)的块。另一方面，在比较图像数据的相同“行”中，具有与标准图像数据的定义的块的尺寸相同的块在水平线方向(X方向)上一个像素接一个像素地移位。然后，视差图像生成单元1113计算表示如下两个特征量之间的相关性的每个相关值，一个特征量表示标准图像数据中所定义的块的像素值的特征，另一特征量表示比较图像数据中每个块的像素值的特征。在这种情况下，视差图像是指将竖直方向位置、水平方向位置和深度方向位置(视差)相关联的信息。

视差图像生成单元1113基于计算出的相关值来执行用于选择比较图像数据中的块中与标准图像数据的块最紧密相关的比较图像数据的块的匹配处理。此后，计算位置偏移量作为视差值d，该位置偏移量是标准图像数据的块中的关注像素与通过匹配处理选择的比较图像数据的块中的对应像素之间的位置偏移量。当对标准图像数据的整个区域或特定区域执行这种计算视差值d的处理时，获得视差图像数据。作为生成视差图像的方法，可以使用各种公知技术。简而言之，可以认为视差图像生成单元1113根据由立体摄像机拍摄的立体图像计算(生成)包括每个像素的距离信息的距离图像(在该示例中，视差图像)。

作为匹配处理中使用的块的特征量，例如，可以使用块中的每个像素的值(亮度值)。作为相关值，可以使用标准图像数据的块中的每个像素的值(亮度值)与对应于该每个像素的比较图像数据的块中的每个像素的值(亮度值)之间的差的绝对值的总和。在这种情况下，包括最小总和的块被检测为最相关的块。

作为视差图像生成单元1113的匹配处理，例如，使用诸如平方差和(SSD)、零均值平方差和(ZSSD)、绝对差和(SAD)或零均值绝对差和(ZSAD)的方法。当在匹配处理中需要小于一个像素的子像素级的视差值时，使用估计值。估计值的估计方法的示例包括等角线性方法或二次曲线方法。然而，在估计的子像素级的视差值中引起误差。因此，可以使用诸如估计误差校正(EEC)等的方法来减少估计误差。

在该示例中，视差图像生成单元1113由FPGA 16实现。由视差图像生成单元1113生成的视差图像被提供给对象检测处理单元1114。在该示例中，当CPU 15执行三维对象识别程序时，实现对象检测处理单元1114的功能。

图23是示出对象检测处理单元1114的功能的示例的图。如图23所示，对象检测处理单元1114包括获取单元1121、路面检测处理单元1122、聚类处理单元1123和跟踪处理单元1124。获取单元1121获取由视差图像生成单元1113生成的视差图像。可以认为获取单元1121具有获取距离图像(在该示例中，视差图像)的功能，该距离图像包括根据由立体摄像机拍摄的立体图像计算的每个像素的距离信息。由获取单元1121获取的视差图像被输入到路面检测处理单元1122和聚类处理单元1123。

如图24所示，路面检测处理单元1122包括路面估计单元1131、第一生成单元1132、第二生成单元1133和第三生成单元1134。通过使用视差图像，路面估计单元1131生成对应信息，其中表示图像的竖直方向(垂直于立体摄像机的光轴的竖直方向)的竖直方向上的位置与表示立体摄像机的光轴方向的深度方向上的位置相关联。在该示例中，路面估计单元1131将视差图像的每个像素(视差值)表决(vote)到其中纵轴表示图像的竖直方向上的坐标(y)且水平轴表示视差值d的图(下文中，称为“Vmap(V差异图)”)，使用预定方法从表决的视差点中选择采样点，并对所选择的点组执行线性近似(或曲线近似)来估计路面形状。作为估计路面的方法，可以使用各种公知技术。Vmap是二维直方图，其中X轴表示视差值d，Y轴表示y坐标值，Z轴表示视差图像的(X坐标值、y坐标值、视差值d)组中的频率。简而言之，可以认为对应信息(在该示例中，Vmap)是针对竖直方向上的位置和视差值d(对应于深度方向上的位置)的每个组合记录视差的频率值的信息。由路面估计单元1131获得的估计结果(路面估计信息)被输入到第一生成单元1132、第二生成单元1133、第三生成单元1134和聚类处理单元1123。在以下描述中，假设路面检测处理单元1122包括三个生成单元，包括第一生成单元1132、第二生成单元1133和第三生成单元1134。可替代地，可以从它们中选择任何两个单元来进行安装。

基于像素图像中与第二范围对应的多个像素，第一生成单元1132生成第一信息，其中第二范围表示在高于路面(作为对象的高度参考的参考对象的示例)的第一范围内大于或等于预定值的高度范围，在第一信息中表示与立体摄像机的光轴正交的方向的水平方向上的位置与表示立体摄像机的光轴的方向的深度方向上的位置相关联。在该示例中，第一信息是二维直方图，其中水平轴(X轴)表示水平方向上的距离(实际距离)，竖轴(Y轴)表示视差图像的视差值d，深度方向的轴表示频率。可以认为第一信息是其中针对实际距离和视差值d的每个组合记录视差的频率值的信息。在以下描述中，第一信息被称为“高Umap”。假设视差图像的水平方向上的位置是x，竖直方向上的位置是y，并且为每个像素设置的视差值是d，第一生成单元1132通过基于(x，d)的值投票视差图像中的与第二范围对应的点(x，y，d)而生成二维直方图，其中水平轴表示视差图像的x，纵轴表示视差值d，深度方向上的轴表示频率。将二维直方图的水平轴转换为实际距离以生成高Umap。可以认为高Umap的竖轴表示深度方向上的位置(较小的视差值d表示深度方向上的较大距离)。

通过上述路面估计单元1131的路面估计获得表示路面的线性表达式，使得当确定视差值d时，确定对应的y坐标y0，并且坐标y0表示路面的高度。例如，当视差值是d并且y坐标是y’时，y’-y0表示在视差值是d的情况下距路面的高度。坐标(d，y’)处距路面的高度H可以通过算术表达式H＝(z×(y’-y0))/f获得。在该算术表达式中，“z”是基于视差值d(z＝BF/(d-偏移))计算的距离，“f”是通过将成像单元1102的焦距转换为与(y’-y0)的单位相同的单位而获得的值。在这种情况下，BF是通过将基本长度B乘以成像单元1102的焦距f而获得的值，并且偏移是在拍摄无限远对象的情况下的视差。

例如，在图25所示的拍摄图像中，投影包括成人和儿童的人群G1、包括成人的人群G2、杆和车辆。在该示例中，将距路面的实际高度为150cm至200cm的范围设置为第二范围，并且图26示出其中表决了第二范围内的视差值d的高Umap。高度小于150cm的儿童的视差值d未被表决，使得儿童不出现在图上。竖轴表示通过使用与距离对应的稀化率对视差值d执行稀化处理而获得的稀化视差。由第一生成单元1132生成的高Umap被输入到聚类处理单元1123。

下面参照图24继续描述。第二生成单元1133基于视差图像中的与第一范围对应的多个像素，生成其中立体摄像机的水平方向上的位置与深度方向相关联的第二信息。在以下描述中，第二信息被称为“标准Umap”。假设视差图像的水平方向上的位置是x，竖直方向上的位置是y，并且为每个像素设置的视差值是d，第二生成单元1133通过基于(x，d)的值表决视差图像中的与第一范围对应的点(x，y，d)而生成其中水平轴表示视差图像的x，纵轴表示视差值d，深度方向的轴表示的频率的二维直方图。将二维直方图的水平轴转换为实际距离以生成标准Umap。可以认为标准Umap的竖轴表示深度方向上的位置。在图25的示例中，将0cm至200cm的范围(包括上述第二范围)设置为第一范围，并且图27示出了其中表决了第一范围内的视差值d的标准Umap。除了标准Umap之外，第二生成单元1133还从为标准Umap表决的视差点(实际距离和视差值d的组)生成高度信息，在高度信息中，记录了距路面最大高度(H)的视差点的高度，横轴表示实际距离(摄像机左右方向的距离)，纵轴表示视差值d，并且记录了每个对应点的高度。可以认为高度信息是其中针对实际距离和视差值d的每个组合记录了高度的信息。由第二生成单元1133生成的标准Umap被输入到聚类处理单元1123。

下面参照图24继续描述。第三生成单元1134通过使用视差图像中的存在于高于路面的范围中的多个像素，生成其中水平方向上的位置与立体摄像机的深度方向上的位置相关联的第三信息，像素的数量小于生成第一信息或第二信息的情况下的像素的数量。在该示例中，第三信息是二维直方图，其中水平轴表示水平方向上的距离(实际距离)，竖轴表示视差图像的视差值d，并且深度方向上的轴表示频率。可以认为第三信息是其中针对实际距离和视差值d的每个组合记录了视差的频率值的信息。在以下描述中，第三信息被称为“小Umap”。假设视差图像的水平方向上的位置是x，竖直方向上的位置是y，并且为每个像素设置的视差值是d，第三生成单元1134通过基于(x，d)的值表决视差图像中的与第一范围对应的点(x，y，d)(要表决的点的数量小于生成标准Umap的情况下的要表决的点的数量)而生成二维直方图轴，其中水平轴表示视差图像的x，竖轴表示视差值d，深度方向的轴表示频率。将二维直方图的水平轴转换为实际距离以生成小Umap。可以认为小Umap的竖轴表示深度方向上的位置。小Umap对一个像素的距离分辨率比标准Umap对一个像素的距离分辨率低。除了小Umap之外，第三生成单元1134还从为小Umap表决的视差点(实际距离和视差值d的组)生成高度信息，在高度信息中，记录了距路面最大高度(H)的视差点的高度，横轴表示实际距离(摄像机左右方向的距离)，纵轴表示视差值d，并且记录了每个对应点的高度。可以认为高度信息是其中针对实际距离和视差值d的每个组合记录了高度的信息。由第三生成单元1134生成的小Umap被输入到聚类处理单元1123。

在以下描述中，标准Umap、高Umap和小Umap在它们不需要彼此区分时均被称为“真实Umap”。真实Umap可以被视为顶部图(俯视图像，鸟瞰图像)，其中水平轴是相对于立体摄像机的光轴的垂直方向(摄像机的左右方向)，竖轴是立体摄像机的光轴方向。

返回图23，下面继续描述。聚类处理单元1123使用从路面检测处理单元1122接收的各种信息来检测由获取单元1121获取的视差图像上的对象位置。图28是示出聚类处理单元1123的特定功能的示例的图。如图28所示，聚类处理单元1123包括隔离区域检测处理单元1140、视差图像处理单元1150和剔除处理单元1160。

隔离区域检测处理单元1140执行用于从路面检测处理单元1122接收到的每个真实Umap(高Umap、标准Umap和小Umap)检测作为视差值d群集的区域的隔离区域(聚合区域)的隔离区域检测处理。隔离区域检测处理单元1140的具体内容将在后面描述。

例如，在图29所示的拍摄图像的情况下，护栏81和82分别位于左侧和右侧，车辆77和车辆79形成横跨中心线的双向交通。在每个行驶车道上有一个车辆77或一个车辆79在行驶。在车辆79和护栏82之间存在两个杆80A和80B。图30是基于图29所示的拍摄图像获得的真实Umap，并且框架区域对应于隔离区域。

视差图像处理单元1150执行用于检测与由隔离区域检测处理单元1140检测到的真实Umap上的隔离区域对应的视差图像上的区域或真实空间中的对象信息的视差图像处理。图31是示出与图30所示的隔离区域对应的视差图像上的区域(由视差图像处理单元1150执行的处理的结果)的图。图31中的区域91是与护栏81对应的区域，区域92是与车辆77对应的区域，区域93是与车辆79对应的区域，区域94是与杆80A对应的区域，区域95是与杆80B对应的区域，区域96是与护栏82对应的区域。

剔除处理单元1160基于由视差图像处理单元1150检测到的视差图像上的区域或真实空间中的对象信息来执行用于选择要输出的对象的剔除处理。剔除处理单元1160执行聚焦于对象的大小的大小剔除以及聚焦于对象之间的位置关系的重叠剔除。例如，在尺寸剔除中，剔除未落入针对上述图8所示的每种对象类型确定的尺寸范围内的尺寸的检测结果。在图32的示例中，区域91和区域96被剔除。在重叠剔除中，对通过视差图像处理检测到的与视差图像上的隔离区域(对真实Umap的检测结果)对应的区域选择重叠结果。

图33是示出由聚类处理单元1123执行的处理的示例的流程图。在该示例中，标准Umap、高Umap、小Umap、视差图像、路面估计信息和高度信息作为输入信息被输入，并且关于视差图像的检测结果作为输出信息被输出。首先，隔离区域检测处理单元1140执行隔离区域检测处理(步骤S1001)。隔离区域检测处理的具体内容将在后面描述。接下来，视差图像处理单元1150执行视差图像处理(步骤S1002)。然后，剔除处理单元1160使用步骤S1002的视差图像处理的结果执行剔除处理(步骤S1003)，并将关于最终视差图像的检测结果作为输出信息输出。

来自聚类处理单元1123的输出信息(检测结果)被输入到图23所示的跟踪处理单元1124。如果由聚类处理单元1123获得的检测结果(检测对象)连续出现在多个框架上，则跟踪处理单元1124将检测结果判定为跟踪目标。当检测结果是跟踪目标时，跟踪处理单元1124将检测结果作为对象检测结果输出到控制单元1104。

接下来，下面描述图28所示的隔离区域检测处理单元1140的具体内容。如图28所示，隔离区域检测处理单元1140包括第一检测单元1141、第二检测单元1142、第三检测单元1143和最终判定处理单元1144。

第一检测单元1141从高Umap(第一信息)检测视差值d(距离信息的示例)的聚合区域。在以下描述中，由第一检测单元1141执行的检测处理被称为“分离检测处理”，并且其处理结果被称为“分离检测结果(包括检测到的聚合区域)”。与标准Umap相比，高Umap几乎不受低高度区域中存在的对象的影响，使得高Umap的分离性能优异。然而，对于在距路面高度高的区域中没有视差的对象，倾向于导致错误的分离检测。具体处理内容将在后面描述。

第二检测单元1142从标准Umap(第二信息)检测聚合区域。在以下描述中，由第二检测单元1142执行的检测处理被称为“基本检测处理”，并且其处理结果被称为“基本检测结果(包括检测到的聚合区域)”。假设上述分离检测结果伴随基本检测结果(包括在基本检测结果中)。使用标准Umap，由于一个像素的距离分辨率高并且检测范围包括路面的低位置到高位置，因此可以对整个检测范围预期稳定的检测。然而，当通过路面估计检测到估计的路面低于实际路面或者检测目标的视差低时，由于标准Umap的特性而容易导致错误检测。具体处理内容将在后面描述。

第三检测单元1143从小Umap(第三信息)检测聚合区域。在以下描述中，由第三检测单元1143执行的检测处理被称为“用于整合的检测处理”，并且其处理结果被称为“整合检测结果(包括检测到的聚合区域)”。小Umap具有这样的特性：由于一个像素的分辨率低于标准Umap的一个像素的分辨率，因此对于几乎没有视差的对象几乎不会导致错误分离。然而，由于分离性能(分辨率)低，因此在使用小Umap的检测处理(用于整合的检测处理)中对象倾向于被检测为彼此组合。

最终判定处理单元1144执行使“基本检测结果”、“分离检测结果”和“整合检测结果”被输入，选择并校正要输出的检测结果并且阐明检测结果之间的关系的最终判定处理。如图28所示，最终判定处理单元1144包括剔除判定处理单元1145、合并处理单元1146和校正单元1147。剔除判定处理单元1145执行用于判定是否剔除整合检测结果的剔除判定处理。其具体内容将在后面描述。合并处理单元1146将“整合检测结果”与“基本检测结果”和伴随的“分离检测结果”合并。具体内容将在后面描述。校正单元1147校正并输出合并的检测结果。该校正处理的具体内容将在后面描述。

图34是示出隔离区域检测处理的示例的流程图。在该示例中，标准Umap、高Umap、小Umap和高度信息作为输入信息被输入，并且关于标准Umap的检测结果作为输出信息被输出。如图34所示，第二检测单元1142执行基本检测处理(步骤S1011)，第一检测单元1141执行分离检测处理(步骤S1012)，并且第三检测单元1143执行用于整合的检测处理(步骤S1013)。步骤S1011至步骤S1013的顺序是可选的，并且这些步骤可以并行执行。接下来，最终判定处理单元1144执行最终判定处理(步骤S1014)。

为了便于说明，首先，下面描述基本检测处理的具体内容。图35是示出基本检测处理的示例的流程图。在此示例中，标准Umap作为输入信息被输入。输出信息将在后面的描述中被阐明。首先，第二检测单元1142执行用于对标准Umap中的每个视差群集进行分组并对其赋予ID的标记处理(步骤S1021)。具体地，第二检测单元1142聚焦于包括在标准Umap中的多个像素中的每一组，并且将聚焦像素和聚焦像素附近存在的像素(例如，与八个方向一一对应的八个像素，八个方向包括右方向、右上方向、向上方向、左上方向、左方向、左下方向、向下方向以及右下方向)中包括频率值的像素的像素值设置为“1”，并且将聚焦像素和聚焦像素附近存在的像素中不包括频率值的像素的像素值设置为“0”，以进行二值化。二值化的方法不限于此并且是可选的。例如，二值化的方法可以具有这样的形式，即，使得附近存在的八个像素中，包括大于或等于阈值的视差的频率值的像素的像素值被设置为“1”，并且其他像素的像素值被设置为“0”。使由一组像素值“1”形成的闭合区域成为一个视差群集(组)，并且对包括在闭合区域中的每个像素赋予ID。ID被设置为可以标识每个组的值。

图36是示出二值化处理之后的示例的图，并且对区域2000中包括的五个像素中的每一个赋予相同ID。

将返回图35继续描述。在步骤S1021之后，第二检测单元1142执行检测矩形创建处理(步骤S1022)。具体地，第二检测单元1142计算与赋予了相同ID的像素的聚合区域外接的矩形，并使计算的外接矩形为检测矩形。接下来，第二检测单元1142执行用于检查在步骤S1022中创建的检测矩形的尺寸的尺寸检查(步骤S1023)。例如，当在步骤S1022中创建的检测矩形的尺寸小于或等于作为与噪声对应的尺寸的预定阈值时，第二检测单元1142执行丢弃检测矩形的处理。接下来，第二检测单元1142执行用于检查在步骤S1022中创建的检测矩形中包括的每个像素的频率值(视差的频率值)的频率检查(步骤S1024)。例如，当在步骤S1022中创建的检测矩形中包括的频率值(视差的频率值)的累积值小于或等于作为代表对象所需的数量的预定阈值时，第二检测单元1142执行丢弃检测矩形的处理。

通过上述基本检测处理，表示标准Umap上的检测矩形的信息作为输出信息被输出。用于识别组的ID被分配给标准Umap上的检测矩形中的分组像素(包括在检测到的聚合区域中的像素)。也就是说，表示在标准Umap上分组的ID的图(“标准Umap上的ID Umap”，或者在某些情况下不需要与其他图区分时被简称为“ID Umap”)的信息作为输出信息被输出。

接下来，下面描述分离检测处理的具体内容。图37是示出分离检测处理的示例的流程图。在此示例中，标准Umap和高Umap作为输入信息被输入。输出信息将在后面的描述中阐明。如上所述，分离检测结果伴随基本检测结果，并且将对应于基本检测结果的数量重复以下处理。对于伴随聚焦的基本检测结果的一个或多个分离检测结果，第一检测单元1141设置包括分离检测结果的关注区域，并对设置的关注区域执行标记处理(步骤S1031)。以上描述了标记处理的具体内容。接下来，对于在步骤S1031的标记处理中赋予了相同ID的像素的每个聚合区域，第一检测单元1141执行用于计算与聚合区域外接的矩形的检测矩形创建处理(步骤S1032)。

接下来，第一检测单元1141对在步骤S1032中创建的每个检测矩形执行尺寸检查处理(步骤S1033)。上面描述了尺寸检查处理的具体内容。接下来，第一检测单元1141执行频率检查处理(步骤S1034)。以上描述了频率检查处理的具体内容。当对于所有基本检测结果没有完成上述处理时(当对应于基本检测结果的数量的循环处理未完成时)，重复步骤S1031之后的处理。也就是说，第一检测单元1141重复与基本检测结果的数量对应的上述处理。

通过上述分离检测处理，表示高Umap上的检测矩形的信息(与基本检测结果相关联的高Umap上的检测结果)作为输出信息被输出。用于识别组的ID被分配给高Umap上的检测矩形中的每个分组像素。也就是说，表示在高Umap上分组的ID的图(“高Umap上的IDUmap”，或者在某些情况下不需要与其他图区分时被简称为“ID Umap”)的信息作为输出信息被输出。

接下来，下面描述用于整合的检测处理的具体内容。用于整合的检测处理的基本内容类似于基本检测处理的基本内容。图38是示出用于整合的检测处理的示例的流程图。在该示例中，小Umap和高度信息作为输入信息被输入。输出信息将在后面的描述中阐明。第三检测单元1143重复以下处理直到检测完成。首先，第三检测单元1143执行用于对小Umap中的每个视差群集进行分组并对其赋予ID的标记处理(步骤S1041)。上面描述了标记处理的具体内容。然而，第三检测单元1143聚焦于包括在小Umap中的多个像素的每一组，并且将聚焦像素和聚焦像素附近存在的像素(例如，上述八个像素)中包括频率值的像素的像素值设置为“1”，并且将聚焦像素和聚焦像素附近存在的像素中不包括频率值的像素的像素值设置为“0”，以进行二值化。二值化的方法不限于此并且是可选的。例如，二值化的方法可以具有这样的形式，即，使得附近存在的八个像素中，包括大于或等于阈值的视差的频率值的像素的像素值被设置为“1”，并且其他像素的像素值被设置为“0”。使由一组像素值“1”形成的闭合区域成为一个视差群集(组)，并且对包括在闭合区域中的每个像素赋予ID。

在步骤S1041之后，第三检测单元1143执行检测矩形创建处理(步骤S1042)。其具体内容在上面进行了描述。接下来，第三检测单元1143执行输出判定处理(步骤S1043)。输出判定处理是用于通过判定在步骤S1042中创建的检测矩形(检测结果)的尺寸、视差的频率值、深度长度等是否满足其条件来选择要输出的检测结果的处理。在用于整合的检测处理中，对象倾向于被检测到彼此组合，使得这里假设仅输出具有似乎是车辆的特性的检测结果。图39A、图39B和图39C是示出上述条件的示例的表。图39A是表示与检测结果的尺寸(宽度)相关的条件的示例的表。图39B是表示与检测结果的深度长度相关的条件的示例的表。图39B中的“最近点距离”将在后面描述。“最近点距离”表示从预定的有效范围的中心(检测有效的范围)到最接近深度方向的中心的检测结果(对象)的点的距离。图39C是示出与视差的频率值相关的条件的示例的表。

通过上述用于整合的检测处理，表示小Umap上的检测矩形的信息作为输出信息被输出。用于识别组的ID被分配给小Umap上的检测矩形中的每个分组像素。也就是说，表示在小Umap上分组的ID的图(“小Umap上的ID Umap”，或者在某些情况下不需要与其他图区分时被简称为“ID Umap”)的信息作为输出信息被输出。

接下来，下面描述由最终判定处理单元1144执行的最终判定处理。最终判定处理单元1144接收包括基本检测结果、分离检测结果和整合检测结果的三个结果，计算检测结果之间的对应关系，并设置包含框架和伴随包含框架的部分框架。最终判定处理单元1144校正包含框架和部分框架，并从中选择输出目标。包含框架存储通过具有低分离性能的处理检测到的结果。也就是说，包含框表示对于相同对象具有较大尺寸的框架。在这种情况下，将整合检测结果或基本检测结果设置为包含框架。部分框架存储通过具有比包含框架的分离性能高的分离性能的处理检测到的结果。部分框架是与包含框架相关联的检测框架(检测结果的外框架)，并且是通过分离包含框架的内部而获得的结果。在这种情况下，基本检测结果或分离检测结果对应于部分框架。这里，框架表示对象的位置和尺寸，并且例如是将围绕对象的矩形的拐角的坐标与高度和宽度相关联的信息。

(43-177)图40是示出最终判定处理的示例的流程图。在本示例中，标准Umap、高Umap、高度信息、基本检测结果(标准Umap上的检测矩形)、与基本检测结果相关联的分离检测结果(高Umap上的检测矩形)和整合检测结果(小Umap上的检测矩形)作为输入信息被输入。作为输出信息，输出的是ID表，其中记录了标准Umap上的检测结果、与其对应的ID Umap以及检测结果之间的关系。

对应于整合检测结果的数量重复图40所示的从步骤S1051到步骤S1056的处理。首先，剔除判定处理单元1145对聚焦的整合检测结果执行剔除判定处理(步骤S1051)。以下描述剔除判定处理的具体内容。剔除判定处理单元1145执行用于仅选择满足存在于自己车道上的车辆尺寸的条件的整合检测结果并剔除其他结果的剔除判定处理。在这种情况下，执行将小Umap上的检测矩形(整合检测结果)转换为标准Umap上的检测矩形的处理，并且剔除在标准Umap上预先设置的有效范围之外的整合检测结果。实施方式不限于此。例如，可以在小Umap上预先设置有效范围，并且可以剔除在小Umap上预先设置的有效范围之外的整合检测结果。

图41A是示出剔除条件的示例的图。图41B是示出剔除条件的示例的表。例如，与整合检测结果A一样，当表示有效范围的中心与整合检测结果的最接近深度方向(摄像机的光轴方向)的中心的点之间的距离的“最近点距离”大于阈值Z1时，仅当表示有效范围的中心与摄像机水平方向(摄像机的左右方向)上的整合检测结果的中心之间的距离的“到中心的距离”大于-Z2(负侧的阈值)并且小于或等于Z2(正侧的阈值)时，才判定结果有效(成为输出候选物)，并且剔除其他结果。例如，与整合检测结果B一样，当最近点距离小于或等于阈值Z1时，仅当到中心的距离大于-Z3(负值的阈值)并且小于或等于Z3(正侧的阈值)时，才判定结果有效，并且剔除其他结果。

当通过上述剔除判定处理判定整合检测结果有效时，图40中的步骤S1052的结果为“是”，并且对应于基本检测结果的数量重复从步骤S1053到步骤S1056的处理。另一方面，当步骤S1052的结果为“否”时，结束对聚焦的整合检测结果的处理，并且重复与其他整合检测结果的数量对应的循环处理。

在步骤S1053中，合并处理单元1146执行整合检测结果和基本检测结果之间的匹配。其具体内容在下面描述。合并处理单元1146检测整合检测结果的检测框架与大Umap上的基本检测结果的检测框架之间的重叠，基于检测结果阐明对应关系，并将整合检测结果选择为处理目标。

在该示例中，首先，合并处理单元1146计算整合检测结果和基本检测结果的重叠率。当基本检测结果的尺寸小于整合检测结果的尺寸时，通过将基本检测结果和整合检测结果的重叠区域的面积除以基本检测结果的面积来计算重叠率。当基本检测结果的尺寸大于整合检测结果的尺寸时(当整合检测结果的尺寸小于基本检测结果的尺寸时)，通过将基本检测结果和整合检测结果的重叠区域的面积除以整合检测结果的面积来计算重叠率。在该示例中，当重叠率大于阈值(例如，0.5)时，合并处理单元1146判定存在与整合检测结果重叠的基本检测结果。然后，合并处理单元1146基于图42所示的条件设置包含框架和部分框架。

在图42的示例中，当存在与整合检测结果重叠的基本检测结果并且整合检测结果的尺寸小于基本检测结果的尺寸时，合并处理单元1146剔除整合检测结果，将基本检测结果设置为包含框架，并将与基本检测结果相关联的分离检测结果设置为部分框架。当存在与整合检测结果重叠的基本检测结果并且存在与基本检测结果相关联的多个分离检测结果时，合并处理单元1146剔除基本检测结果，将整合检测结果设置为包含框架，并将与基本检测结果相关联的分离检测结果设置为部分框架。另外，当存在与整合检测结果重叠的基本检测结果并且整合检测结果的尺寸大于基本检测结果的尺寸时，或者当仅存在与基本检测结果相关联的一个分离检测结果时(除了整合检测结果的尺寸小于基本检测结果的尺寸或者存在与基本检测结果相关联的多个分离检测结果的情况之外的情况)，合并处理单元1146将整合检测结果设置为包含框架，并将基本检测结果设置为部分框架。当不存在与整合检测结果重叠的基本检测结果时(当不存在与整合检测结果对应的基本检测结果时)，合并处理单元1146将整合检测结果设置为包含框架，并且不设置部分框架。上面已经描述了由合并处理单元1146执行的匹配的内容。

将返回图40继续描述。当作为步骤S1053的匹配结果，整合检测结果与基本检测结果重叠时，步骤S1054的结果为“是”。如果步骤S1054的结果为“是”，则合并处理单元1146将包含框架(整合检测结果)与部分框架(基本检测结果或分离检测结果)合并(步骤S1055)，并生成一个“检测结果”。如上所述，基于图42所示的条件执行该示例中的合并处理。

另一方面，如果步骤S1054的结果是“否”，则合并处理单元1146仅将整合检测结果设置为包含框架(步骤S1056)。由于不存在对应的基本检测结果，因此不设置部分框架。也就是说，将整合检测结果设置为包含框架，并且生成其中不设置部分框架的一个“检测结果”。

对应于如上所述生成的“检测结果”的数量，执行步骤S1057的校正处理。以下描述由校正单元1147执行的校正处理。当检测结果包括整合检测结果时，校正单元1147执行整合校正处理。整合校正处理的具体内容将在后面描述。另一方面，当检测结果不包括整合检测结果时，校正单元1147使用与包括在设置为部分框架的分离检测结果中的聚合区域(表示由第一检测单元1141检测到的聚合区域的第一聚合区域(一组被赋予了ID的像素))的距离对应的校正方法校正第一聚合区域。第一聚合区域的距离表示距立体摄像机的距离(深度方向上的距离)，并且可以使用包括在第一聚合区域中的每个像素的视差值d来获得。当第一聚合区域的距离小于阈值时，校正单元1147对第一聚合区域执行第一校正处理。当第一聚合区域的距离大于或等于阈值时，校正单元1147对第一聚合区域执行第二校正处理。在短距离的情况下，由于高的路面估计精度，几乎不会导致分离检测结果的错误分离。另一方面，在长距离的情况下，由于低路面估计精度而容易导致分离检测结果的错误分离。因此，作为阈值，优选设置能够确保路面估计精度的距离值。在该示例中，阈值被设置为30m，但是实施方式不限于此。

第一校正处理是使用第一聚合区域距参考对象(路面)的高度的相对标准来扩大第一聚合区域的处理。更具体地，第一校正处理是在包括第一聚合区域并表示由第二检测单元1142检测到的聚合区域的第二聚合区域(包括在与分离检测结果相关联的基本检测结果中的聚合区域)中将第一聚合区域扩大到边界的处理，边界是感兴趣区域距参考对象的的高度低于相对高度阈值的位置，该相对高度阈值表示根据第一聚合区域的高度(距参考对象的高度)的平均值的相对值。其具体内容将在后面描述。在以下描述中，第一校正处理被称为“短距离校正处理”。

第二校正处理是通过使用第一聚合区域距参考对象(路面)的高度的相对标准来组合两个第一聚合区域的处理。更具体地，第二校正处理是在包括2个以上第一聚合区域的第二聚合区域中在表示两个第一聚合区域之间的区域的关注区域中，在从一个第一聚合区域到另一个第一聚合区域连续的方向上，当关注区域距参考对象的高度大于或等于相对高度阈值时将一个第一聚合区域与另一个第一聚合区域组合的处理，其中相对高度阈值表示根据第一聚合的高度(距参考对象的高度)的平均值的相对值。具体内容将在后面描述。在以下描述中，第二校正处理被称为“长距离校正处理”。

图43是示出图40中的步骤S1057的校正处理的示例的流程图。在该示例中，包含框架的列表、伴随包含框架的部分框架、ID Umap、标准Umap和高度信息作为输入信息被输入，并且包含框架的校正列表、伴随包含框架的部分框架、校正的ID Umap和其中记录了检测结果之间的关系的ID表作为输出信息被输出。

校正单元1147重复对应于“检测结果”的数量的从步骤S1061到步骤S1067的处理。首先，校正单元1147创建ID表(步骤S1061)。ID表是具有表格式的信息，其中包含框架和部分框架使用ID彼此相关联。接下来，校正单元1147对包括在聚焦检测结果(包含框架和部分框架的组)中的部分框架中的具有与车辆尺寸对应的尺寸的部分框架的数量进行计数(步骤S1062)。接下来，校正单元1147判定检测结果是否包括整合检测结果(步骤S1063)。也就是说，校正单元1147判定检测结果中包括的包含框架是否是整合检测结果。

如果步骤S1063的结果为“是”(步骤S1063为是)，则校正单元1147执行整合校正处理(步骤S1064)。如果步骤S1063的结果为“否”(步骤S1063为否)，则校正单元1147判定检测结果的距离是否小于预定距离(例如，30m)(步骤S1065)。如果步骤S1065的结果为“是”(步骤S1065为是)，则校正单元1147执行短距离的校正处理(步骤S1066)。如果步骤S1065的结果为“否”(步骤S1065为否)，则校正单元1147执行长距离的校正处理(步骤S1067)。

在本实施方式中，当检测结果包括整合检测结果(使用作为具有低分辨率的图的小Umap的检测结果)时，考虑到距离差和水平位置，对基本检测结果和分离检测结果来执行整合校正处理。因此，可以校正检测结果以具有高分离性能，同时减少错误分离。在本实施方式中，根据检测结果的距离，使用短距离的校正处理和长距离的校正处理中的适当的校正处理。因此，可以使用用于具有高路面估计精度的短距离和具有低路面估计精度的长距离的适当方法来执行校正。

接下来，下面描述整合校正处理的具体内容。通过使用具有粗分辨率的图(小Umap)来获得整合检测结果。由此，可以减少对象的错误分离，但是分离性能变差。另一方面，通过使用分辨率高的图获得基本检测结果和分离检测结果，使得分离性能高但是对象的错误分离是有问题的。在用于整合检测的校正处理中，与整合检测结果相关联的所有部分框架(基本检测结果或分离检测结果)不彼此组合(整合)为相同对象，但是部分框架通过基于距离差或水平方向进行组合判定被校正为具有高分离性能的检测结果，同时减少错误分离。

图44是示出整合校正处理的示例的流程图。首先，校正单元1147对包含框架进行校正处理(整合检测结果)(步骤S1071)。接下来，校正单元1147对包括在包含框架中的部分框架(基本检测结果或分离检测结果)执行校正处理(步骤S1072)。接下来，校正单元1147在步骤S1072的校正处理之后对部分框架执行组合处理(步骤S1073)。每个步骤的具体内容将在后面描述。当包含框架仅包括一个部分框架时，不执行步骤S1073的组合处理。

首先，下面描述包含框架的校正处理。如图45所示，校正单元1147计算在包含框架中具有视差的像素的外接矩形。对包括在外接矩形中的像素中的具有视差的频率值并且没有ID的像素赋予包含框架的ID。可以存在有频率值但没有ID的像素，并且包含框架的校正处理是对这样的像素设置作为包含框架的一部分的ID的处理。因此，可以对难以获得视差值的对象设置适当的包含框架。可以根据需要省略该处理。

接下来，下面描述部分框架的校正处理。图46是示出部分框架的校正处理的过程的流程图。校正单元1147针对与聚焦的包含框架相关联的每个部分框架，重复执行步骤S1710和步骤S1720的处理。在步骤S1710中，校正单元1147执行部分框架的扩大处理。此后，在步骤S1720中，校正单元1147执行将扩大区域中的像素的ID更新为部分框架的ID的处理。例如，基于高度信息执行扩大处理。也就是说，使具有与高度信息的连通性但没有频率值的像素有效。然后对有效像素设置ID。这是部分框架的校正处理。由此，可以对难以获得视差值的对象设置适当的部分框架。可以根据需要省略该处理。

接下来，下面描述图44中的步骤S1073的部分框架的组合处理。校正单元1147将部分框架的所有组合中的具有在摄像机的光轴方向(深度方向)上的部分框架之间的距离差(中心距离差)较近且在摄像机的左右方向上的部分框架之间的距离差(中心水平位置差)较近的部分框架组合。作为组合处理，计算作为组合目标的部分框架的外接矩形(要组合的两个部分框架的外接矩形)，并且将外接矩形的区域设置为组合的部分框架。作为包括在组合的部分框架中的像素的ID，可以分配一个部分框架的ID，或者可以分配新的ID。在这种情况下，将与作为组合目标的部分框架的ID相同的ID分配给存在于包括在一个部分框架中的第一聚合区域和包括在另一个部分框架中的第一聚合区域之间的多个像素中的每一个。图47是示出是否是组合处理的目标的条件的示例的表。中心距离差和中心水平位置差的相应阈值不限于图47的示例(2m，6m)，并且可以可选地在其中可能对相同对象导致错误分离的范围内改变。中心水平位置差对应于后面描述的框架之间的距离。中心距离差被获得为包括在一个部分框架中的每个像素的距离的平均值(从视差值d导出的距离)与包括在另一个部分框架中的每个像素的距离的平均值之间的差。具有在摄像机的光轴方向(深度方向)上的部分框架之间的距离差(中心距离差)较近和在摄像机的左右方向上的部分框架之间的距离差(中心水平位置差)较近中的至少一个的部分框架可以彼此组合。

在图47的条件下，当中心距离差小于2m并且中心水平位置差小于或等于6m时，使作为目标的两个部分框架成为组合处理的目标。如上所述，在该示例中，假设包括在一个部分框架中的每个像素的距离的平均值与包括在另一个部分框架中的每个像素的距离的平均值之间的差值为中心距离差，并且将中心距离差与阈值进行比较，以判定是否是组合处理的目标。然而，例如，当部分框架竖直地长(在深度方向上长)时，即使在部分框架彼此非常接近以彼此重叠时，在某些情况下中心距离差也可以大于或等于阈值。因此，即使在部分框架应该是组合处理的目标时，也可以从组合处理的目标中排除部分框架。因此，在该示例中，即使当中心距离差大于或等于阈值时，检查部分框架的深度方向上的重叠率是否大于或等于预定比率(可以可选地设置在其中可以确定可能导致错误分离的范围内，例如，20％)。这里的重叠率是通过将两个部分框架的重叠区域的面积除以两个部分框架中的任何一个(通常是具有较小尺寸的部分框架)的面积来获得的。当重叠率大于或等于预定比率并且中心水平位置差小于或等于6m时，使作为目标的两个部分框架成为组合处理的目标。通过上述整合校正处理，将包含框架的校正列表、伴随包含框架的校正(扩大，组合)的部分框架和校正的ID Umap作为输出信息输出。

接下来，下面描述图43中的步骤S1066的短距离的校正处理的具体内容。如上所述，在短距离的情况下，路面的估计精度高，使得几乎不会导致分离检测结果的错误分离。分离检测处理是使用其中仅表决了距路面的高度高的区域的视差值的高Umap的检测处理，使得分离性能高。然而，在分离检测处理中，可以检测到距路面的高度低(靠近路面)的区域中伸展的对象具有比实际框架更小的框架。考虑到以上几点，在短距离的校正处理中，使用距检测框架的路面的高度的相对标准来校正分离检测结果的检测框架。

图48是示出短距离的校正处理的过程的流程图。校正单元1147检查聚焦的检测结果的包含框架(在这种情况下，基本检测结果)中是否存在具有车辆尺寸的一个或多个部分框架(在这种情况下，分离检测结果)(步骤S1091)。如果步骤S1091的结果为“否”(步骤S1091为“否”)，则结束处理。如果步骤S1091的结果为“是”(步骤S1091为是)，则校正单元1147执行部分框架的扩大处理(步骤S1092)。该特定内容类似于整合校正处理中描述的内容。接下来，校正单元1147对像素ID执行更新处理(步骤S1093)。该内容也与整合校正处理中描述的内容类似，因此将不重复其详细描述。接下来，校正单元1147删除包含框架(步骤S1094)。

接下来，下面描述图43中的步骤S1067的长距离的校正处理的具体内容。如上所述，在长距离的情况下的路面的估计精度低于在短距离的情况下的路面的估计精度。具体地，当估计路面的估计结果被估计得低于实际路面时，表决路面的视差，这导致检测框架的组合或检测框架的扩大。通过采用分离检测结果作为距路面高度高的区域的检测结果，可以解决该问题。然而，分离检测结果具有高分离性能，使得当估计路面的估计结果被估计得高于实际路面或车辆高度低时，可能导致错误分离并且可能检测到对象小于实际对象的可能性高。在长距离的校正处理中，考虑以上几点来执行检测框架的组合处理和校正处理。

图49是示出长距离的校正处理的过程的流程图。校正单元1147检查聚焦的检测结果的包含框架(在这种情况下，基本检测结果)中是否具有车辆尺寸的一个或多个部分框架(在这种情况下，分离检测结果)(步骤S1101)。如果步骤S1101的结果为“是”(步骤S1101为是)，则校正单元1147针对具有车辆尺寸的部分框架和另一部分框架的每个组合执行后面描述的组合判定处理(步骤S1102)。另一方面，如果步骤S1101的结果为“否”(步骤S1101为否)，则校正单元1147针对所有部分框架的每个组合(针对两个部分框架的每个组合)执行后面描述的组合判定处理(步骤S1103)。

下面描述组合判定处理的具体内容。如图50所示，校正单元1147预先指定与包含框架的区域对应的高度信息以及与包含框架相关联的部分框架的区域。校正单元1147计算在聚焦的两个部分框架的X方向(摄像机的左右方向)上彼此面对的部分之间的距离(在下面的描述中，称为“框架之间的距离”)。在图50的示例中，左侧部分框架的右侧边界的距离与右侧部分框架的左侧边界的距离之间的差被计算为框架之间的距离。当如上所述计算的框架之间的距离小于在可能对相同对象导致错误分离的范围中设置的预定阈值时，校正单元1147使两个部分框架成为组合目标。另一方面，当框架之间的距离大于或等于预定阈值时，对象可能是不同对象的可能性高，因此不对两个部分框架执行组合处理。在这种情况下，采用1.5m作为预定阈值，但是实施方式不限于此。下面描述在两个部分框架变为组合目标的情况下的处理。

如图51所示，校正单元1147将聚焦的部分框架之间的区域(在图51的示例中，从左侧(右侧)的部分框架到右侧(左侧)的部分框架连续的区域)设置为关注区域。然后，校正单元1147获得距离作为组合目的地的部分框架(例如，右侧的部分框架和左侧的部分框架中的任何一个)的路面的高度的平均值(高度图中的部分框架中包括的每个像素的高度的平均值)，并且将相对于平均值的值用作阈值(下文中，称为“相对高度阈值”)。在该示例中，假设平均值的1/4是相对高度阈值。在这种情况下，假设相对于作为组合目标的两个部分框架中的一个的高度的平均值的值是相对高度阈值，但是实施方式不限于此。例如，可以假设相对于作为组合目标的两个部分框架的高度的平均值的值是相对高度阈值。然后，校正单元1147创建高度轮廓，该高度轮廓表示在关注区域连续的方向上最频繁高度的分布。例如，如图52和图53所示，校正单元1147获得关注区域的每列中的最频繁高度以创建高度轮廓。然后，校正单元1147基于相对高度阈值和高度轮廓检查高度的连续性。更具体地，校正单元1147通过检查在由高度轮廓表示的所有最频繁高度中是否存在小于相对高度阈值的最频繁高度来检查高度的连续性，并且仅在存在高度的连续性时判定对部分框架执行组合处理。例如，如图52所示，由高度轮廓表示的所有最频繁高度大于或等于相对高度阈值(当在关注区域的所有列中最频繁高度大于或等于相对高度阈值时)，校正单元1147判定存在高度的连续性，并判定对两个部分框架执行组合处理。另一方面，例如，如图53所示，当在由高度轮廓表示的所有最频繁高度中存在小于相对高度阈值的最频繁高度时，校正单元1147判定不存在高度的连续性，并判定不对两个部分框架执行组合处理。

例如，考虑到在长距离的情况下在对象中发生失真，可以将关注区域划分为上部和下部，并且可以通过针对每个划分的关注区域检查高度的连续性来判定是否执行组合处理。

图54是示出上述组合判定处理的过程的流程图。上面描述了每个步骤的具体内容，因此将适当地省略其描述。首先，校正单元1147检查框架之间的距离是否小于阈值(步骤S1111)。如果步骤S1111的结果为“否”(步骤S1111为否)，则校正单元1147判定不对聚焦的两个部分框架执行组合处理(步骤S1117)，并且结束处理。如果步骤S1111的结果为“是”(步骤S1111为是)，则校正单元1147设置关注区域(步骤S1112)。接下来，校正单元1147计算相对高度阈值(步骤S1113)，并检查高度的连续性(步骤S1114)。上面描述了步骤S1112至步骤S1114的具体内容。如果作为步骤S1114的结果判定存在高度的连续性(步骤S1115为是)，则校正单元1147判定执行组合处理(步骤S1116)，并且结束处理。另一方面，如果作为步骤S1114的结果判定不存在高度的连续性(步骤S1115为否)，则校正单元1147判定不执行组合处理(步骤S1117)，并且结束处理。

下面继续描述图49的过程。校正单元1147对部分框架的组合中的在组合判定处理中被判定为要组合的两个部分框架执行组合处理，并且对被判定为不组合的两个部分框架不执行组合处理。也就是说，对部分框架的每个组合执行图49所示的步骤S1104的处理。如果判定执行组合处理(步骤S1104为“是”)，则校正单元1147对聚焦的两个部分框架执行组合处理(步骤S1105)，并且处理进行到步骤S1106。作为组合处理，计算作为组合目标的部分框架的外接矩形，将外接矩形的区域设置为组合之后的部分框架，并且执行ID的更新处理。另一方面，如果步骤S1104的结果为“否”(步骤S1104为“否”)，则处理直接进行到步骤S1106。

在步骤S1106中，校正单元1147对部分框架执行校正处理。校正处理的内容与图44中的步骤S1072的校正处理的内容相同，因此将不重复其详细描述。将对应于部分框架的数量重复地执行步骤S1106的处理。

如上所述，在本实施方式中，校正单元1147在根据通过分离检测处理获得的第一聚合区域的距离切换校正方法的同时校正第一聚合区域。更具体地，当第一聚合区域的距离小于阈值时，校正单元1147对第一聚合区域执行短距离的校正处理，并且当第一聚合区域的距离大于或等于阈值时，对第一聚合区域执行长距离的校正处理。如上所述，在短距离的情况下，路面的估计精度高，使得几乎不会导致分离检测结果的错误分离，但是在分离检测处理中可能检测到在距路面的高度低的区域中伸展的对象具有比实际框架更小的框架。考虑到以上几点，短距离的校正处理是通过使用距通过分离检测处理获得的路面的第一聚合区域的高度的相对标准来扩大第一聚合区域的处理。在短距离的情况下，路面的估计精度高，使得不需要诸如组合的处理。如上所述，在长距离的情况下对路面的估计精度低于在短距离的情况下对路面的估计精度，因此容易导致分离检测结果的错误分离。考虑到以上几点，长距离的校正处理是通过使用距通过分离检测处理获得的路面的第一聚合区域的高度的相对标准来组合两个第一聚合区域的处理。如上所述，通过根据经由分离检测处理获得的第一聚合区域的距离来在短距离的校正处理和长距离的校正处理之间切换以校正第一聚合区域，可以充分确保对象的检测精度。

以上已经描述了根据本发明的实施方式，但是本发明不限于这些实施方式。在实施阶段，可以在不脱离本发明的主旨的情况下修改部件以被实现。通过适当组合上述实施方式中公开的多个部件，可以进行各种发明。例如，可以从实施方式中公开的所有部件中删除一些部件。

由根据上述实施方式的设备控制系统1100执行的计算机程序可以作为可安装或可执行的文件被记录并提供在计算机可读记录介质中，例如压缩光盘只读存储器(CD-ROM)、软盘(FD)、可记录的压缩光盘(CD-R)、数字通用光盘(DVD)和通用串行总线(USB)，或者可以通过诸如因特网的网络提供或分配。例如，可以在ROM中嵌入和提供各种计算机程序。

上述实施方式是说明性的，并不限制本发明。因此，鉴于上述教导，许多其他修改和变化是可能的。例如，在本公开和所附权利要求的范围内，本文的不同说明性和示例性实施方式的至少一个要素可彼此组合或彼此替代。此外，实施方式的部件的诸如数量、位置和形状的特征不限于实施方式，因此可以优选地设置。因此，应理解，在所附权利要求的范围内，本发明的公开内容可以不同于本文具体描述的方式实施。此外，任何上述设备、装置或单元可以作为诸如专用电路或装置的硬件设备实现，或者作为诸如执行软件程序的处理器的硬件/软件的组合实现。

此外，如上所述，本发明的上述方法和其他方法中的任何一个可以以存储在任何种类的存储介质中的计算机程序的形式实现。存储介质的示例包括但不限于软盘、硬盘、光盘、磁光盘、磁带、非易失性存储器、半导体存储器、只读存储器(ROM)等。可替代地，本发明的上述方法和其他方法中的任何一个都可以由通过将传统组成电路的适当网络互连或通过其与一个或多个相应编程的传统的通用微处理器或信号处理器的组合来制备的专用集成电路(ASIC)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)来实现。

附图标记列表

1 对象识别装置(“信息处理装置”的示例)

2 主体单元(“成像装置”的示例)

3 视差值导出单元

4 通信线路

5 识别处理单元

6 车辆控制装置(“控制装置”的示例)

60 设备控制系统

70 车辆

100a，100b 图像获取单元

200a，200b 转换单元

300 视差值算术处理单元(“生成单元”的示例)

500 第二生成单元

501 第三生成单元(“运动表面估计单元”的示例)

502 第四生成单元

503 第五生成单元

510 聚类处理单元

511 基本检测单元(“第一检测单元”的示例)

512 分离检测单元(“第二检测单元”的示例)

513 整合检测单元(“第一检测单元”的示例)

514 选择单元

515 框架创建单元

516 背景检测单元

517 剔除单元

530 跟踪单元

1100 设备控制系统

1101 车辆

1102 成像单元

1103 分析单元

1104 控制单元

1105 显示单元

1106 挡风玻璃

1111 预处理单元

1112 并行图像生成单元

1113 视差图像生成单元

1114 对象检测处理单元

1121 获取单元

1122 路面检测处理单元

1123 聚类处理单元

1124 跟踪处理单元

1131 路面估计单元

1132 第一生成单元

1133 第二生成单元

1134 第三生成单元

1140 隔离区域检测处理单元

1141 第一检测单元

1142 第二检测单元

1143 第三检测单元

1144 最终判定处理单元

1145 剔除判定处理单元

1146 合并处理单元

1147 校正单元

1150 视差图像处理单元

1160 剔除处理单元

引用列表

专利文献

专利文献1：日本特开专利第2008-065634号公报

Claims (15)

1.一种信息处理装置，其包括：

路面估计单元，其被配置为估计在视差图像中的路面；

第一生成单元，其被配置为基于位于所述路面上方的第一高度范围中的所述视差图像的像素生成第一U差异图，所述第一U差异图是对象的水平方向位置和深度方向位置彼此相关联的第一信息；

第一检测单元，其被配置为基于所述第一U差异图检测在所述视差图像中的表示对象的一个区域；

第二生成单元，其被配置为基于位于所述路面上方的第二高度范围中的所述视差图像的像素生成第二U差异图，所述第二U差异图是所述对象的水平方向位置和深度方向位置彼此相关联的第二信息，其中所述第二高度范围是大于所述第一高度范围内的预定值的高度范围；

第二检测单元，其被配置为基于所述第二U差异图检测在所述视差图像中的表示对象的多个区域；以及

输出单元，其被配置为使基于所述第一信息检测到的所述一个区域与基于所述第二信息检测到的所述多个区域相关联，并输出彼此相关联的所述一个区域和所述多个区域。

2.根据权利要求1所述的信息处理装置，其中，所述第二生成单元生成分辨率比所述第一U差异图的分辨率高的第二U差异图。

3.根据权利要求1所述的信息处理装置，其还包括：剔除单元，该剔除单元被配置为剔除彼此相关联并由所述输出单元输出的所述一个区域和所述多个区域中的一方。

4.根据权利要求3所述的信息处理装置，其中，当在由所述第一检测单元检测的所述一个区域中检测到比估计存在于由所述第一检测单元检测的所述一个区域中的对象更远的对象时，所述剔除单元剔除由所述第一检测单元检测的所述一个区域。

5.根据权利要求3所述的信息处理装置，其中，当存在与由所述第一检测单元检测的所述一个区域和所述多个区域中的预先估计的区域的尺寸不对应的非对应区域时，所述剔除单元剔除所述非对应区域。

6.根据权利要求3所述的信息处理装置，其中，当所述多个区域占据由所述第一检测单元检测的所述一个区域的预定比率或更大比率时，所述剔除单元剔除所述多个区域。

7.根据权利要求1所述的信息处理装置，其还包括：校正单元，该校正单元被配置为当由所述第二检测单元检测的所述多个区域之间的深度方向上的距离和水平方向上的距离中的至少一个小于或等于预定的阈值时，组合所述多个区域。

8.根据权利要求7所述的信息处理装置，其还包括：校正单元，该校正单元被配置为当彼此相关联的所述一个区域和所述多个区域比预定的深度方向位置更近时，执行第一校正处理，并且当彼此相关联的所述一个区域和所述多个区域位于所述预定的深度方向位置或比所述预定的深度方向位置更远时，执行与所述第一校正处理不同的第二校正处理。

9.根据权利要求8所述的信息处理装置，其中，当彼此相关联的所述一个区域和所述多个区域比所述预定的深度方向位置更近时，所述校正单元执行用于基于所述多个区域中的每个区域的竖直方向位置来扩大所述多个区域的校正处理。

10.根据权利要求8或9所述的信息处理装置，其中，当彼此相关联的所述一个区域和所述多个区域位于所述预定的深度方向位置或者比预定的深度方向位置更远时，并且当所述多个区域之间的深度方向上的距离和水平方向上的距离中的至少一个小于或等于预定阈值时，所述校正单元执行用于组合所述多个区域的校正处理。

11.一种成像装置，其包括根据权利要求1至10中任一项所述的信息处理装置。

12.一种设备控制系统，其包括根据权利要求11所述的成像装置。

13.一种移动对象，其包括根据权利要求12所述的设备控制系统。

14.一种信息处理方法，其包括：

路面估计处理，估计在视差图像中的路面；

第一生成处理，基于位于所述路面上方的第一高度范围中的所述视差图像的像素生成第一U差异图，所述第一U差异图是对象的水平方向位置和深度方向位置彼此相关联的第一信息；

第一检测处理，基于所述第一U差异图检测在所述视差图像中的表示对象的一个区域；

第二生成处理，基于位于所述路面上方的第二高度范围中的所述视差图像的像素生成第二U差异图，所述第二U差异图是所述对象的水平方向位置和深度方向位置彼此相关联的第二信息，其中所述第二高度范围是大于所述第一高度范围内的预定值的高度范围；

第二检测处理，基于所述第二U差异图检测在所述视差图像中的表示对象的多个区域；以及

输出处理，使基于所述第一信息检测到的所述一个区域与基于所述第二信息检测到的所述多个区域相关联，并输出彼此相关联的所述一个区域和所述多个区域。

15.一种计算机可读记录介质，其包含计算机程序，该计算机程序使计算机执行根据权利要求14所述的信息处理方法。