CN105580359A - 预测前进道路提示装置以及预测前进道路提示方法 - Google Patents

Abstract

提供具有控制装置(10)的预测前进道路提示装置(100)，控制装置(10)执行：获取车辆中设置的摄像机的摄像图像的图像获取功能；从摄像图像中包含的路面的图像检测该路面中表示的线图的端部，根据伴随车辆的移动的端部的移动距离以及移动方向的变化，求出移动的车辆的转弯中心，计算以转弯中心为基准的车辆的预测前进道路的预测前进道路算出功能；以及提示算出的预测前进道路的提示控制功能。

Description

预测前进道路提示装置以及预测前进道路提示方法

技术领域

本发明涉及计算预测的车辆的前进道路并提示的预测前进道路提示装置以及预测前进道路提示方法。

本申请要求基于2013年9月27日提出申请的日本国专利申请特愿2013―2000964的优先权，对于认可通过文献的参照而加入的指定国，通过参照将上述申请中记载的内容加入本申请，成为本申请的记载的一部分。

背景技术

关于这种装置，已知在车辆的变速杆被操作至倒车档位置的情况下，根据车载的车速传感器、转向传感器等的检测结果和车辆的参数，显示将由导航仪ECU算出的车辆的预测轨迹重叠在车载摄像机拍摄的后方的影像中的图像的驾驶辅助装置(专利文献1)。

现有技术文献

专利文献

专利文献1:特开2012－0162130号公报

发明内容

发明要解决的课题

在未组装在车载装置中的可移动型的终端装置的显示器上提示与转向角相应的车辆的预测前进道路的情况下，终端装置必须从车载装置逐次获取转向信号，存在在信息的处理上花费时间，提示预测前进道路的定时有可能延迟的问题。

本发明要解决的课题是，未组装在车载装置上的可移动型的终端装置没有延迟地提示车辆的预测前进道路。

用于解决课题的手段

本发明的预测前进道路提示装置通过从车载摄像机的摄像图像的边缘的特征检测轮胎的切角，提示以根据切角算出的车辆的转弯中心为基准的预测前进道路，从而解决上述课题。

发明的效果

按照本发明，由于不从车载装置获取转向角等的检测信息，而根据从车载摄像机的摄像图像提取的信息求出预测前进道路，所以用于提示预测前进道路的处理变得简洁，可以以短的处理时间提示预测前进道路。其结果，即使在未组装到车载装置的可移动型的终端装置中提示车辆的预测前进道路的情况下，也可以无延迟地提示车辆的预测前进道路。

附图说明

图1是本实施方式的预测前进道路提示系统的结构图。

图2A是表示本实施方式的摄像机的设置例的图。

图2B是表示图2A所示的摄像机1b、1d的一例的图。

图2C是表示图2B所示的摄像机1b、1d的摄像图像的一例的图。

图3A是用于说明本实施方式的预想前进道路的计算方法的第1图。

图3B是表示在计算本实施方式的预想前进道路时利用的转向角与轮胎的切角的关系的图。

图3C是用于说明本实施方式的预想前进道路的计算方法的第2图。

图4是用于说明本实施方式的预测前进道路的计算处理的图。

图5是表示本实施方式的预测前进道路提示系统的控制步骤的流程图。

图6是表示本实施方式的预测前进道路的计算处理的控制步骤的流程图。

图7A是表示重叠了预测前进道路的监视图像的一例的图。

图7B是表示重叠了预测前进道路的监视图像的一例的图。

具体实施方式

以下，根据附图说明本发明的实施方式。在本实施方式中，以在具有经由无线通信网相互进行信息的发送接收的车载装置200和预测前进道路提示装置100的预测前进道路提示系统1000中，适用了本发明的情况为例进行说明。

图1是本实施方式的预测前进道路提示系统1000的块结构图。如图1所示，本实施方式的预测前进道路提示系统1000具有可带走的携带型的预测前进道路提示装置100、以及车载装置200。以下，在本说明书中，也将携带型的预测前进道路提示装置100称为终端装置100。

首先，说明本实施方式的车载装置200。本实施方式的车载装置200具有一个或者多个摄像机1a～1d(以下，有时也总称为摄像机1)、通信装置2、和车辆控制器3。车载装置200具有的摄像机1、通信装置2和车辆控制器3通过CAN(ControllerAreaNetwork，控制器区域网络)及其它的车载LAN连接，可以相互进行信息的发送接收。

摄像机1a～1d(总称而称为摄像机1。以下，相同。)使用CCD(ChargeCoupledDevices，电荷耦合装置)等摄像元件构成。在本实施方式中，使用可拍摄范围宽的、广角的摄像机1。图2A是表示将摄像机1a～1d安装在车辆V的情况的配置例的图。摄像机1a～1d被分别设置在车辆V的外部的不同的位置，分别拍摄车辆周围的4个方向的图像。例如，图2A所示，设置在前格栅部分等车辆V的前方的规定位置的摄像机1a拍摄车辆V的前方的区域SP1内以及其前方的空间中存在的物体或者路面的图像(前视图图像)。设置在左侧反光镜部分等的车辆V的左侧方的规定位置的摄像机1b拍摄车辆V的左侧方的区域SP2内以及其周围的空间中存在的物体或者路面的图像(左侧视图图像)。设置在后嵌装饰部分或车顶扰流板部分等车辆V的后面(后方)部分的规定位置的摄像机1c拍摄车辆V的后方的区域SP3内以及其后方的空间中存在的物体或者路面的图像(后视图像)。设置在右侧反光镜部分等的车辆V的右侧方的规定位置的摄像机1d拍摄车辆V的右侧方的区域SP4内以及其周围的空间中存在的物体或者路面的图像(右侧视图图像)。而且，本实施方式中的“车辆的后方”中，不仅包含正后方，还包含后方的左右侧方。同样，在“车辆的前方”中，不仅包含正面，还包含前方的左右侧方。由摄像机1a～1d拍摄的摄像图像被施加图像处理，生成希望的监视图像。

图2B是从车辆前方侧观察图2A所示的右车门反光镜的摄像机1d。左车门反光镜的摄像机1b与右车门反光镜的摄像机1d对称地表示，所以省略图示。如图2B所示，右车门反光镜(左车门反光镜)的外壳H中设置摄像机1d(1b)。摄像机1d(1b)被安装为，通常时其摄像方向朝向车辆的下侧，即行驶路面侧。上述的那样，摄像机1d(1b)使用CCD(ChargeCoupledDevices)等摄像元件构成，拍摄规定的摄像方向的影像。而且，虽然没有特别限定，但是本实施方式的摄像机1d(1b)优选使用广角的摄像机。

如图2B所示，在本实施方式的车门反光镜中，设置起到故障指示灯的作用的照明装置LP。在该车门反光镜中设置的照明装置LP在亮灯时对轮胎近旁照射光。照明装置LP除了起到故障指示灯的作用之外，还在摄像机1摄像时起到照射光的闪光装置的作用。

而且，在本实施方式的车门反光镜中设置检知周围的亮度的明亮度检知装置LD。在本实施方式中，摄像机1d、1b起到检知周围的亮度的明亮度检知装置LD的作用。当然，也可以与摄像机1d、1b单独地设置明亮度检知装置LD。

以下，说明移动摄像机1d、1b的方法。设置有本实施方式的摄像机1d、1b的各车门反光镜DM的外壳H内部，分别设置包含使各车门反光镜DM的外壳H旋转驱动的电动机的外壳驱动机构HM。本实施方式的各外壳驱动机构HM按照来自车载装置200或者外部的终端装置100的驱动命令或来自反光镜控制开关的输入指令被供给电源时，以图中所示的x轴、y轴、z轴为旋转轴，旋转驱动各外壳H，使各车门反光镜DM的朝向向上下左右变更。顺带一提，x轴是沿着车辆的车轴方向的方向，y轴是沿着车辆的长度方向的方向，z轴是沿着车辆的高度方向(重力方向)的方向。

具体地说，图2B所示的右车门反光镜DM可以通过各外壳驱动机构HM，以y轴为旋转轴改变方向。具体地说，如果以y轴为旋转轴驱动外壳H，则图2B的外壳H上以点Q表示的部分可以沿着轨道q移动至下侧(z轴侧)。即，对于路面大致直角拍摄下方向的摄像机1d的摄像方向能够移动至车辆V的轮胎近旁乃至轮胎的侧面(车轮)侧。即，通过以y轴为旋转轴驱动外壳H，可以通过摄像机1d、1b拍摄车辆V的轮胎的侧面、轮胎和车轮的边界。而且，通过以z轴为旋转轴驱动车门反光镜DM的外壳H，可以使摄像机1d、1b的摄像位置相对车体接近分隔，同时收起车门反光镜1、2(折叠在车体侧)。进而，通过以x轴为旋转轴驱动车门反光镜DM的外壳H，可以前后调整摄像机1d、1b的拍摄方向。各外壳驱动机构HM按照从车载装置200、终端装置100的包含x轴分量、y轴分量、z轴分量任意一个以上的分量的指定的驱动命令，可以使各外壳H以及摄像机1d、1b不仅可以朝向一个方向，而且可以朝向任意的方向。这样，通过使外壳驱动机构HM运转，可以在通常时拍摄轮胎近旁和道路的路肩近旁，根据需要拍摄轮胎的近旁和轮胎的侧面。而且，上述的各外壳驱动机构HM的具体的结构以及动作不特别限定，可以适当使用申请时已知的车门反光镜控制系统中使用的机构。

在本实施方式中，通过左右车门反光镜中设置的摄像机1d(1b)，拍摄车辆V的轮胎的侧面，具体地说轮胎和车轮的边界。图2C是包含轮胎和车轮的边界的、由摄像机1b拍摄的摄像图像的一例。如上述的那样，通过采用广角的摄像机1d、1b，既可以拍摄车辆V的轮胎的侧面，也可以使摄像机1d、1b移动而拍摄车辆V的轮胎的侧面。而且，也可以如图2C所示的例子那样，重叠显示沿着车辆的左侧的侧面的车横基准线和表示沿着车辆的车宽方向的前方位置标准的前端基准线。

本实施方式的车载装置200的通信装置2将摄像机1拍摄的摄像图像、车载装置200中生成的监视图像送出至终端装置100。也可以使摄像机1具有无线通信功能，将摄像图像从摄像机1送出至终端装置100。也可以使摄像机1具有无线通信功能和图像处理功能，将监视图像送出至终端装置100。终端装置100经由无线的通信网，获取摄像机1拍摄的摄像图像、车载装置200编辑的监视图像的至少一方。在各摄像机1拍摄的图像中，附加与各摄像机1的配置(地址)相应的识别符，终端装置100可以根据各识别符，识别各摄像图像是与哪个区域有关的图像。通过座标变换得到视点变换图像的图像变换处理的方法、从视点变换图像俯瞰车辆周围的监视装置的生成方法不特别限定，可以适当适用申请时已知的方法。本实施方式中的监视图像是从多个摄像图像生成的俯瞰车辆周围的摄像图像的一个方式。即，摄像图像包含进行了视点变换处理的监视图像。

本实施方式中的监视图像是使用对每个车型定义的摄像参数，将由摄像机1拍摄的多个车辆的周边的摄像图像座标变换至从车辆的上空的规定的视点俯视的规定的投影面的视点变换图像。从将各摄像图像视点变换后的视点变换图像，根据在终端装置100的提示装置30中提示信息的显示区域和显示方式切出规定区域的图像，各图像以车辆为基准，附加用于识别是哪个方向的监视图像的符号。参照该识别符号，配置各视点变换图像，生成表示从车辆上空俯视车辆的影像的监视图像。该监视图像以规定的方式在提示装置30上被提示。而且，也可以在车载装置200侧进行监视图像的生成处理，将监视图像送出至终端装置100。也可以在车载装置200进行各摄像机1的摄像图像的获取、视点变换图像的生成，送出至终端装置100，并在终端装置100侧进行最终的监视图像的生成处理。

接着，说明本发明的终端装置100(预测前进道路提示装置100)。本实施方式的终端装置100是智能电话、平板型终端等具有通信功能的可移动的便携终端装置。如图1所示，本实施方式的终端装置100包括：控制装置10；通信装置20；提示装置30；以及加速度传感器40。

本实施方式的通信装置20与外部的车载装置200的通信装置2相互进行信息的发送接收。通信装置20从车载装置200获取摄像图像。而且，从摄像图像生成的监视图像包含在本发明的“摄像图像”中。

本实施方式的终端装置100的提示装置30按照如后所述的控制装置10的指令，将如后所述的预测前进道路以规定的显示方式提示在该显示区域中。本实施方式的显示方式是与显示的图像的种类、数目、大小、显示时间、显示周期等的显示有关的规则。显示方式作为显示信息21存储在终端装置100的提示装置30中。提示装置30例如是显示器31、扬声器32。

而且，本实施方式的提示装置30提示构成预测通路的多个预测通过点。所谓预测通过点，是构成预测前进道路的多个离散的点。通过确认预测通过点的位置，司机可以预测本车辆的移动。而且，通过计算并提示离散的预测通过点，与计算并提示预测前进道路相比，可以降低处理成本。

本实施方式的提示装置30在提示预测通过点时，配置预测通过点，使得提示装置30具有的显示器31的显示座标系中各预测通过点的间隔均一。在将摄像图像的座标系中间隔均一的各预测通过点原样显示在显示器31上时，离车辆近的跟前的各预测通过点的距离短，离车辆深远的各预测通过点的距离变长。如果预测通过点的间隔不均一，则连结预测通过点而得到的预测前进道路不成为平滑的线，与实际的车辆的移动背离。在本实施方式中，使得显示器31的显示座标系中各预测通过点的间隔均一，所以可以提示连结预测通过点得到的预测前进道路与实际的车辆的移动相应的平滑的线。

本实施方式的提示装置30在摄像图像(包含从摄像图像生成的监视图像)上，重叠显示预测前进道路以及/或者预测通过点。通过在摄像图像上重叠预测前进道路和预测通过点来进行提示，司机可以容易地确认本车辆的位置以及移动中的本车辆周围的状况。

本实施方式的加速度传感器40检测与终端装置100的移动相应的加速度。通过加速度传感器40的输出值，可以获取终端装置100的移动方向以及移动速度。在终端装置100被带到车辆中，与车辆一起移动的情况下，终端装置100的加速度传感器40的输出值可以视为车辆的移动方向以及移动速度。即，终端装置100可以根据加速度传感器40的输出值，判断车辆是直行状态，车辆是右转弯状态，还是车辆是左转弯状态。

说明本实施方式的控制装置10。控制装置10是具有ROM(ReadOnlyMemory，只读存储器)12；作为通过执行该ROM12中存储的程序，起到预测前进道路提示装置100的作用的动作回路的CPU(CentralProcessingUnit，中央处理器)11；以及起到可访问的存储装置的作用的RAM(RandomAccessMemory)13的计算机，其中ROM存储了控制使预测前进道路导出后提示的动作的程序。本实施方式的预测前进道路提示装置100的控制装置10可以通过用于实现控制功能的软件和上述的硬件的协同动作，执行各功能。

以下，说明预测前进道路提示装置100的控制装置10实现的图像获取功能、预测前进道路算出功能和提示控制功能。

首先，说明图像获取功能。控制装置10经由通信装置20获取车辆周围的摄像图像。该摄像图像获取作为被车载的摄像机1拍摄的图像的、包含该车辆的轮胎的至少一部分的摄像图像。在本实施方式中，为了根据轮胎的图像检测轮胎的切角，获取包含轮胎的摄像图像。在摄像图像中，不需要包含轮胎的全部图像，只要包含轮胎的一部分图像即可。虽然没有特别限定，但优选获取包含轮胎和车轮的边界的摄像图像。一般来说，轮胎的颜色是黑色，一般来说，车轮的颜色是白色乃至金属色。轮胎和车轮的明亮度的差较大，所以以两者的边界作为边缘图像，可以正确检测的可能性高。当然，也可以获取包含轮胎和路面的边界的摄像图像。这是因为，轮胎和路面之间也存在亮度差，可以以其边界作为边缘图像进行检测。

包含轮胎的至少一部分的摄像图像，可以通过前述的、设置在左右的车门反光镜附近的摄像机1b、1d(参照图2A，2B)来拍摄。

本实施方式的控制装置10选择根据车辆的转弯状态获取的摄像图像。具体地说，控制装置10在车辆为右转弯状态的情况下，获取通过设置在车辆的右侧的右侧摄像机1d拍摄的右侧摄像图像，车辆为左转弯状态的情况下，获取通过设置在车辆的左侧的左侧摄像机1b拍摄的左侧摄像图像。

本实施方式的控制装置10在右转弯状态的情况下，因为前轮向右方向倾斜，所以虽然在右侧的侧反光镜的摄像机1d的摄像图像中包含前轮的轮胎和车轮的边界的图像，但是左侧的侧反光镜的摄像机1b的摄像图像主要成为前轮的轮胎的后方乃至内侧的图像，轮胎和车轮的边界的图像成为轮胎的影子而不被包含。同样，左转弯状态的情况下，前轮向左方向倾斜，所以虽然在左侧的侧反光镜的摄像机1b的摄像图像中包含前轮的轮胎和车轮的边界的图像，但是右侧的侧反光镜的摄像机1d的摄像图像主要成为前轮的轮胎的后方乃至内侧的图像，轮胎和车轮的边界的图像成为轮胎的影子而不被包含。因此，本实施方式的控制装置10根据右转弯或者左转弯的状态，选择获取的摄像图像。由于可以仅获取可以检测轮胎的切角的摄像图像，不获取不能检测轮胎的切角的摄像图像，所以可以避免进行无用的通信处理。

车辆是右转弯状态或者是左转弯状态的判断，可以根据带到车辆内、与车辆一起移动的终端装置100具有的加速度传感器(G传感器)40的检测结果来判断。当然，也可以根据车辆前方的摄像图像的光流的朝向判断车辆的转弯方向。而且，也可以获取车载装置200的转向灯信息等。

接着说明预测前进道路算出功能。本实施方式的控制装置10计算车辆的预测前进道路。

这里，根据图3A～图3C说明预测前进道路的计算方法。图3A表示车辆V后退的(向前进方向F的相反方向行进)场面。如图3A所示，车辆V在使方向盘旋转，一边转向一边后退时，车辆沿着预测通过点WRP、WLP移动。连接该预测通过点WRP、WLP的线是沿着预测车辆移动的轮胎的轨迹的预测前进道路WR、WL。如该图所示，车辆V沿着以转弯中心Q为中心的圆弧的轨迹WR、WL移动。

而且，在本例中，将车辆的侧面和预测前进道路WR、WL的距离设为0.25m，计算从车辆后端起0.5m的位置至3.5m的位置的3.0m的预测前进道路WR、WL。用于定义前进道路预想线WR、WL的各值没有特别限定，可以根据车辆的大小、车型、利用本功能的场面中的状况(例如，泊车位的宽度等)适当地设定。

在泊车操作时那样以低速移动的情况下，如图3B所示，方向盘的旋转角(转向角)和轮胎的切角成正比。如果参照图3B的对应信息，则可以从转向角得到轮胎的切角。顺便一说，在图3B所示的例子中，将方向盘转弯至界限为止(满转弯)时的角度为580度(方向盘旋转了1圈半以上的状态)中，轮胎的切角为31度。

而且，如图3C所示，如果知道轮胎的切角和轴距W，则从tan(θ)＝W/R的关系可以求出转弯半径R。轴距W是前轮的轮胎SFL、SFR和后轮的轮胎SRL、SRR的距离。轴距W的值既可以预先设定一个值或者与车型相应的值，也可以从车载装置200或图外的服务器获取。

进而，如果知道转弯半径R，则可以从与本车辆的位置的关系求出转弯中心Q。这里，可以求出以转弯中心Q为基准的、预测前进道路WR、WL。这样，如果获取方向盘的转向角和轴距的信息，则可以计算车辆的预测前进道路。

但是，终端装置100从车载装置200得到车辆的转向角等信息，并处理这些信息耗费时间，预测前进道路的提示定时延迟。提示定时延迟的过去的预测前进道路对于司机来说成为无意义的信息。

相对于此，本实施方式的预测前进道路提示装置(终端装置)100可以不使用车辆的转向角(车辆的检测值)而计算预测前进道路。具体地说，本实施方式的预测前进道路提示装置(终端装置)100从车载摄像机的摄像图像检测轮胎的切角，由轮胎的切角计算车辆的转弯中心，提示以该转弯中心为基准的预测前进道路。由此，不组装在车载装置的可移动型的终端装置100使用于提示预测前进道路的处理成本降低，可以使该提示处理所需要的时间缩短。

以下，说明本实施方式的预测前进道路的计算方法。本实施方式的控制装置10由从摄像图像提取的轮胎的边缘图像检测该轮胎的切角。图4是表示包含轮胎的摄像图像的一例的图。如图4所示，黑色的轮胎和白色(金属色)的车轮之间存在明暗差，可以检测基于明亮度的边缘信息。连接边缘的方向表示规定值域内的变化的边缘群，得到边缘直线E。从该直线检测轮胎的切角。从摄像图像检测轮胎的切角的方法虽然没有特别限定，但是如图4所示，可以将沿着车辆的左右的侧面(即，车长方向)的车横基准线T1与检测到的边缘直线所成的角度θ设为轮胎的切角。本例中的车横基准线T1是与沿着车辆的车宽方向的前端基准线T1大致垂直地交差的直线。可以适当地设定用于检测轮胎的切角的基准线。从优选由与路面接触的轮胎的边缘线求出轮胎的切角θ的观点出发，优选从与路面接近的区域、离路面的距离(高度)最小的区域提取基于明亮度的边缘信息。即，优选从在车轮的最低的位置得到的边缘，得到边缘直线E。

这里，关于轮胎的切角的计算方法，说明两个变形例。

第1变形例是利用将边缘的斜率与轮胎的切角预先对应的对应信息的方法。本实施方式的控制装置10参照将由轮胎的切角被维持的状态的摄像图像检测到的轮胎的边缘的斜率与轮胎的切角预先对应的对应信息，由从摄像图像提取的轮胎的边缘(边缘线E)的斜率检测轮胎的切角θ。有时，如果检测的轮胎的边缘的位置不同，则不能正确地检测轮胎的切角。如图3B所示，如果知道转向角，则正确地知道轮胎的切角。在本实施方式中，在维持了规定的转向角的状态下，在侧反光镜中安装的车载摄像机1拍摄了轮胎的情况下，与得到的摄像图像中的轮胎图像的边缘的斜率相对应。如果参照该对应信息，则可以由车载摄像机1拍摄的轮胎图像的边缘角度正确地求出轮胎的切角。由此，根据正确的轮胎的切角，可以计算正确的预测前进道路。虽然没有特别限定，但是对应信息中的规定的转向角优选设为最大的转向角。一般来说，在泊车操作中，由于司机以最大的转向角进行初始操作，所以可以计算与实际的转向相应的预测前进道路。

第2变形例是将轮胎的图像的特征图案与轮胎的切角预先对应，利用图像的图案匹配的方法。本实施方式的控制装置10参照将轮胎的切角与从维持轮胎的切角的状态的摄像图像检测的轮胎的图像的特征图案预先对应的对应信息，根据与由摄像图像提取的轮胎的边缘的特征一致度最高的特征图案检测轮胎的切角。存在摄像机1的状态等变化时，不能正确地检测轮胎的切角的情况。如图3B所示，如果知道转向角，则正确地知道轮胎的切角。在本实施方式中，在维持规定的转向角的状态下，在侧反光镜中安装的车载摄像机1拍摄了轮胎的情况下，预先将得到的摄像图像中的轮胎图像的特征与边缘的斜率相对应。将预测前进道路的计算时得到的摄像图像的多个特征与对应信息的图像的特征图案进行匹配处理，提取一致度最高的特征图案。将与提取的特征图案相对应的边缘的斜率，设为成为检测对象的车辆的轮胎的切角。按照与摄像图像中包含的多个特征的匹配，即使摄像机1的姿态发生变化等，也可以从车载摄像机1拍摄的轮胎图像的边缘角度正确地求出轮胎的切角。由此，可以根据正确的轮胎的切角，计算正确的预测前进道路。虽然没有特别限定，但是对应信息中的规定的转向角优选设为最大的转向角。一般来说，在泊车操作中，由于司机以最大的转向角进行初始操作，所以可以计算与实际的转向相应的预测前进道路。

而且，在本实施方式中，从正确地计算切角的观点出发，在转弯时中，选择在计算轮胎的切角时使用的摄像图像。在车辆右转弯状态的情况下，本实施方式的控制装置10从容易检测边缘的包含轮胎和车轮的边界的右侧摄像机1d的摄像图像检测轮胎切角，在车辆左转弯状态的情况下，从容易检测边缘的包含轮胎和车轮的边界的左侧摄像机1b的摄像图像检测轮胎切角。如前所述，虽然也可以选择根据转弯状态获取的摄像图像，但是即使在由于在监视图像中使用等理由获取了各摄像机1a～1d的摄像图像的情况下，也根据与转弯方向相应的摄像图像，计算轮胎的切角。由此，可以从正确的轮胎切角计算正确的预测前进道路。而且，车辆的转弯状态的判断方法可以使用在图像获取功能的说明中叙述的方法。

进而，在本实施方式中，从正确地计算切角的观点出发，作为在计算轮胎的切角时使用的摄像图像，选择阴影区域少的摄像图像。本实施方式的控制装置10使用明亮度低、阴影区域少的摄像图像检测轮胎的切角。具体地说，分别提取由在车辆的不同的位置设置的多个摄像机1a～1d拍摄的多个摄像图像中包含的、明亮度不足规定值的阴影区域。控制装置10选择各摄像图像中提取的阴影区域所占面积比低的摄像图像，即选择阴影区域少的摄像图像。控制装置10根据从选择出的摄像图像提取的轮胎的边缘的特征，检测轮胎的切角。这样，通过避免包含较多的不能正确地检测边缘的阴影区域的摄像图像，从阴影区域少的摄像图像检测正确的轮胎的切角，可以计算正确的预测前进道路。

再进一步，在本实施方式中，从正确地计算切角观点出发，在明亮度不足的情况下，选择使照明装置LP点亮后拍摄的摄像图像，作为计算轮胎的切角的摄像图像。在由明亮度检知装置LD检测的车辆的周围的亮度不足规定值的情况下，本实施方式的控制装置10输出使照明装置LP亮灯的亮灯命令。该亮灯命令经由车载装置200的车辆控制器3输出到照明装置LP，使照明装置LP亮灯。这样，在明亮度不足规定值的情况下，使照明装置LP亮灯，从足够明亮度下拍摄的摄像图像正确地检测边缘。由此，可以从正确的轮胎切角计算正确的预测前进道路。

如以上那样，本实施方式的终端装置100的控制装置10得到本车辆的轮胎的切角。然后，控制装置10根据得到的切角计算车辆的转弯中心，计算以转弯中心为基准的车辆的预测前进道路。如根据图3A乃至图3C说明的那样，如果知道车辆的轮胎的切角(转向角)和轴距W，则可以由tan(θ)＝W/R的关系求出车辆的转弯半径R，进而求出转弯中心Q。在本例中，如图3C所示，由轮胎的切角计算车辆的转弯中心，引导以该转弯中心为基准的预测前进道路。轴距W的值既可以预先在起动时获取一个值或者与车型相应的值，也可以预先存储在终端装置100中。

按照本实施方式的方法，可以计算预想前进道路而不逐次获取计算预测前进道路时所需要的转向角等检测信息。

接着，说明本实施方式的控制装置10的提示控制功能。本实施方式的终端装置100的控制装置10使终端装置100的显示器31提示算出的预测前进道路。控制装置10参照显示器31的显示区域的大小、布局、位置、关于像素的信息，在显示器31上提示求出的预测前进道路。在本实施方式中，使预测前进道路重叠在监视图像(摄像图像、视点变换图像)上来进行提示。即，以监视图像的座标作为基准，描画预测前进道路。

这样，按照本实施方式的终端装置(预测前进道路提示装置)100，不从车载装置200获取车速传感器、转向传感器等的检测结果，而从车载摄像机1的摄像图像求出预测前进道路，所以用于提示预测前进道路的处理变得简洁，可以在较短的处理时间提示预测前进道路。其结果，可以在不组装在车载装置中的可移动型的终端装置上实时地提示车辆的预测前进道路。

以下，说明本发明的第1实施方式的预测前进道路提示系统1000的处理步骤。图5是表示本实施方式的预测前进道路提示系统1000的控制步骤的流程图，图6是表示图5所示的预想前进道路的计算方法的控制步骤的流程图。

步骤101～105是车载装置200侧的处理，步骤201～203是终端装置100侧的处理。

在步骤101中，本实施方式的车载装置200的摄像机1拍摄车辆周围而获取摄像图像。

车载装置200的车辆控制器3具有的图像处理功能，参照摄像参数等的变换信息，读出变换信息中包含的与本车辆的车型相应的摄像参数。与本车辆的车型相应的摄像参数也可以经由通信装置2从外部的服务器获取。

在步骤103中，车载装置200的控制器3使用获取的摄像参数，对摄像图像进行视点变换，生成座标变换为从车辆的上空的规定的视点俯视的投影面的视点变换图像。

在步骤104中，车载装置200的图像处理功能获取包含终端装置100的显示区域、显示方式的显示信息。然后，在步骤105中，图像处理功能从视点变换图像生成与终端装置100的显示区域和显示方式相应的监视图像。车载装置200将生成的监视图像送出至终端装置100。与终端装置100的显示信息相应的监视图像的生成也可以在终端装置100侧进行。在该情况下，车载装置200从步骤101跳至步骤105，将获取的摄像机1的摄像图像原样送出至终端装置100。

在作为终端装置100的处理的步骤201中，终端装置100与车载装置200确认无线通信的建立。在无线通信建立后，在步骤202中，终端装置100获取车载装置200生成的监视图像。终端装置100按照规定的显示规则在显示器31上提示获取的监视图像。在步骤203中，终端装置100计算预测前进道路，将其描画在监视图像上。

以下，说明计算本实施方式中的预测前进道路时的控制步骤。图6是表示图5的步骤203的副例程的流程图。

如图6所示，在步骤21中，终端装置100的控制装置10获取车辆是否在直行的信息。车辆是否在直行，根据终端装置100具有的加速度传感器40的输出值进行判断。当然，也可以经由通信装置20从车载装置200获取车辆的转向信息。如果车辆为直行状态，则进至步骤22，如果车辆不是直行状态，则进至步骤23。在步骤22中，控制装置10选择默认的摄像机1。虽然没有特别限定，但是在本例中选择副驾驶席的摄像机1。

在步骤23中，终端装置100判断车辆是否为右转弯状态。在车辆为右转弯状态的情况下选择步骤24中右侧的摄像机1。车辆不是右转弯状态的情况下，即为左转弯状态的情况下，在步骤25中选择左侧摄像机1。通过选择转弯时起动的摄像机1，在车辆为右转弯状态的情况下，使用右侧的摄像机1确实地拍摄轮胎和车轮的边界的图像的一部分，在车辆为左转弯状态的情况下，使用左侧的摄像机1确实地拍摄轮胎和车轮的边界的图像的一部分。

接着，控制装置10确认选择的摄像机1的周围的亮度。判断摄像机1具有的明亮度检测功能LD检测到的明亮度是否为规定值以上。在明亮度为规定值以上的情况下进至步骤28，获取摄像图像。另一方面，在明亮度不足规定值的情况下进至步骤27，控制装置10对车载装置200输出使检测到亮度不足规定值的摄像机1的近旁设置的照明装置LP亮灯的命令。车载装置200的车辆控制器3使检测到明亮度不足规定值的摄像机1的近旁设置的照明装置LP亮灯。

被选择的摄像机1在适当的明亮度的环境下拍摄轮胎近旁。在步骤28中，终端装置100的控制装置10获取摄像图像。

在步骤29中，控制装置10得到多个摄像图像的情况下，选择成为阴影的区域的面积少的摄像图像。这是因为，如果包含大面积的阴影，则不能正确地检测轮胎相对路面或者车轮的边缘。将图像的明亮度不足规定值的区域判断作为成为阴影的区域。

在步骤30中，控制装置10检测多个摄像图像中包含的轮胎的边缘，检测该边缘群的延伸方向和车辆的车长方向的角度作为轮胎的切角。

在步骤31中，控制装置10从轮胎的切角计算当前的车辆的转弯半径。如果本处理中需要，则使用轴距的值计算车辆的转弯半径。轴距的值既可以预先设定，也可以在处理前获取。也可以将终端装置100带到车辆中，在使预测前进道路提示功能起动时，经由通信装置20获取。因为轴距的值是固定值，可以在处理前获取。轴距的值由于不像转向角那样时刻变化，所以只要获取一次就可以继续使用。

在步骤32中，控制装置10从算出的转弯半径求出转弯中心。在步骤33中，控制装置10计算以转弯中心为基准的预测前进道路。最后，在步骤33中，控制装置10在监视图像(包含摄像图像、视点变换图像)上描画算出的预测前进道路。

图7A表示在未进行视点变换处理的监视图像(即摄像图像)上，重叠显示多个预测通过点WP(图中用圆点印记表示)、以及连接了该预测通过点的与左右轮胎位置相应的预测前进道路WR、WL的例子。多个预测通过点WP之间的距离被调整为均等。由于进行调整，使得在显示器31的显示座标上多个预测通过点WP间距均等，所以可以将由预测通过点WP构成的预测前进道路WR、WL显示作为平滑的曲线。虽然实际的车辆连续移动，但是如果提示具有角度大的顶点的预测前进道路，则乘员有可能感到不适感。在本实施方式中，在显示器31上显示与实际的车辆的移动吻合的预测前进道路，使得乘员不感到不适感。

图7B表示在终端装置100的显示器31的左侧区域显示进行过视点变换处理的监视图像(视点变换图像)，在右侧区域显示未进行过视点变换处理的监视图像(摄像图像)的例子。如该图所示，表示了在进行过视点变换处理的监视图像(视点变换图像)和未进行过视点变换处理的监视图像(摄像图像)两者中，重叠显示多个预测通过点WP(图中用圆点印记表示)、和连接了该预测通过点的预测前进道路WR、WP的例子。

如以上那样构成、动作的本发明的实施方式的预测前进道路提示装置(终端装置)100、预测前进道路提示系统1000产生以下的效果。

[1]按照本实施方式的预测前进道路提示装置100，由于从车载摄像机的摄像图像检测轮胎的切角，从轮胎的切角计算车辆的转弯中心，提示以该转弯中心为基准的预测前进道路，所以可以不使用车辆的转向角(车辆的检测值)而计算预测前进道路。即，由于根据由车载摄像机的摄像图像提取的信息求出预测前进道路，而不从车载装置200逐次获取转向角等的检测信息，所以用于提示预测前进道路的处理变得简洁，可以在较短的处理时间中提示预测前进道路。其结果，即使在不组装在车载装置中的可移动型的终端装置100上提示车辆的预测前进道路的情况下，也可以无延迟地、适时地提示车辆的预测前进道路。

[2]按照本实施方式的预测前进道路提示装置100，由于将维持规定的转向角的状态中的车载摄像机1的摄像图像中的轮胎图像的边缘的斜率，与对应于转向角的轮胎切角预先对应，所以可以通过参照该对应信息，所以可以从车载摄像机1拍摄的轮胎图像的边缘角度，正确地求出轮胎的切角。由此，可以根据正确的轮胎的切角，计算正确的预测前进道路。

[3]按照本实施方式的预测前进道路提示装置100，由于将维持了规定的转向角的状态中的车载摄像机1的摄像图像中的轮胎图像的特征图案，与对应于转向角的轮胎切角预先对应，所以可以通过参照该对应信息，从车载摄像机1拍摄的轮胎图像的边缘角度正确地求出轮胎的切角。由此可以根据正确的轮胎的切角，计算正确的预测前进道路。

[4]按照本实施方式的预测前进道路提示装置100，通过根据右转弯或者左转弯的状态，选择获取的摄像图像，获取可检测轮胎的切角的摄像图像，所以可以不获取不能检测轮胎的切角的摄像图像，所以可以避免进行无用的通信处理。

[5]按照本实施方式的预测前进道路提示装置100，通过在车辆右转弯状态的情况下，从包含容易检测边缘的轮胎和车轮的边界的右侧摄像机1d的摄像图像中检测轮胎切角，在车辆为左转弯状态的情况下，从包含容易检测边缘的轮胎和车轮的边界的左侧摄像机1b的摄像图像检测轮胎切角，可以从正确的轮胎切角计算正确的预测前进道路。

[6]按照本实施方式的预测前进道路提示装置100，通过避免包含较多不能正确地检测边缘的阴影区域的摄像图像，从阴影区域少的摄像图像检测正确的轮胎的切角，可以计算正确的预测前进道路。

[7]按照本实施方式的预测前进道路提示装置100，在明亮度不足规定值的情况下，使照明装置LP亮灯，从在足够的明亮度下拍摄的摄像图像正确地检测边缘。由此，可以从正确的轮胎切角计算正确的预测前进道路。

[8]按照本实施方式的预测前进道路提示装置100，通过从一般来说明亮度差高的、包含容易检测边缘的轮胎和车轮的边界的摄像图像检测轮胎切角，可以从正确的轮胎切角计算正确的预测前进道路。

[9]按照本实施方式的预测前进道路计算方法，产生上述的作用效果。

而且，以上说明的全部实施方式是用于使本发明的理解变得容易而记载的方式，不是用于限定本发明而记载的。因此，在上述实施方式中公开的各要素是还包含属于本发明的技术的范围的全部设计变更和均等物的意思。

在本说明书中，作为本发明的预测前进道路提示系统的一个方式，说明具有预测前进道路提示装置100(终端装置100)和车载装置200的预测前进道路提示系统1000，但是不限于此。作为本发明的终端装置的一个方式，说明具有控制装置10、通信装置20、提示装置30、以及加速度传感器40的终端装置100，但是不限于此。作为本发明的车载装置的一个方式，说明具有摄像机1a～1d，1、通信装置2和车辆控制器3的车载装置200，但是不限于此。

作为具有本发明的图像获取单元、预测前进道路计算单元和提示单元的预测前进道路提示装置的一个方式，说明具有执行图像获取功能、预测前进道路算出功能和提示控制功能的控制装置10的预测前进道路提示装置100(终端装置100)，但是不限于此。

标号说明

1000…预测前进道路提示系统

100…终端装置(预测前进道路提示装置)

10…通信装置

20…提示装置

200…车载装置

1，1a～1d…摄像机

2…通信装置

3…车辆控制器

权利要求书(按照条约第19条的修改)

1.一种车辆用的预测前进道路提示装置，其特征在于，包括：

图像获取单元，获取使用在车辆中设置的摄像机拍摄的、包含该车辆的轮胎的至少一部分的摄像图像；

预测前进道路计算单元，从由所述摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角，根据所述切角计算所述车辆的转弯中心，并计算以所述转弯中心为基准的所述车辆的预测前进道路；以及

提示单元，提示所述计算出的预测前进道路，

所述预测前进道路计算单元分别提取由在所述车辆的不同的位置设置的多个摄像机拍摄的多个摄像图像中包含的明亮度不足规定值的阴影区域，选择所述提取的阴影区域所占的面积比低的摄像图像，根据从所述选择的摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角。

2.如权利要求1所述的车辆用的预测前进道路提示装置，其特征在于，

所述预测前进道路计算单元参照将所述轮胎的切角、和从维持了所述轮胎的切角的状态的所述摄像图像检测的所述轮胎的边缘的斜率预先对应的对应信息，从由所述摄像图像提取的所述轮胎的边缘的斜率检测所述轮胎的切角。

3.如权利要求1所述的车辆用的预测前进道路提示装置，其特征在于，

所述预测前进道路计算单元参照将所述轮胎的切角、和从维持了所述轮胎的切角的状态的所述摄像图像检测的所述轮胎的图像的特征图案预先对应的对应信息，从与由所述摄像图像提取的所述轮胎的边缘的特征的一致度最高的所述特征图案检测所述轮胎的切角。

4.如权利要求1至3的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，

所述图像获取单元能够获取由所述车辆的右侧设置的右侧摄像机拍摄的右侧摄像图像，或者由所述车辆的左侧设置的左侧摄像机拍摄的左侧摄像图像，

在所述车辆为右转弯状态的情况下获取所述右侧摄像图像，在所述车辆为左转弯状态的情况下获取所述左侧摄像图像。

5.如权利要求1至3的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，

所述图像获取单元能够获取由所述车辆的右侧设置的右侧摄像机拍摄的右侧摄像图像，或者由所述车辆的左侧设置的左侧摄像机拍摄的左侧摄像图像，

所述预测前进道路计算单元在所述车辆为右转弯状态的情况下，根据从所述右侧摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角，在所述车辆为左转弯状态的情况下，根据从所述左侧摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角。

6.如权利要求1至5的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，还包括：

照明单元，被设置在所述摄像机的近旁；以及

明亮度检测单元，检测所述车辆的周围的亮度，

在所述检测到的车辆的周围的亮度不足规定值的情况下，所述摄像图像获取单元输出使所述照明单元亮灯的亮灯命令。

7.如权利要求1至6的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，还包括：

所述摄像图像包含轮胎和车轮的边界的像的至少一部分。

8.一种车辆用的预测前进道路提示方法，使计算机执行以下步骤：

从车辆中设置的摄像机的摄像图像中包含的与车辆的轮胎的至少一部分对应的图像，检测所述轮胎的边缘的特征的步骤；

根据从所述轮胎的边缘的特征检测到的所述轮胎的切角，计算以所述车辆的转弯中心为基准的所述车辆的预测前进道路的步骤；以及

将所述预测前进道路输出到外部的步骤，

计算所述预测前进道路的步骤分别提取由在所述车辆的不同的位置设置的多个摄像机拍摄的多个摄像图像中包含的明亮度不足规定值的阴影区域，选择所述提取的阴影区域所占的面积比低的摄像图像，根据从所述选择的摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角。

Claims (9)

1.一种车辆用的预测前进道路提示装置，其特征在于，包括：

图像获取单元，获取使用在车辆中设置的摄像机拍摄的、包含该车辆的轮胎的至少一部分的摄像图像；

预测前进道路计算单元，从由所述摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角，根据所述切角计算所述车辆的转弯中心，并计算以所述转弯中心为基准的所述车辆的预测前进道路；以及

提示单元，提示所述计算出的预测前进道路。

2.如权利要求1所述的车辆用的预测前进道路提示装置，其特征在于，

所述预测前进道路计算单元参照将所述轮胎的切角、和从维持了所述轮胎的切角的状态的所述摄像图像检测的所述轮胎的边缘的斜率预先对应的对应信息，从由所述摄像图像提取的所述轮胎的边缘的斜率检测所述轮胎的切角。

3.如权利要求1所述的车辆用的预测前进道路提示装置，其特征在于，

所述预测前进道路计算单元参照将所述轮胎的切角、和从维持了所述轮胎的切角的状态的所述摄像图像检测的所述轮胎的图像的特征图案预先对应的对应信息，从与由所述摄像图像提取的所述轮胎的边缘的特征的一致度最高的所述特征图案检测所述轮胎的切角。

4.如权利要求1至3的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，

所述图像获取单元能够获取由所述车辆的右侧设置的右侧摄像机拍摄的右侧摄像图像，或者由所述车辆的左侧设置的左侧摄像机拍摄的左侧摄像图像，

在所述车辆为右转弯状态的情况下获取所述右侧摄像图像，在所述车辆为左转弯状态的情况下获取所述左侧摄像图像。

5.如权利要求1至3的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，

所述图像获取单元能够获取由所述车辆的右侧设置的右侧摄像机拍摄的右侧摄像图像，或者由所述车辆的左侧设置的左侧摄像机拍摄的左侧摄像图像，

所述预测前进道路计算单元在所述车辆为右转弯状态的情况下，根据从所述右侧摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角，在所述车辆为左转弯状态的情况下，根据从所述左侧摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角。

6.如权利要求1至5的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，

所述预测前进道路计算单元分别提取由在所述车辆的不同的位置设置的多个摄像机拍摄的多个摄像图像中包含的明亮度不足规定值的阴影区域，选择所述提取的阴影区域所占的面积比低的摄像图像，根据从所述选择的摄像图像提取的所述轮胎的边缘的特征检测该轮胎的切角。

7.如权利要求1至6的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，还包括：

照明单元，被设置在所述摄像机的近旁；以及

明亮度检测单元，检测所述车辆的周围的亮度，

在所述检测到的车辆的周围的亮度不足规定值的情况下，所述摄像图像获取单元输出使所述照明单元亮灯的亮灯命令。

8.如权利要求1至7的任意一项所述的车辆用的预测前进道路提示装置，其特征在于，还包括：

所述摄像图像包含轮胎和车轮的边界的像的至少一部分。

9.一种车辆用的预测前进道路提示方法，使计算机执行以下步骤：

从车辆中设置的摄像机的摄像图像中包含的与车辆的轮胎的至少一部分对应的图像，检测所述轮胎的边缘的特征的步骤；

根据从所述轮胎的边缘的特征检测到的所述轮胎的切角，计算以所述车辆的转弯中心为基准的所述车辆的预测前进道路的步骤；以及

将所述预测前进道路输出到外部的步骤。