CN104842875A - 用于生成要显示的图像的设备及方法 - Google Patents

Abstract

本发明涉及一种用于生成要显示的图像的设备及方法。在所述设备中，第一单元获得沿车辆的行驶方向的采集图像，第二单元确定车辆的驾驶者是否将要执行车辆停泊或者是否正在执行车辆停泊。在确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊时，第三单元基于所获得的采集图像来估计车辆的目标停泊区。第四单元基于所估计出的目标停泊区相对于车辆的位置来设置所获得的采集图像的显示模式。第五单元基于采集图像和采集图像的显示模式来生成要显示在显示装置上的图像。

Description

用于生成要显示的图像的设备及方法

技术领域

本公开内容涉及用于基于车辆周围的至少一个采集图像来生成要显示的图像的设备及方法。

背景技术

在将被称为专利文献的日本专利申请公开No.2010-215027中公开了这些设备的示例。该专利文献中公开的设备被安装在车辆中。该设备设置有四个摄像头。这四个摄像头能够分别采集车辆的四个视图(即前视图、左视图、右视图及后视图)的图像。该系统根据车辆的行驶状况来可切换地显示四个视图的采集图像。

发明内容

对于该专利文献中所公开的设备，具有下述需求：利用与该专利文献中所公开的设备的结构相比更简化的结构来在车辆的驾驶者停泊车辆时显示驾驶者想要观看的图像中的每个图像。

考虑到以上阐述的情况，本公开内容的一个方面寻求提供用于基于车辆周围的至少一个采集图像来生成要显示的图像的设备及方法；该设备及方法中的每一个都能够解决以上阐述的需求。

具体地，本公开内容的替代方面旨在提供下述设备及方法，该设备及方法中的每一个都能够用与在该专利文献中所公开的设备的结构相比更简化的结构，基于车辆周围的至少一个采集图像来生成车辆的驾驶者想要观看的要显示的图像。

根据本公开内容的第一示例性方面，提供了一种用于生成要显示在显示装置上的图像的设备。该设备包括：第一单元和第二单元，第一单元获得沿车辆的行驶方向的采集图像，第二单元确定车辆的驾驶者是否将要执行车辆停泊或者正在执行车辆停泊。该设备包括第三单元，在确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊时，第三单元基于所获得的采集图像来估计车辆的目标停泊区。该设备包括第四单元，第四单元基于所估计出的目标停泊区相对于车辆的位置来设置所获得的采集图像的显示模式，该显示模式表示采集图像如何显示在显示装置上。该设备包括第五单元，第五单元基于采集图像和采集图像的显示模式来生成要显示在显示装置上的图像。

根据本公开内容的第二示例性方面，提供了一种用于生成要显示在显示装置上的图像的方法。该方法包括：

(1)第一步骤，获得沿车辆的行驶方向的至少一个采集图像；

(2)第二步骤，确定车辆的驾驶者是否将要执行车辆停泊或者是否正在执行车辆停泊；

(3)第三步骤，在确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊时，基于所获得的至少一个采集图像来估计车辆的目标停泊区；

(4)第四步骤，基于所估计出的目标停泊区相对于车辆的位置来设置所获得的至少一个采集图像的显示模式，该显示模式表示该至少一个采集图像如何显示在显示装置上；

(5)第五步骤，基于该至少一个采集图像和该至少一个采集图像的显示模式来生成要显示在显示装置上的图像。

根据本公开内容的第一和第二示例性方面的设备及方法均使得能够根据所估计出的目标停泊区的位置的变化来改变所获得的至少一个采集图像的显示模式。

这使得能够生成下述要显示在显示装置上的图像，使得车辆的驾驶者可以容易地从在显示装置上所显示的图像中观看目标停泊区。也就是说，设备及程序产品中的每个均生成车辆停泊期间车辆的驾驶者想要观看的、要显示在显示装置上的至少一个图像，而不需要可切换地显示由多视图摄像头采集的图像。这使得车辆的驾驶者利用与专利文献中所公开结构的系统相比具有更简化的结构的设备来容易地将车辆V停泊在目标停泊区中。

鉴于以下结合附图的描述，会进一步认识到本公开内容的各个方面的以上特征和/或其它特征和/或优点。本公开内容的各个方面在适用情况下可以包括和/或排除不同的特征和/或优点。此外，本公开内容的各个方面在适用情况下可以结合其它实施方式的一个或更多个特征。对特定实施方式的特征和/或优点的描述不应该被解释为限制其它实施方式或限制权利要求。

附图说明

根据以下参照附图对实施方式的描述，本公开内容的其它方面会变得明显，在附图中：

图1是示意性地示出了根据本公开内容的实施方式的安装在车辆中的图像显示系统的整体结构的示例的框图；

图2是示意性地示出了由图1中所示出的图像显示系统的控制器执行的显示控制例程的流程图；

图3是示意性地示出了显示控制例程所调用的子例程的流程图；

图4A是示意性地示出了用于图1中所示出的显示装置的采集图像的显示区域的视图；

图4B是示意性地示出了多个停泊区候选的视图，并且图4B用于描述图2的步骤S240中的操作；

图5A是示意性地示出了根据该实施方式的车辆速度与显示区域之间的关系的曲线图；

图5B是示意性地示出了根据该实施方式的目标停泊区相对于车辆的距离与显示区域之间的关系的曲线图；

图6A是示意性地示出了根据该实施方式的当显示区域被设置成后方宽区域(backward wide region)时显示装置的采集图像的显示区域的视图；

图6B是示意性地示出了成像区域(即显示区域)的倾角的视图；

图6C是示意性地示出了根据该实施方式的当显示区域被设置成后方较低区域(backward lower region)时显示装置的采集图像的显示区域的视图；

图7A是示意性地示出了根据该实施方式的被显示在显示装置上的后方宽图像(backward wide image)的示例的视图；

图7B是示意性地示出了根据该实施方式的被显示在显示装置上的后方较低图像(backward lower image)的示例的视图。

具体实施方式

在下文中将参照附图描述本公开内容的具体实施方式。

应用根据该具体实施方式的设备的图像显示系统1被安装在诸如客运车辆V的车辆中。图像显示系统1具有下述功能：基于车辆V周围的采集图像来连续地生成要显示的图像，以及在显示装置26上连续地显示所述图像。特别地，根据该实施方式的图像显示系统1被具体地配置成更可视地显示车辆V的视场中所包含的区域的至少一个图像；该区域为在车辆V向后行驶时车辆V的驾驶者想要可视地识别的视场的至少一部分。

参照图1，图像显示系统1包括：控制器10、各种传感器21、摄像头22、显示装置26以及驾驶辅助装置27。

各种传感器21包括例如用于测量车辆V的行驶状况的第一类型的传感器，诸如车辆速度传感器、档位传感器、转向角传感器、制动传感器以及加速器位置传感器。各种传感器21还包括例如用于监控车辆V周围的行驶环境的第二类型的传感器。

车辆速度传感器操作用于测量车辆V的速度，以及操作用于将表示所测量的车辆V的速度的车辆速度信号输出至控制器10。

档位传感器操作用于检测驾驶者所选择的、安装在车辆V中的变速器的位置，并且将表示驾驶者所选择的位置的切换信号输出至控制器10。例如，能够由驾驶者选择的变速器的位置表示多个档位，例如包括：车辆V的前进档位、车辆V的反向驾驶的反向位置以及空档。

转向角传感器操作用于将表示驾驶者所操作的车辆V的转向盘的转向角的信号输出至控制器10。

制动传感器操作用于例如检测驾驶者对车辆V的制动踏板的操作量，并且将表示驾驶者对制动踏板的操作量的制动信号输出至控制器10。

加速器位置传感器操作用于检测节流阀的位置，该节流阀用于控制进入车辆V的内燃机的空气的量。也就是说，节流阀的位置表示节流阀被打开的程度。加速器位置传感器操作用于将表示所检测的节流阀的位置的加速器位置信号作为加速器位置输出至控制器10。

也就是说，从第一类型的传感器(包括车辆速度传感器、档位传感器、转向角传感器、制动传感器以及加速器位置传感器)发送的信号被控制器10接收作为行驶状况信号。

第二类型的传感器操作用于监控车辆V周围的行驶环境；行驶环境包括：车辆V周围是否存在至少一个障碍物，以及车辆V将要在其上行驶的道路或区域的情况如何。第二类型的传感器操作用于将表示所监控的车辆V周围的行驶环境的行驶环境信号输出至控制器10。

摄像头22附接至例如车辆V的后部中心。摄像头22被设计为已知的倒车摄像头或后视摄像头，摄像头22将水平方向(即朝向车辆V的后部的、车辆V的宽度方向)上的相对较宽的扇形区域作为其成像区域IR(即成像范围)，例如参见图6A。具体地，扇形成像区域IR具有关于摄像头22的光轴的对称形状，朝向车辆V的后侧延伸，并且在车辆宽度方向上具有预定视角θ，预定视角θ为中心角θ。成像区域IR在车辆V的高度方向上具有预定垂直宽度。

此外，成像区域IR相对于基准水平面RP具有可变倾角θd，其中，基准水平面RP包括摄像头22的光轴并且与车辆V正在其上行驶的道路表面平行(参见图6B)。

具体地，摄像头22操作用于连续地采集成像区域IR的图像，并且连续地将所采集的图像作为数字图像(即数字图像数据)发送至控制器10。在该实施方式中，使用了单个摄像头22，但是可以使用多个摄像头22。

显示装置26操作用于连续地显示由控制器10生成的图像。可以使用市场上能够买到的用于车辆的显示器作为显示装置26。

在该实施方式中，通过控制器10将显示装置26的显示区域DR(即显示范围)可控地确定在成像区域IR内。也就是说，显示区域DR呈现由摄像头22基于成像区域IR所采集的图像的、包括在显示区域DR中的应该显示在显示装置26上的至少一部分。换言之，在显示装置26上应该不显示所采集的图像的、未包括在显示区域DR中的其它部分。

例如，如图4A所示，显示区域DR具有关于摄像头22的光轴对称的扇形形状，朝向车辆V的后侧延伸，并且沿车辆宽度方向具有作为中心角θ1的可变视角θ1。也就是说，显示区域DR的视角θ1在从零至成像区域IR的视角θ的范围(包括零与视角θ)内可变。

驾驶辅助装置27操作用于在控制器10的控制下执行用于辅助停泊车辆V的任务；该任务包括控制(即辅助)车辆V的加速器位置、车辆V的制动踏板的量以及车辆V的转向盘的转向角。

控制器10主要包括已知的、由例如可通信地彼此连接的CPU 11和存储单元12构成的微型计算机，存储单元12包括ROM和RAM中的至少之一。特别地，存储单元12包括不需要电力来保持数据的非易失性存储器。

CPU 11执行存储在存储器12中的各种例程(即各种指令集)，包括显示控制例程。

接下来，以下将描述根据该实施方式的图像显示系统1的操作。

例如，在车辆V上电(即车辆V的点火开关接通)时，控制器10的CPU 11启动显示控制例程，并且每个预定周期执行显示控制例程(参见图2)。

当启动显示控制例程时，CPU 11在步骤S110中用作例如第六单元，用于接收从各种传感器21发送的信号作为车辆相关信息，并且在步骤S120中用作例如第一单元，用于接收由摄像头22连续地采集的数字图像之一。从各种传感器21发送的信号示出了各种传感器21的测量结果。

接下来，在步骤S130中，CPU 11调用用于执行停泊确定任务的子例程；停泊确定任务被设计成确定车辆V是将要停泊或还是将要启动。将按照图3中的子例程描述该子例程的执行过程的示例。

在调用该子例程时，在步骤S310中，CPU 11基于从档位传感器发送的信号来确定驾驶者所选择的变速器的位置是否从另一位置切换至反向位置。

如果确定驾驶者所选择的变速器的位置不是从另一位置切换至反向位置(在步骤S310中为否)，则CPU 11重复步骤S310中的确定。

否则，如果确定驾驶者所选择的变速器的位置从另一位置切换至反向位置(在步骤S310中为是)，则CPU 11在步骤S320中确定自车辆V最后一次停止起是否经过了预定第一判定时间。

注意，控制器10的CPU 11被设计成将显示控制任务的当前执行周期之前最后一次停止车辆V的时刻写入存储单元12的非易失性存储器中，作为最新车辆停止时刻。也就是说，每次停止车辆V时，CPU 11将先前存储在存储单元12的非易失性存储器中的最新车辆停止时刻更新为当前时刻。

具体地，在步骤S320中，CPU 11将存储在存储单元12的非易失性存储器中的最新车辆停止时刻与当前时刻进行比较，从而计算自最新车辆停止时间起实际经过的时间。然后，在步骤S320中，CPU 11可以确定实际经过的时间是否等于或大于第一判定时间。

注意，第一判定时间表示用于确定车辆V的驾驶者是否将要执行车辆V的停泊的多个时间长度的示例。例如，第一判定时间被设置成相对较短的时间长度，例如十分钟或十分钟左右。

当在自车辆最后一次停止起经过了长时间段之后执行驾驶者的从另一位置至反向位置的切换操作时，车辆V很可能当前已被停泊。这使得在经过较长时间段之后停泊车辆V的可能性变得更低。

如果确定自车辆V最后一次停止起经过了第一判定时间(在步骤S320中为是)，则子例程前进至之后描述的步骤S350。否则，如果确定自车辆V最后一次停止起还未经过第一判定时间(在步骤S320中为否)，则CPU 11在步骤330中确定自车辆V上电(即，开启车辆V的电源)起是否经过了预定第二判定时间。

注意，控制器10的CPU 11被设计成保存自车辆V上电而使得控制器10被激活起所经过的时间作为经历时间。

具体地，在步骤S330中，CPU 11可以将经历时间与第二判定时间进行比较，并且可以基于比较的结果来确定经历时间是否等于或大于第二判定时间。

注意，第二判定时间表示用于确定车辆V的驾驶者是否将要执行车辆V的停泊的多个时间长度的示例。例如，第二判定时间被设置成相对较短的时间长度，例如五分钟或五分钟左右。

当在自车辆上电起经过了五分钟或五分钟左右之前执行驾驶者的从另一位置至反向位置的切换操作时，车辆V的驾驶者很可能不是执行车辆V的停泊，而是执行车辆V后退的启动操作。

如果确定自车辆V上电起经过了第二判定时间(在步骤S330中为是)，则CPU 11在步骤S340中确定车辆V的驾驶者正尝试向后移动或者正在向后移动车辆V以停泊车辆V，即，确定驾驶者正尝试执行或者正在执行车辆V的后行停泊(backward parking)。即，后行停泊意指车辆V当前正被向后停泊。

然后，在步骤S340中，CPU 11将车辆V的操作参数存储在存储单元12中；该参数具有表示车辆V的驾驶者将要执行车辆V的后行停泊或者正在执行车辆V的后行停泊的信息。换言之，该参数具有表示车辆V将要被后行停泊或当前正被后行停泊的信息。

在步骤S340的操作之后，CPU 11终止该子例程，并且执行图2中所示出的显示控制例程中的下一操作。

否则，如果确定自车辆V上电起还未经过第二判定时间(在步骤S330中为否)，则CPU 11在步骤S350中确定车辆V正尝试后行启动或者正在后行启动。然后，在步骤S350中，CPU 11将车辆V的操作参数存储在存储单元12中；该操作参数具有表示车辆V正尝试后行启动或者正在后行启动的信息。在完成步骤S350中的操作之后，CPU 11终止该子例程，并且进行图2中所示出的显示控制例程的步骤S140中的下一操作。

具体地，在步骤S140中，CPU 11从存储单元12读取车辆V的操作参数，并且基于由车辆V的操作参数所示的信息来确定车辆V的驾驶者是否将要执行车辆V的后行停泊或者正在执行车辆V的后行停泊。

步骤S130和S140中的操作用作例如第二单元。

如果确定车辆V的驾驶者既不是将要执行车辆V的后行停泊也不是正在执行车辆V的后行停泊(在步骤S140中为否)，则CPU 11识别出车辆V正尝试后行启动或者正在后行启动。然后，CPU 11用作例如第四单元，用于在步骤S150中将显示装置26的显示区域DR(显示范围)设置(即改变)成比基准扇形区域宽。

例如，在步骤S150中，CPU 11将显示区域DR的视角θ1设置成与成像区域IR的视角θ相同，从而将显示装置26的显示区域DR设置成与摄像头22的成像区域IR相同(参见图4A)。

在步骤S150中，CPU 11还用作例如第四单元，用于将成像区域IR(即显示区域DR)相对于基准水平面RP的倾角θd设置成小于基准倾角θdr(参见图6B)。在步骤S150中的操作之后，显示控制例程前进至步骤S270。

否则，如果确定车辆V的驾驶者将要执行车辆V的后行停泊或者正在执行车辆V的后行停泊(在步骤S140中为是)，则在步骤S160中，CPU11基于表示从车辆速度传感器发送的车辆速度的信号以及表示从转向角传感器发送的转向角的信号来预测车辆V的行驶轨迹。具体地，车辆V的行驶轨迹表示车辆V要沿其行驶的未来轨迹。

接下来，在步骤S170中，CPU 11执行停泊区候选提取操作。

具体地，在步骤S170中，CPU 11尝试基于输入至控制器10的当前采集的图像(数字图像)使用已知的标记识别技术之一来估计位于靠近所预测的行驶轨迹的至少一个停泊区候选。该至少一个停泊区候选为例如由着色的标记来划分的至少一个类似矩形的区域；该至少一个区域的尺寸足以允许车辆V停泊在其中。

在步骤S170中，如果CPU 11成功估计了至少一个停泊区候选，则CPU 11基于当前采集的图像来对例如车辆V的后缸盖的中心或摄像头位置与例如该至少一个停泊区候选的点之间的最短距离进行估计。该点例如位于至少一个停泊区候选的一个横向边上；该一个横向边与该至少一个停泊区候选的、车辆V通过其进入的另一横向边相对。

步骤S160和S170中的操作用作例如第三单元。

例如，在图7A中，参考附图标记P表示至少一个停泊区候选，LS1表示该至少一个停泊区候选P的第一横向边，而参考附图标记LS2表示该至少一个停泊区候选P的与第一横向边LS1相对的第二横向边。将车辆V的后缸盖的中心或摄像头位置与该至少一个停泊区候选的所述点之间的最短距离称为该至少一个停泊区候选相对于车辆V的距离。

接下来，在步骤S210中，CPU 11确定CPU 11是否成功估计(即检测)出至少一个停泊区候选。

如果确定CPU 11没有成功估计出至少一个停泊区候选(在步骤S210中为否)，则CPU 11用作例如第四单元，用于在步骤S220中基于从车辆速度传感器发送的行驶状况信号和行驶环境信号中的至少之一来设置(即改变)显示区域DR。例如，在步骤S220中，CPU 11根据车辆V的速度来调节显示区域DR。

例如，根据第一实施方式的控制器10具有映射M1，映射M1以数据表或数学表达式形式存储在存储单元12(参见图1)中以及/或者以程序形式编码在显示控制例程中。映射M1包括表示例如如图5A中所示出的下述值之间的关系的信息：车辆V的速度的值、显示区域DR的视角θ的值以及成像区域IR(显示区域DR)的倾角θd的值。

具体地，CPU 11从映射M1提取显示区域DR的视角θ的值和成像区域IR的倾角θd的值；显示区域DR的视角θ的值和成像区域IR的倾角θd的值对应于车辆V的速度的当前值。

例如，在车辆V的速度的当前值等于或大于第一阈值速度Tb的情况下，CPU 11执行如下操作：

1.将显示区域DR设置成比基准扇形区域宽；

2.在步骤S220中，将成像区域IR的倾角θd设置成小于基准倾角θdr(参见图6B)。

在这种情况下，在步骤S220中，具体地，CPU 11将显示区域DR的视角θ1设置成与成像区域IR的视角θ相同，从而将显示装置26的显示区域DR设置成与摄像头22的成像区域IR相同(参见图6A)。在显示区域DR被设置成与成像区域IR相同的情况下，在下文中将该显示区域DR称为后方宽区域。这使得基于显示区域DR将由摄像头2基于成像区域IR当前所采集的整个图像作为后方宽图像显示在显示装置26上(参见之后描述的步骤S270)。

换言之，改变(即设置)显示区域DR，从而控制由摄像头22基于成像区域IR当前采集的图像的显示模式；图像的显示模式表示图像如何显示在显示装置26上。例如，显示区域DR被设置成后方宽区域使得将基于成像区域IR的当前采集的图像的显示模式设置成第一显示模式，在第一显示模式中，将基于成像区域IR的当前采集的图像的整体显示在显示装置26上。

例如，图7A中示出了在显示区域DR被设置成后方宽区域的情况下显示在显示装置26上的后方宽图像的示例。具体地，图7A中示出的后方宽图像的示例以与车辆V的驾驶者从摄像头22所处的位置观看后方场景相同的方式示出了在车辆V的后端周围的后方宽区域。显示区域DR被设置成后方宽区域使得驾驶者V能够基于所显示的图像(即后方宽图像)来观看至少一个停泊区候选P以及位于车辆V的后方的行人PE和其它车辆。

与此相反，在车辆V的速度的当前值小于第二阈值速度Ta的情况下，CPU 11执行如下操作：

1.将显示区域DR设置成比基准扇形区域窄；

2.在步骤S220中，将成像区域IR的倾角θd设置成大于基准倾角θdr(参见图6B和图6C)。

在这种情况下，CPU 11优选地对包含在小于成像区域IR的显示区域DR中的当前采集的图像的一部分进行操作，以便由此放大当前采集的图像的一部分。当显示区域DR被设置成比基准扇形区域窄并且成像区域IR的倾角θd被设置成大于基准倾角θdr时，在下文中将该显示区域DR称为后方较低区域。结果，由摄像头22当前采集的图像的、包括在后方较低区域DR中的一部分被显示为显示装置26上的图像，同时被放大为后方较低图像(参见之后描述的步骤S270)。

例如，显示区域DR被设置成后方较低区域使得将基于成像区域IR的当前采集的图像的显示模式设置成第二显示模式，在第二显示模式中，在显示装置26上显示基于成像区域IR的当前采集的图像的、包括在显示区域DR中的一部分。此外，显示区域DR被设置成基准扇形区域同时成像区域IR的倾角θd被设置成基准倾角θdr，使得将基于成像区域IR的当前采集的图像的显示模式设置成第三显示模式。

例如，图7B示出了在显示区域DR被设置成后方较低区域的情况下显示在显示装置26上的后方较低图像的示例。具体地，图7B所示的后方较低图像的示例示出了在车辆V的后端周围的较低区域的放大图。显示区域DR被设置成后方较低区域使得驾驶者能够容易地识别如下距离：车辆V的后端距位于或靠近至少一个停泊区候选的第一横向边LS1上的车辆止位块B的距离，或者车辆V的后端距停泊场的靠近第一横向边LS1的壁表面的距离。

另一方面，当车辆V的速度的当前值等于或大于第二阈值速度Ta并且小于第一阈值速度Tb时，CPU 11保持显示区域DR不变。这使得在显示装置26上显示当前采集的图像的在步骤S220和步骤S270中包含在未改变的显示区域DR中的一部分。具体地，如果显示区域DR被设置为后方较低区域，则在步骤S220和步骤S270中CPU 11将当前采集的图像作为后方宽图像显示在显示装置26上。

假设各种传感器21包括加速度传感器，该加速度传感器用于测量车辆V的加速度并且将表示所测量出的车辆V的加速度的加速度信号输出至控制器10。在该假设下，在步骤S220中，CPU 11可以基于取决于从加速度传感器发送的信号的车辆V的加速度设置(即改变)显示区域DR，即显示区域DR的视角θ1以及成像区域IR的倾角θd。

在步骤S220的操作之后，显示控制例程前进至之后描述的步骤S270。

另一方面，如果确定CPU 11成功估计了至少一个停泊区候选(在步骤S210中为是)，则CPU 11在步骤S230中确定是否存在步骤S170中所估计的两个或更多个停泊区候选。

如果确定存在至少一个步骤S170中所估计出的停泊区候选(在步骤S230中为否)，则CPU 11在步骤S230中将该至少一个停泊区候选确定为车辆V的目标停泊区PT。此后，显示控制例程前进至步骤S250。

否则，如果确定存在两个或更多个步骤S170中所估计出的停泊区候选(在步骤S230中为是)，则显示控制例程前进至步骤S240。

在步骤S240中，CPU 11根据从各种传感器21发送的行驶状况信号和行驶环境信号中的至少之一来估计两个或更多个停泊区候选之一作为车辆V的目标停泊区PT。例如，在步骤S240中，CPU 11根据车辆V的速度以及在步骤S170中所估计出的相应的两个或更多个停泊区候选的距离来将两个或更多个停泊区候选之一估计为车辆V的目标停泊区PT。

例如，根据第一实施方式的控制器10具有映射M2，该映射M2以数据表或数学表达式形式存储在存储单元12(参见图1)中以及/或者以程序形式编码在显示控制例程中。映射M2包括表示下述值之间的关系的信息：车辆V的速度的值以及可选择作为停泊区的停泊区候选的距离的下限的值。例如，该关系表明：车辆的速度越高，可选择作为停泊区的停泊区候选的距离的下限越长。

具体地，如图4B中所示，在步骤S240中，CPU 11提取两个或更多个停泊区候选(图4B中PC1至PC6)的下限值；下限值对应于车辆V的速度的当前值。如果在步骤S170中所估计出的停泊区候选PC2的距离比对应于停泊区候选PC2的下限值短(参见图4B)，则CPU 11从六个停泊区候选PC1至PC6中去除停泊区候选PC2。

然后，在步骤S240中，CPU 11选择剩余停泊区候选之一作为车辆V的目标停泊区PT；该剩余停泊区候选之一的距离为剩余停泊区候选的距离中最短的。

如果各种传感器21包括加速度传感器，则CPU 11可以使用基于从加速度传感器发送的信号的、车辆V的加速度代替车辆V的速度，来执行以上阐述的步骤S240中的操作。

在步骤S240的操作之后，显示控制例程前进至步骤S250。

在步骤S250中，CPU 11用作例如第四部件，用于在步骤S250中根据从车辆速度传感器发送的行驶状况信号和行驶环境信号中的至少之一来设置(即改变)显示区域DR。例如，在步骤S250中，CPU 11根据目标停泊区PT相对于车辆V的距离来调节显示区域DR，以使得目标停泊区PT的至少一部分包括在显示区域DR中。

例如，根据第一实施方式的控制器10具有映射M3，该映射M3以数据表或数学表达式形式存储在存储单元12(参见图1)中以及/或者以程序形式编码在显示控制例程中。映射M3包括表示例如图5B所示出的下述值之间的关系的信息：目标停泊区的距离的值、显示区域DR的视角θ的值以及成像区域IR(显示区域DR)的倾角θd的值。

具体地，CPU 11从映射M3提取显示区域DR的视角θ的值和成像区域IR的倾角θd的值；显示区域DR的视角θ的值和成像区域IR的倾角θd的值对应于目标停泊区PT的距离的值。

例如，在目标停泊区PT的距离的值等于或大于第一阈值距离Td的情况下，CPU 11在步骤S250中将显示区域DR设置成比基准扇形区域宽，并且将成像区域IR的倾角θd设置成小于基准倾角θdr(参见图6B)。在这种情况下，在步骤S250中，具体地，CPU11将显示区域DR的视角θ1设置成与成像区域IR的视角θ相同，从而将显示区域DR设置为以上阐述的后方宽区域(参见图7A)。

这产生如图7A所示的显示在显示装置26上的后方宽图像的示例(参见之后描述的步骤S270)。图7A中所示的后方宽图像的示例示出了车辆V的后端周围的后方宽区域，包括目标停泊区PT的整体形状以及存在于所确定的或所选择的停泊区周围的行人PE。

相反，在目标停泊区PT的距离的值小于第二阈值距离Tc的情况下，CPU 11在步骤S250中将显示区域DR改变成比基准扇形区域窄，并且将成像区域IR的倾角θd设置成大于基准倾角θdr(参见图6B和图7B)，从而将显示区域DR设置为以上阐述的后方较低区域。

这产生如图7B所示的显示在显示装置26上的后方较低图像的示例(参见之后描述的步骤S270)。图7B中所示的后方较低图像的示例示出了在车辆V的后端周围的较低区域的放大视图。显示区域DR被设置成后方较低区域使得驾驶者能够容易地识别如下距离：车辆V的后端距位于或靠近目标停泊区PT的第一横向边LS1上的车辆止位块B的距离，或者车辆V的后端距停泊场的靠近第一横向边LS1的壁表面的距离。

另一方面，在目标停泊区PT的距离的值等于或大于第二阈值距离Tc并且小于第一阈值距离Td的情况下，CPU 11保持显示区域DR不变。这使得在步骤S250和S270中，在显示装置26上显示当前采集的图像的包含在显示区域DR中的一部分。具体地，在显示区域DR被设置为后方较低区域时，在步骤S250和步骤S270中，CPU 11将当前采集的图像作为后方宽图像显示在显示装置26上。

在完成了步骤S250中的操作的执行之后，在步骤S260中，CPU 11使用驾驶辅助装置27来执行驾驶辅助任务，即停泊辅助任务。具体地，CPU 11指示驾驶辅助装置27执行用于辅助将车辆V停泊在目标停泊区PT中的任务；该任务包括控制(即辅助)车辆V的加速器位置、车辆V的制动踏板的量以及车辆V的转向盘的转向角。

在执行驾驶辅助任务时，CPU 11用作例如第五单元，用于基于由摄像头22当前采集的图像来生成要显示的图像；在步骤S270中，将所生成的图像包含在显示区域DR中，使得目标停泊区PT的至少一部分包括在要显示的图像中。然后，在步骤S270中，CPU 11将所生成的图像发送至显示装置26，使得图像显示在显示装置26上。在完成了步骤S270中的操作的执行之后，CPU 11终止显示控制例程。

如上所述，图像显示系统1的控制器10被配置成获得被设置为沿车辆V的行驶方向的视场的成像区域IR的至少一个采集图像。控制器10还被配置成基于所获得的至少一个采集图像来估计车辆V的目标停泊区PT。

控制器10还被配置成：

(1)基于所估计的目标停泊区PT相对于车辆V的位置，来设置或改变所获得的至少一个采集图像的显示模式；该显示模式表示所述至少一个采集图像如何显示在显示装置26上；

(2)基于所述至少一个采集图像，根据所述至少一个采集图像的显示模式来生成要显示在显示装置26上的图像，使得例如目标停泊区PT的至少一部分被包括在所生成的要显示在显示装置26上的图像中。

该基本配置实现了以下描述的第一优点。

具体地，该基本配置根据所估计的目标停泊区PT的位置的变化来改变所获得的至少一个采集图像的显示模式。

这使得能够生成要显示在显示装置26上的图像，使得车辆V的驾驶者可以容易地从显示装置26上所显示的图像中观看目标停泊区PT。也就是说，图像显示系统1的该基本配置生成车辆V的驾驶者在停泊车辆V期间想要观看的、要显示在显示装置26上的至少一个图像，而不需要切换所显示的由多视图摄像头采集的图像。这使得车辆V的驾驶者利用与专利文献中所公开的系统的结构相比具有更简化的结构的图像显示设备1容易地将车辆V停泊在目标停泊区PT中。

特别地，图像显示系统1包括第一特定配置，使得所获得的至少一个采集图像的显示模式是基于所获得的至少一个采集图像的用于显示装置26的扇形显示区域DR；扇形显示区域DR被设置成在车辆宽度方向上水平延伸并且具有视角θ1。

第一特定配置基于所获得的至少一个采集图像来估计车辆V与所估计的目标停泊区PT之间的距离。然后，第一特定配置执行以下操作：

(1)确定车辆V与所估计的目标停泊区PT之间的距离是否等于或大于第一阈值距离Td和第二阈值距离Tc中的每一个；第二阈值距离Tc小于第一阈值距离Td；

(2)将所述距离等于或大于第一阈值距离Td时的显示区域DR的视角θ1设置成比所述距离小于第二阈值距离Tc时的视角θ1宽。

因此，第一特定配置实现了以下描述的第二优点。

具体地，第一特定配置根据显示区域DR的变化来生成要显示在显示装置26上的图像，使得：

(1)当车辆V与所估计的目标停泊区PT之间的距离等于或大于第一阈值距离Td时，该图像允许车辆V的驾驶者观看作为沿车辆V的行驶方向的视场的水平宽区域；

(2)当车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc时，该图像允许车辆V的驾驶者专心地观看目标停泊区PT。

当车辆V与所估计的目标停泊区PT之间的距离等于或大于第一阈值距离Td时，车辆V的驾驶者应该需要观看作为沿车辆V的行驶方向的视场的水平宽区域。这是因为驾驶者有必要可视地识别目标停泊区PT所处的位置以及目标停泊区PT周围的情况。

相反，在车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc时，车辆V的驾驶者应该需要专心地观看目标停泊区PT以便可靠地将车辆V停泊在目标停泊区PT中。

考虑到这些情形，以上阐述的第一特定配置在下述这些情况中的任意情况下都满足车辆V的驾驶者的需求：

1.车辆V与所估计的目标停泊区PT之间的距离等于或大于第一阈值距离Td；

2.车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc。

此外，图像显示系统1包括用于执行下述操作的第二特定配置：

(1)确定车辆V与所估计的目标停泊区PT之间的距离是否等于或大于第一阈值距离Td和第二阈值距离Tc中的每一个；

(2)将所述距离小于第二阈值距离Tc时的成像区域IR(即显示区域DR)的倾角θd设置成大于所述距离等于或大于第一阈值距离Td时的倾角θd。

因此，第二特定配置实现了以下描述的第三优点。

具体地，第二特定配置根据显示区域DR的变化来生成要显示在显示装置26上的图像，使得：

(1)在车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc时，成像区域IR的倾角θd值较大的图像允许车辆V的驾驶者专心地观看目标停泊区PT；

(2)成像区域IR的倾角θd值较小的图像允许车辆V的驾驶者观看作为沿车辆V的行驶方向的视场的水平宽区域。

也就是说，在车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc时，车辆V的驾驶者应该需要专心地观看目标停泊区PT以便可靠地将车辆V停泊在目标停泊区PT中。

相反，在车辆V与所估计的目标停泊区PT之间的距离等于或大于第一阈值距离Td时，车辆V的驾驶者应该需要观看作为沿车辆V的行驶方向的视场的水平宽区域。

考虑到如上所述的这些情形，第二特定配置在下述这些情况中的任意情况下都满足车辆V的驾驶者的需求：

1.车辆V与所估计的目标停泊区PT之间的距离等于或大于第一阈值距离Td；

2.车辆V与所估计的目标停泊区PT之间的距离小于第二阈值距离Tc。

注意，可以将第一阈值距离Td和第二阈值距离Tc设置成彼此相等。此外，注意，用于控制显示区域DR的视角θ1的第一阈值距离Td和第二阈值距离Tc分别可以不同于用于控制成像区域IR(即显示区域DR)的倾角θd的第一阈值距离Td和第二阈值距离Tc。

图像显示系统1包括第三特定配置，该第三特定配置用于根据从各种传感器21发送的行驶状况信号和行驶环境信号中的至少之一来调节所获得的至少一个采集图像的显示模式(参见步骤S220和步骤S250)。

该第三特定配置使得能够针对车辆V的当前行驶状况和/或车辆V周围的当前行驶环境来更适当地调节所获得的至少一个采集图像的显示模式。

特别地，即使确定CPU 11没有成功地估计至少一个停泊区候选(在步骤S210中为否)，该第三特定配置使得能够根据从各种传感器21发送的行驶状况信号和行驶环境信号中的至少之一来设置所获得的至少一个采集图像的显示模式。

图像显示系统1包括第四特定配置，该第四特定配置除了基于所估计的目标停泊区PT的位置之外还基于行驶状况信号和/或行驶环境信号，来设置或改变所获得的至少一个采集图像的显示模式。该第四特定配置使得能够适当地生成要显示在显示装置26上的如下部分的图像：至少一个采集图像的驾驶者想要观看的部分。

图像显示系统1包括第五特定配置，在至少一个采集图像中存在两个或更多个停泊区候选的情况下，第五特定配置根据从各种传感器21发送的行驶状况信号和行驶环境信号中的至少之一来将该两个或更多个停泊区候选之一估计为车辆V的目标停泊区PT(参见步骤S240)。该第五特定配置使得适当地将该两个或更多个停泊区候选之一估计为车辆V的停泊区。

图像显示系统1包括第六特定配置，第六特定配置确定(i)车辆V的驾驶者是否要执行车辆V的后行停泊或者正在执行车辆V的后行停泊，或者确定(ii)车辆V是否正尝试沿给定行驶方向启动或者正在启动。该第六特定配置还将至少一个采集图像的显示模式设置成适于车辆V的启动的预定模式(即第一显示模式)。该第六特定配置更适于车辆V的启动地将显示装置26上所显示的图像提供给驾驶者。

图像显示系统1包括第七特定配置，该第七特定配置用于执行如下操作：

(1)确定自车辆V上电(即，开启车辆V的电源)起是否经过了第二判定时间(参见步骤S330)；

(2)如果确定自车辆V上电起经过了第二判定时间，则确定车辆的驾驶者正尝试向后移动或正在向后移动车辆V以停泊车辆V(参见步骤S340)；

(3)如果确定自车辆V上电起还未经过第二判定时间，则确定车辆V正尝试后行启动或正在后行启动(参见步骤S350)。

该第七特定配置仅确定(i)车辆V的驾驶者将要执行车辆V的后行停泊或正在执行车辆V的后行停泊，还是(ii)车辆V正尝试启动或正在启动。

图像显示系统1包括第八特定配置，该第八特定配置用于执行如下操作：

(1)在满足第一条件时，将至少一个采集图像的显示模式从第一显示模式改变成第二显示模式；第一条件表示例如目标停泊区PT的距离的值小于第二阈值距离Tc；

(2)当满足第二条件时，将至少一个采集图像的显示模式从第二显示模式改变成第一显示模式；第二条件表示例如目标停泊区PT的距离的值等于或大于第一阈值距离Td(参见图5A和图5B)。

使用彼此不同的第一条件和第二条件来改变至少一个采集图像的显示模式的第八特定配置减少了显示模式的频繁改变。这导致改进了显示装置26上所显示的图像。

在步骤S250中，CPU 11根据目标停泊区PT相对于车辆V的距离来调节显示区域DR，但本公开内容不限于此。具体地，除了目标停泊区PT相对于车辆V的距离来调节显示区域DR之外，CPU 11还可以根据车辆V的速度来调节显示区域DR。例如，CPU 11可以根据车辆V的速度与目标停泊区PT相对于车辆V的距离的乘积的值来调节显示区域DR。

根据该实施方式的图像显示系统1被配置成沿车辆V的后行方向连续地采集包括在车辆V的视场中的成像区域IR的图像。然而，本公开内容并不限于这种配置。具体地，图像显示系统1可以被配置成沿车辆V的前行方向连续地采集包括在车辆V的视场中的成像区域IR的图像。

根据该实施方式的图像显示系统1可以被配置成将当前采集的图像的显示模式在第一显示模式至第三显示模式之间进行改变，但是本公开内容并不限于此。具体地，图像显示系统1可以被配置成将当前采集的图像的显示模式在第一显示模式和第二显示模式之间、或者在三个或更多个显示模式之间进行改变；显示模式中的每个被设置成对应的视角和对应的倾角。

尽管本文中描绘了本公开内容的示例性实施方式，但本公开内容并不限于本文中描述的实施方式，而是包括具有本领域技术人员基于本公开内容理解的修改、省略、组合(例如，各个实施方式之间的方面)、修正和/或变型的任何和所有实施方式。权利要求中的限制应基于权利要求中所采用的语言被广义地解释并且不限于在本说明书中或在申请的进行期间描述的示例，这些示例被解释为非排他性的。

Claims (14)

1.一种用于生成要显示在显示装置上的图像的设备(1)，所述设备包括：

第一单元(10，S120)，用于获得沿车辆的行驶方向的至少一个采集图像；

第二单元(10，S130，S140)，用于确定车辆的驾驶者是否将要执行车辆停泊或者是否正在执行车辆停泊；

第三单元(10，S160，S170)，用于在确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊时，基于所获得的至少一个采集图像来估计车辆的目标停泊区；

第四单元(10，S150，S220，S250)，用于基于所估计出的目标停泊区相对于所述车辆的位置来设置所获得的至少一个采集图像的显示模式，所述显示模式表示所述至少一个采集图像如何显示在所述显示装置上；以及

第五单元(S270)，用于基于所述至少一个采集图像和所述至少一个采集图像的所述显示模式来生成要显示在所述显示装置上的图像。

2.根据权利要求1所述的设备，其特征在于：

所获得的至少一个采集图像的显示模式是基于所述至少一个采集图像针对所述显示装置的显示区域的，所述显示区域被设置成在车辆的宽度方向上水平地延伸并且具有视角；

所述第三单元被配置成估计所述目标停泊区相对于所述车辆的距离；以及

所述第四单元被配置成执行如下任务中的至少一个：

第一任务，用于执行如下操作：

确定所述目标停泊区相对于所述车辆的距离是否等于或大于针对所述视角的阈值距离；以及

将所述距离等于或大于针对所述视角的阈值距离时的所述显示区域的视角设置成比所述距离小于所述阈值距离时的所述显示区域的视角宽，以及

第二任务，用于执行如下操作：

确定所述目标停泊区相对于所述车辆的距离是否等于或大于针对所述显示区域的倾角的阈值距离；以及

将所述距离小于针对所述倾角的阈值距离时的所述显示区域的倾角设置成比所述距离等于或大于针对所述倾角的阈值距离时的所述显示区域的倾角大。

3.根据权利要求1或2所述的设备，还包括：

第六单元(S110)，用于获得表示车辆的行驶状况和车辆周围的行驶环境中的至少一个的车辆相关信息，

所述设备的特征在于所述第四单元被配置成：

在所述第三单元没有成功估计出车辆的目标停泊区时，基于所述车辆相关信息来设置所获得的至少一个采集图像的所述显示模式，或者

除了基于所估计出的目标停泊区相对于所述车辆的位置之外，还基于所述车辆相关信息来设置所获得的至少一个采集图像的所述显示模式。

4.根据权利要求3所述的设备，其特征在于：

所述第三单元被配置成：在所述至少一个采集图像中存在两个或更多个停泊区的情况下，所述第三单元根据所述车辆相关信息选择所述两个或更多个停泊区之一作为所述目标停泊区。

5.根据权利要求1至4中任一项所述的设备，其特征在于，在所述第二单元确定车辆的驾驶者既不是将要执行车辆停泊，也不是正在执行车辆停泊，而是确定所述车辆正尝试启动或者正在启动的情况下，所述第四单元被配置成将所获得的至少一个采集图像的显示模式设置成适于车辆启动的预定模式。

6.根据权利要求5所述的设备，其特征在于：

所述第二单元被配置成：

确定自车辆上电起是否经过了判定时间；以及

当确定自车辆上电起经过了所述判定时间时，确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊；以及

当确定自车辆上电起还未经过所述判定时间时，确定车辆正尝试启动或者正在启动。

7.根据权利要求1至6中任一项所述的设备，其特征在于：

所述第四单元被配置成：

在满足所述目标停泊区的位置与所述车辆之间的预定第一条件时，将至少一个采集图像的显示模式从第一显示模式改变成第二显示模式；以及

在满足所述目标停泊区的位置与所述车辆之间的预定第二条件时，将至少一个采集图像的显示模式从所述第二显示模式改变成所述第一显示模式，所述第二条件不同于所述第一条件。

8.一种用于生成要显示在显示装置上的图像的方法，所述方法包括：

第一步骤(S120)，获得沿车辆的行驶方向的至少一个采集图像；

第二步骤(S130，S140)，确定车辆的驾驶者是否将要执行车辆停泊或者是否正在执行车辆停泊；

第三步骤(S160，S170)，在确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊时，基于所获得的至少一个采集图像来估计车辆的目标停泊区；

第四步骤(S150，S220，S250)，基于所估计出的目标停泊区相对于所述车辆的位置来设置所获得的至少一个采集图像的显示模式，所述显示模式表示所述至少一个采集图像如何显示在所述显示装置上；以及

第五步骤(S270)，基于所述至少一个采集图像和所述至少一个采集图像的显示模式来生成要显示在所述显示装置上的图像。

9.根据权利要求8所述的方法，其特征在于：

所获得的至少一个采集图像的显示模式是基于所述至少一个采集图像针对所述显示装置的显示区域的，所述显示区域被设置成在车辆的宽度方向上水平地延伸并且具有视角；

所述第三步骤被配置成估计所述目标停泊区相对于所述车辆的距离；以及

所述第四步骤被配置成执行如下任务中的至少一个：

第一任务，用于执行如下操作：

确定所述目标停泊区相对于所述车辆的距离是否等于或大于针对所述视角的阈值距离；以及

将所述距离等于或大于针对所述视角的阈值距离时的所述显示区域的视角设置成比所述距离小于所述阈值距离时的所述显示区域的视角宽，以及

第二任务，用于执行如下操作：

确定所述目标停泊区相对于所述车辆的距离是否等于或大于针对所述显示区域的倾角的阈值距离；以及

将所述距离小于针对所述倾角的阈值距离时的所述显示区域的倾角设置成比所述距离等于或大于针对所述倾角的阈值距离时的所述显示区域的倾角大。

10.根据权利要求8或9所述的方法，其特征在于所述方法还包括：

第六步骤(S110)，获得表示车辆的行驶状况和车辆周围的行驶环境中的至少一个的车辆相关信息；以及

所述第四步骤被配置成执行如下操作之一：

在没有成功估计出车辆的目标停泊区时，基于所述车辆相关信息来设置所获得的至少一个采集图像的显示模式，以及

除了基于所估计出的目标停泊区相对于所述车辆的位置之外，还基于所述车辆相关信息来设置所获得的至少一个采集图像的显示模式。

11.根据权利要求10所述的方法，其特征在于：

所述第三步骤被配置成：在所述至少一个采集图像中存在两个或更多个停泊区的情况下，根据所述车辆相关信息选择所述两个或更多个停泊区之一作为目标停泊区。

12.根据权利要求8至11中任一项所述的方法，其特征在于，在确定车辆的驾驶者既不是将要执行车辆停泊，也不是正在执行车辆停泊，而是确定所述车辆正尝试启动或者正在启动的情况下，所述第四步骤被配置成将所获得的至少一个采集图像的显示模式设置成适于车辆启动的预定模式。

13.根据权利要求12所述的方法，其特征在于：

所述第二步骤被配置成：

确定自车辆上电起是否经过了判定时间；以及

当确定自车辆上电起经过了所述判定时间时，确定车辆的驾驶者将要执行车辆停泊或者正在执行车辆停泊；以及

当确定自车辆上电起还未经过所述判定时间时，确定车辆正尝试启动或者正在启动。

14.根据权利要求8至13中任一项所述的方法，其特征在于：

所述第四步骤被配置成：

在满足所述目标停泊区的位置与所述车辆之间的预定第一条件时，将至少一个采集图像的显示模式从第一显示模式改变成第二显示模式；以及

在满足所述目标停泊区的位置与所述车辆之间的预定第二条件时，将至少一个采集图像的显示模式从所述第二显示模式改变成所述第一显示模式，所述第二条件不同于所述第一条件。