[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108621940A - 车辆的显示系统及车辆的显示系统的控制方法 - Google Patents

车辆的显示系统及车辆的显示系统的控制方法 Download PDF

Info

Publication number
CN108621940A
CN108621940A CN201810139593.8A CN201810139593A CN108621940A CN 108621940 A CN108621940 A CN 108621940A CN 201810139593 A CN201810139593 A CN 201810139593A CN 108621940 A CN108621940 A CN 108621940A
Authority
CN
China
Prior art keywords
vehicle
distortion
display
image
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810139593.8A
Other languages
English (en)
Other versions
CN108621940B (zh
Inventor
澄川瑠
澄川瑠一
佐藤能英瑠
鸟居武史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN108621940A publication Critical patent/CN108621940A/zh
Application granted granted Critical
Publication of CN108621940B publication Critical patent/CN108621940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明能够可靠地判别是面向观看显示的哪个对象的消息。本发明提供一种车辆的显示系统及车辆的显示系统的控制方法，车辆的显示系统具备：在车辆的窗部进行显示的HUD装置(500)、获取观看HUD装置(500)进行的显示的对象的位置的位置获取部、以及根据对象的位置，对由HUD装置(500)进行显示的图像的失真进行修正的失真修正处理部(406)。由于根据观看显示的对象的位置修正图像的失真，所以能够可靠地判别是面向观看显示的哪个对象的消息。

Description

车辆的显示系统及车辆的显示系统的控制方法
技术领域
本发明涉及车辆的显示系统及车辆的显示系统的控制方法。
背景技术
以往，例如在下述专利文献1中记载有以能够在显示玻璃面板的双面显示图像的方式，在显示玻璃面板的外侧的面显示用于向车辆的周围进行通知的消息。
此外，近来，基于面部的图像信息来识别人的状态的技术变得普遍。例如，在下述非专利文献1中记载有通过面部识别来监视驾驶中的驾驶员的状态的技术。
现有技术文献
专利文献
专利文献1：日本特开2007-52719号公报
非专利文献
非专利文献1：丸山勇人、松岗敦子著“ドライバーモニタシステムの紹介”，2012年11月，OKIテクニカルレビュー，第220号第79卷No.2。
发明内容
技术问题
然而，在上述专利文献所记载的技术中，难以判别在显示玻璃面板的外侧显示的消息是向谁发出的消息。
因此，本发明是鉴于上述问题而完成的，本发明的目的在于提供一种能够可靠地判别是面向观看显示的哪个对象的消息的新的且经过改进的车辆的显示系统及车辆的显示系统的控制方法。
技术方案
为了解决上述课题，根据本发明的一个观点，提供一种车辆的显示系统，具备：显示装置，设置于车辆；位置获取部，获取观看所述显示装置进行的显示的对象的位置；以及失真修正处理部，根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
可选地，在存在多个所述对象的情况下，所述失真修正处理部根据多个所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，在多个所述对象的距离小于预定值的情况下，所述失真修正处理部将多个所述对象的中间位置作为所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，在多个所述对象的距离为预定值以上的情况下，所述失真修正处理部根据多个所述对象中距所述车辆近的所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，所述车辆的显示系统具备：驾驶员识别判定部，判定驾驶员是否识别到车外的所述对象，在所述驾驶员识别到车外的所述对象的情况下，所述失真修正处理部根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，在所述驾驶员未识别到车外的所述对象的情况下，所述失真修正处理部根据所述驾驶员的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，所述失真修正处理部在根据所述驾驶员的位置对由所述显示装置进行显示的图像的失真进行修正之后，在经过了预定时间的情况下，根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
此外，可选地，所述车辆的显示系统还具备：显示控制部，控制所述显示装置进行的显示，并进行显示由所述失真修正处理部修正了失真而得到的图像的控制。
此外，为了解决上述课题，根据本发明的另一观点，提供一种车辆的显示系统的控制方法，所述车辆的显示系统具有设置于车辆的显示装置，所述控制方法包括：获取观看所述显示装置进行的显示的对象的位置的步骤；以及根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正的步骤。
技术效果
根据本发明，能够可靠地判别是面向观看显示的哪个对象的消息。
附图说明
图1是示出本发明的一个实施方式的车辆系统的构成的示意图。
图2是示出使用了自发光中间膜的HUD装置的示意图。
图3是示出驾驶员传感器正在拍摄驾驶员的状态的示意图。
图4是示出基于驾驶员的面部区域来计算面部所朝向的角度等的情况的示意图。
图5是示出将期望观看显示的对象定为车辆内的驾驶员而修正了失真的情况的示意图。
图6是示出面向图8所示的对象A而修正了失真的例子的示意图。
图7是示出面向图8所示的对象B而修正了失真的例子的示意图。
图8是示出存在于车辆外的对象A、对象B与车辆的位置关系的示意图。
图9是示出存在多个对象的情况下的失真修正的例子的示意图。
图10是示出存在多个对象的情况下的失真修正的例子的示意图。
图11是示出修正失真时所使用的表的示意图。
图12是示出判定驾驶员是否注意到车辆外的对象的方法的示意图。
图13是示出在本实施方式的车辆系统中进行的处理的流程图。
图14是示出存在多个对象的情况下的失真修正的例子的示意图。
符号说明
100：装置
402：环境信息获取部
406：失真修正处理部
412：驾驶员识别判定部
414：HUD控制部
500：HUD装置
具体实施方式
以下，参照附图对本发明的优选实施方式进行详细说明。应予说明，在本说明书和附图中，对于实质上具有相同的功能结构的构成要素，标记相同的符号，由此省略重复说明。
图1是示出本发明的一个实施方式的车辆的显示系统1000的构成的示意图。车辆的显示系统1000基本上是构成于汽车等车辆的系统。如图1所示，车辆的显示系统1000构成为具有车外传感器100、驾驶员传感器200、控制装置400、HUD装置500、扬声器600、座位振动部700。
车外传感器100由立体相机、单目相机、毫米波雷达、红外传感器等构成，测定本车周边的人和/或车辆等的位置、速度。在车外传感器100由立体相机构成的情况下，立体相机由具有CCD传感器、CMOS传感器等摄像元件的左右一对相机构成，拍摄车辆外的外部环境，并将拍摄得到的图像信息发送给控制装置400。作为一例，立体相机由能够获取颜色信息的彩色相机构成，并设置于车辆的前窗部的上部。
HUD(Head-up Display：平视显示器)装置500是直接将信息映到人的视野的显示装置，将实像显示在汽车的前窗部和/或后窗部等窗部。通常已知HUD为显示虚像的装置，但在本实施方式中，使用映出实像的显示装置。HUD装置500由于显示实像，所以视角大致为360°，能够从车内外观看显示。在另一实施方式中，HUD装置500也可以显示虚像。
作为HUD装置500，更具体地，可以采用使用图2所示的自发光中间膜510的装置。在此情况下，在车辆的前窗部、后窗部等，以用表面背面的两块玻璃520夹住的方式配置自发光中间膜510。自发光中间膜510中含有发光材料，如果从设置于车内的投影仪530照射激光，则被照射的部分发光而显示文字和/或图像。显示对象具有从所有角度的可见性，也能够从驾驶座以外的座位和/或车辆外部观看。应予说明，HUD装置500也可以通过将自发光式的装置配置于车辆的窗部而构成。在此情况下，例如还可以采用使用了有机EL元件的透明屏幕或透射型液晶装置等。此外，作为显示装置，可以使用HUD装置500以外的装置，也可以使用设置在例如仪表板的大型液晶装置和/或LED显示装置等。应予说明，以下，以在车辆的窗部(玻璃)进行显示的HUD装置500作为显示装置为例进行说明，但本发明的显示装置并不限于此，而是包括设置在车辆的内部或外部的显示装置的全部方式。例如，本实施方式的显示装置可以设置在车辆外部的窗部以外(车体等)，也可以设置在车辆内部的窗部以外(仪表板、座位等)。此外，设置在车辆内部的显示装置与设置在车辆外部的显示装置可以是一体的，也可以是分体的。
驾驶员传感器200由相机、视线传感器、运动传感器等构成，测定驾驶员(驾驶者)的头部和/或手臂的运动、视线方向等。在驾驶员传感器200由相机构成的情况下，通过对相机拍摄得到的图像进行图像处理，来获取头部和/或手臂的运动、视线方向等。在驾驶员传感器200由视线传感器构成的情况下，通过角膜反射法等方法进行视线检测。就座传感器300设置于车辆内的各座位，判定是否有人坐在座位上。在通过HUD装置500向车辆的内外显示警告时，扬声器600向车辆的内外发出警告音。座位振动部700设置于车辆的座位，在通过HUD装置500向车辆内显示警告时，座位振动部700通过使座位振动来向驾驶员、同乘人员进行警告。
控制装置400基于车外传感器100、驾驶员传感器200等检测到的信息，来控制由HUD装置500进行的显示。因此，控制装置400具有环境信息获取部402、驾驶员信息获取部404、失真修正处理部406、环境状态判定部407、距离判定部410、驾驶员识别判定部412和HUD控制部(显示控制部)414。应予说明，控制装置400的各构成要素可以由电路(硬件)、或CPU等中央处理单元与用于使其发挥功能的程序(软件)构成。
环境信息获取部(位置获取部)402可以针对由构成车外传感器100的立体相机的左右一组相机进行拍摄得到的左右一组立体图像对，根据对应位置的偏移量通过三角测量原理生成并获取直到对象物为止的距离信息。同时，环境信息获取部402能够根据图像信息获取被拍摄体的位置信息。此外，环境信息获取部402对通过三角测量原理生成的距离信息进行公知的分组处理，并将分组处理后的距离信息与预先设定的三维立体物数据等进行比较，由此检测出立体物数据和/或白线数据等。由此，控制装置400也能够识别人物、其他车辆、临时停车标识、停车线、ETC口等。
此外，环境信息获取部402能够利用通过三角测量原理生成的与人物、其他车辆的距离信息来计算出与人物、其他车辆的距离的变化量、相对速度。距离的变化量可以通过累计每单位时间检测的帧图像间的距离来求出。此外，相对速度可以通过将每单位时间检测的距离除以该单位时间来求出。
这样，环境信息获取部402获取从车外传感器100得到的车辆外的图像信息并进行图像分析处理，对图像信息进行分析而获取车辆外的环境信息。
图3是示出在驾驶员传感器200由相机构成的情况下，驾驶员传感器200正在拍摄驾驶员的状态的示意图。如图3所示，作为一例，驾驶员传感器200设置在转向柱的上部。
在驾驶员传感器200由相机构成的情况下，通过驾驶员传感器200拍摄得到的图像被输入到控制装置400。驾驶员信息获取部404利用边缘检测、面部检测等图像处理技术从输入图像中获取驾驶员的面部区域，并基于面部区域获取面部朝向。
图4是示出基于检测到的驾驶员的面部区域10来计算面部所朝向的角度等的情况的示意图。基于从图像信息得到的驾驶员的面部区域10来监测驾驶员的面部朝向是否偏离预定的区域，由此能够判定往别处看的可能性。应予说明，驾驶员的面部区域10可以根据眼、鼻、口等面部各部位的特征点的位置信息来设定。此外，作为一例，面部朝向可以以从正面观看时的眼间距为基准，通过将该基准与从图像信息得到的眼间距进行比较来推定。从图像信息得到的眼间距越小于基准值，则越能够判断为面部朝向从正面向侧面偏离。
在图4的右下部示出了检测结果20。在检测结果20中，纵轴表示“面部的上下方向的角度”，横轴表示“面部的左右方向的角度”，×符号30表示检测到的面部朝向。在检测结果20中标注了沙粒状阴影的中央部的矩形表示判断为驾驶员正在朝向正面的正面区域22，在检测到的面部朝向(×符号30)从正面区域22变化到左右的目光转移区域24的情况下，判定为有往别处看的可能性。区分正面区域22与目光转移区域24的阈值可以设为左右±20°左右，但是可以适宜地变更。
控制装置400的环境状态判定部407基于环境信息获取部402所获取的环境信息来判定车辆外的环境状态。特别地，环境状态判定部407能够判定作为车辆外的对象的人物的状态。距离判定部410基于环境信息获取部402所获取的距离信息来判定车辆外的对象与车辆之间的距离、车辆外的对象彼此的距离的大小。驾驶员识别判定部412基于环境信息获取部402所获取的车辆外的对象(人物)的位置和驾驶员信息获取部404所获取的驾驶员的面部朝向(或视线)的方向来判定驾驶员是否注意到对象。
失真修正处理部406根据观看由HUD装置500进行的显示的对象的位置，进行对HUD装置500所显示的图像的失真进行修正的处理。HUD控制部(显示控制部)414控制由HUD装置500进行的显示，进行用于将由失真修正处理部406进行了修正的图像显示在HUD装置500的处理。HUD控制部414能够基于环境状态判定部407、距离判定部410、驾驶员识别判定部412的判定结果，来控制由HUD装置500进行的显示。
在本实施方式中，利用HUD装置500进行显示，以使得根据车辆周边的状况可得知是以车内外的哪个人物为对象的显示。此时，针对车辆的前窗部的倾斜和/或形变，面向期望观看显示的对象而以使显示变得容易观看的方式修正图像。由此，从期望观看显示的对象之外来看，图像被失真显示，因此能够容易地判断是面向车内外的哪个人物的显示。
此外，在存在多个期望观看显示的对象的情况下，面向对象彼此位置的中心地点修正失真而进行车外显示。但是，在对象彼此的距离远离的情况下，优先面向距离近的对象而进行车外显示。
进一步地，基于驾驶员传感器200检测到的信息，在驾驶员未注意到对象的情况下，将期望观看显示的对象定为驾驶员，显示面向驾驶员修正了失真的图像。在驾驶员注意到对象的情况下，显示面向车辆外的对象修正了失真的图像。
图5～图7是示出利用失真修正处理部406面向车内外的对象修正了失真的例子的示意图。此外，图8是示出存在于车辆外的对象A、对象B与车辆之间的位置关系的示意图。应予说明，在图8中图示了对象A、对象B双方，但设为仅存在对象A、对象B中的任一方。图5是示出将期望观看显示的对象定为车辆内的驾驶员而修正了失真的情况的示意图。如图5所示，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和驾驶员的位置相配合地修正显示图形40的失真而得到的图像42显示于前窗部110。如图5所示，由于前窗部110的倾斜，越向前窗部110的上部则越接近驾驶员，因此以越向前窗部110的上部则图像42的横向宽度变得越小的方式修正显示图形40。此外，修正因前窗部110的曲面而产生的显示图形40的失真。由此，驾驶员如果观看显示在前窗部110的图像42，则能够与显示图形40同样地识别为正方形的图形。
图6是示出面向图8所示的对象A而修正了失真的例子的示意图。如图6所示，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和对象A的位置相配合地修正显示图形40的失真而得到的图像44显示于前窗部110。由此，在对象A观看图像44的情况下，对象A能够以修正了因前窗部110的倾斜、曲面产生的失真的状态观看图像44，能够与显示图形40同样地识别为正方形的图形。特别地，在图像44中，呈右上部的区域A1向右上方向拉伸的形状，因此能够修正因前窗部110的倾斜产生的显示图形40的失真。因此，对修正了失真的图像44进行了观看的对象A能够识别出图像44是面向自身的显示。另一方面，如果从对象A之外的位置观看图像44，则能看到原来的显示图形40不自然地失真，因此对象A之外的对象能够识别出图像44不是面向自身的显示。
图7是示出面向图8所示的对象B而修正了失真的例子的示意图。如图7所示，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和对象B的位置相配合地修正显示图形40的失真而得到的图像46显示于前窗部110。由此，在对象B观看图像46的情况下，对象B能够以修正了因前窗部110的倾斜、曲面产生的失真的状态观看图像46，能够与显示图形40同样地识别为正方形的图形。特别地，在图像46中，呈左上部的区域A2向左上方向拉伸的形状，因此能够修正因前窗部110的倾斜产生的显示图形40的失真。因此，对修正了失真的图像46进行了观看的对象B能够识别出图像46是面向自身的显示。另一方面，如果从对象B之外的位置观看图像46，则能看到原来的显示图形40不自然地失真，因此对象B之外的对象能够识别出图像46不是面向自身的显示。
图9、图10和图14是示出存在多个对象的情况下的失真修正的例子的示意图。这里，图9示出了存在对象A和对象B两个人作为对象的例子，示出了对象A与对象B之间的距离Ls[m]小于预定的阈值Y[m]的情况。如图9所示，在对象A与对象B的距离较小时，面向对象A与对象B的中间地点C修正失真。即，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和中间地点C的位置相配合地修正显示图形40的失真而得到的图像显示于前窗部110。图14示出了存在对象A、对象B和对象C三个人作为对象的例子，示出了三个人中距离最远的对象A与对象B之间的距离Ls[m]小于预定的阈值Y[m]的情况。如图14所示，即使在存在三个人以上的对象的情况下，在距离最远的对象彼此的距离较小时，也面向对象A、对象B和对象C的中间地点D修正失真。即，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和中间地点D的位置相配合地修正显示图形40的失真而得到的图像显示于前窗部110。
图10示出了存在对象A和对象B两个人作为对象的例子，示出了对象A与对象B之间的距离Ls[m]为预定的阈值Y[m]以上的情况。如图10所示，在对象A与对象B的距离较大时，面向与车辆700距离近的对象A修正失真。即，如果设原来的显示图形40为正方形，则将与前窗部110的倾斜、曲面和对象A的位置相配合地修正显示图形40的失真而得到的图像显示于前窗部110。
图11是示出失真修正处理部406修正失真时所使用的表800的示意图。如图11所示，根据对象的位置，通过表800预先规定了前窗部110的x方向(水平方向)、y方向(沿着前窗部110的倾斜的上方向)的修正量。根据对象的位置，基于表800的修正量使原来的显示图形40伸缩，由此能够得到修正了失真的图像42、图像44、图像46。应予说明，作为图11所示的表800的修正值，将与前窗部110的倾斜、形状(曲率)相关的数据作为已知的值，根据对象的位置预先求出失真最小的值。
图12是示出判定驾驶员是否注意到车辆外的对象50的方法的示意图，示出了从车辆的上方观看前窗部110的状态。在图12中，对于前窗部110而言示出了沿任意的高度的水平面的截面。如图12所示，如果通过车外传感器100检测到车辆外的对象50，则确定将驾驶员的眼的位置E与对象50连结的直线L1。另一方面，通过利用驾驶员信息获取部404获取驾驶员的面部朝向或视线方向，来确定表示面部朝向或视线方向的直线L2。在直线L1的方向与直线L2的方向一致的情况下，或者在直线L2包含于以直线L1的方向为中心的预定角度范围内的情况下，能够判断为驾驶员注意到了车辆外的对象50。应予说明，关于驾驶员的眼的位置E，可以将平均值作为默认值来使用，也可以通过由立体相机构成驾驶员传感器200，从而利用三角测量的原理来获取。
接下来，基于图13的流程图，对本实施方式的车辆的显示系统1000中进行的处理进行说明。图13所示的处理由控制装置400的各构成要素来进行，并按预定的控制周期反复进行。首先，在步骤S10中，基于从车外传感器100得到的信息，环境信息获取部402获取到对象的距离和方向。这里，例如，以在车辆行驶过程中一同行驶的其他车辆为对象获取距离和方向。在接下来的步骤S12中，环境信息判定部407判定对象是否为多个，在对象为多个的情况下，进入步骤S14。另一方面，在步骤S12中对象为一个的情况下，进入步骤S16。
在步骤S16中，驾驶员识别判定部412判定驾驶员是否注意到对象，在驾驶员注意到对象的情况下进入步骤S18。在步骤S18中，由于驾驶员注意到对象，所以显示面向对象进行了失真修正而得到的图像。此时，能够针对一同行驶的其他车辆进行例如“注意行驶”等警告显示。另一方面，在步骤S16中驾驶员未注意到对象的情况下，进入步骤S20。在步骤S20中，在预定时间(t1秒钟)期间进行面向驾驶员进行了失真修正而得到的显示。此时，能够针对驾驶员进行例如“注意其他车辆”等警告显示。步骤S20之后进入步骤S18。
在从步骤S12进入步骤S14的情况下，由于存在多个对象，所以在步骤S14中，距离判定部410判定对象彼此的距离是否近。具体地，将距离Ls[m]与预定的阈值Y[m]进行比较，判定是否Ls<Y。并且，在步骤S14中Ls<Y的情况下进入步骤S22，Ls≥Y的情况下进入步骤S24。
在进入步骤S24的情况下，在步骤S24中，驾驶员识别判定部412判定驾驶员是否注意到对象，在驾驶员注意到对象的情况下进入步骤S26。在步骤S26中，由于驾驶员注意到对象，所以显示面向多个对象中距离近的对象进行了失真修正而得到的图像。另一方面，在步骤S24中驾驶员未注意到对象的情况下，进入步骤S28。在步骤S28中，在预定时间(t1秒钟)期间进行面向驾驶员进行了失真修正而得到的显示。步骤S28之后进入步骤S26。
在进入步骤S22的情况下，在步骤S22中，驾驶员识别判定部412判定驾驶员是否注意到对象，在驾驶员注意到对象的情况下进入步骤S30。在步骤S30中，由于驾驶员注意到对象，所以显示面向多个对象的中间位置进行了失真修正而得到的图像。另一方面，在步骤S22中驾驶员未注意到对象的情况下，进入步骤S32。在步骤S32中，在预定时间(t1秒钟)期间进行面向驾驶员进行了失真修正而得到的显示。步骤S32之后进入步骤S30。
步骤S18、S26、S30之后进入步骤S34。在步骤S34中，判定与对象的距离是否变远了。具体地，在步骤S34中，距离判定部410判定对象是否远离到无法识别车辆窗部的显示的程度。并且，在步骤S34中与对象的距离变远的情况下，进入步骤S36，结束HUD显示之后，结束本控制周期中的处理(结束)。另一方面，在步骤S34中与对象的距离未变远的情况下，不结束显示，结束本控制周期中的处理(结束)。在结束了本控制周期中的处理之后，返回步骤S10，继续进行下一个控制周期中的处理。
如以上所述，根据本实施方式，根据观看车辆HUD装置500的显示的对象的位置，修正显示的失真。由此，面向期望观看显示的对象而以使显示变得容易观看的方式修正图像，从期望观看显示的对象之外来看图像被失真显示，因此能够容易地判断是面向车内外的哪个人物的显示。
以上，参照附图对本发明的优选实施方式进行了详细说明，但本发明并不限于这样的例子。显然，如果是具有本发明所属技术领域中的通常的知识的人员，则能够在权利要求书所记载的技术思想范畴内想到各种变形例或修改例，应了解，这些变形例或修改例当然也属于本发明的技术范围。

Claims (9)

1.一种车辆的显示系统，其特征在于，具备：
显示装置，设置于车辆；
位置获取部，获取观看所述显示装置进行的显示的对象的位置；以及
失真修正处理部，根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
2.根据权利要求1所述的车辆的显示系统，其特征在于，
在存在多个所述对象的情况下，所述失真修正处理部根据多个所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
3.根据权利要求2所述的车辆的显示系统，其特征在于，
在多个所述对象的距离小于预定值的情况下，所述失真修正处理部将多个所述对象的中间位置作为所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
4.根据权利要求2所述的车辆的显示系统，其特征在于，
在多个所述对象的距离为预定值以上的情况下，所述失真修正处理部根据多个所述对象中距所述车辆近的所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
5.根据权利要求1～4中任一项所述的车辆的显示系统，其特征在于，
所述车辆的显示系统具备：驾驶员识别判定部，判定驾驶员是否识别到车外的所述对象，
在所述驾驶员识别到车外的所述对象的情况下，所述失真修正处理部根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
6.根据权利要求5所述的车辆的显示系统，其特征在于，
在所述驾驶员未识别到车外的所述对象的情况下，所述失真修正处理部根据所述驾驶员的位置，对由所述显示装置进行显示的图像的失真进行修正。
7.根据权利要求6所述的车辆的显示系统，其特征在于，
所述失真修正处理部在根据所述驾驶员的位置对由所述显示装置进行显示的图像的失真进行修正之后，在经过了预定时间的情况下，根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正。
8.根据权利要求1～7中任一项所述的车辆的显示系统，其特征在于，
所述车辆的显示系统还具备：显示控制部，控制所述显示装置进行的显示，并进行显示由所述失真修正处理部修正了失真而得到的图像的控制。
9.一种车辆的显示系统的控制方法，其特征在于，所述车辆的显示系统具有设置于车辆的显示装置，
所述控制方法包括：
获取观看所述显示装置进行的显示的对象的位置的步骤；以及
根据所述对象的位置，对由所述显示装置进行显示的图像的失真进行修正的步骤。
CN201810139593.8A 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法 Active CN108621940B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-050343 2017-03-15
JP2017050343A JP6445607B2 (ja) 2017-03-15 2017-03-15 車両の表示システム及び車両の表示システムの制御方法

Publications (2)

Publication Number Publication Date
CN108621940A true CN108621940A (zh) 2018-10-09
CN108621940B CN108621940B (zh) 2020-01-14

Family

ID=63520210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810139593.8A Active CN108621940B (zh) 2017-03-15 2018-02-11 车辆的显示系统及车辆的显示系统的控制方法

Country Status (3)

Country Link
US (1) US10169885B2 (zh)
JP (1) JP6445607B2 (zh)
CN (1) CN108621940B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455141A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 随转弯角度自动调节的电子后视镜系统
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
CN115088028A (zh) * 2020-02-12 2022-09-20 松下知识产权经营株式会社 绘制系统、显示系统、移动体、绘制方法以及程序

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
JP6975003B2 (ja) * 2017-09-29 2021-12-01 株式会社デンソー 周辺監視装置およびその校正方法
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
JP7005112B2 (ja) * 2018-03-05 2022-01-21 矢崎総業株式会社 表示システム、及び、車載システム
CN112823101B (zh) * 2018-10-23 2024-09-20 麦克赛尔株式会社 平视显示器系统
KR102699149B1 (ko) * 2019-05-07 2024-08-27 현대자동차주식회사 돌출형 내비게이션을 기반으로 자원을 공유한 차량 정보 커뮤니케이션 시스템 및 그에 따른 운영 방법
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
KR20230118562A (ko) * 2020-12-16 2023-08-11 소니그룹주식회사 표시 제어 장치, 표시 제어 방법, 기록 매체 및 표시 시스템
EP4269153A4 (en) * 2021-03-02 2024-07-10 Samsung Electronics Co Ltd ELECTRONIC DEVICE FOR PROJECTING AN IMAGE ONTO THE WINDSHIELD OF A VEHICLE AND OPERATING METHOD THEREFOR

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052719A (ja) * 2005-08-19 2007-03-01 Adc Technology Kk 車載用画像表示装置
JP2007324643A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 画像投射装置及び画像投射スクリーン及び画像表示システム
JP2010257249A (ja) * 2009-04-24 2010-11-11 Autonetworks Technologies Ltd 車載防犯装置
CN103064238A (zh) * 2011-10-18 2013-04-24 扬明光学股份有限公司 车用投影系统
JP2015177486A (ja) * 2014-03-18 2015-10-05 カシオ計算機株式会社 投影装置及びプログラム
CN105691300A (zh) * 2014-12-10 2016-06-22 现代奥特劳恩株式会社 利用摄像头的监控方法及装置
CN105981376A (zh) * 2014-01-24 2016-09-28 丰田自动车株式会社 驾驶辅助装置
CN106461947A (zh) * 2014-06-03 2017-02-22 矢崎总业株式会社 车辆用投影显示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005135037A (ja) * 2003-10-29 2005-05-26 Toyota Central Res & Dev Lab Inc 車両用情報提示装置
WO2011014497A1 (en) * 2009-07-27 2011-02-03 Magna Electronics Inc. Vehicular camera with on-board microcontroller
JP2014199385A (ja) * 2013-03-15 2014-10-23 日本精機株式会社 表示装置及びその表示方法
JP6091586B1 (ja) * 2015-11-12 2017-03-08 三菱電機株式会社 車両用画像処理装置および車両用画像処理システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007052719A (ja) * 2005-08-19 2007-03-01 Adc Technology Kk 車載用画像表示装置
JP2007324643A (ja) * 2006-05-30 2007-12-13 Matsushita Electric Ind Co Ltd 画像投射装置及び画像投射スクリーン及び画像表示システム
JP2010257249A (ja) * 2009-04-24 2010-11-11 Autonetworks Technologies Ltd 車載防犯装置
CN103064238A (zh) * 2011-10-18 2013-04-24 扬明光学股份有限公司 车用投影系统
CN105981376A (zh) * 2014-01-24 2016-09-28 丰田自动车株式会社 驾驶辅助装置
JP2015177486A (ja) * 2014-03-18 2015-10-05 カシオ計算機株式会社 投影装置及びプログラム
CN106461947A (zh) * 2014-06-03 2017-02-22 矢崎总业株式会社 车辆用投影显示装置
CN105691300A (zh) * 2014-12-10 2016-06-22 现代奥特劳恩株式会社 利用摄像头的监控方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109455141A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 随转弯角度自动调节的电子后视镜系统
CN109455142A (zh) * 2018-12-29 2019-03-12 上海梅克朗汽车镜有限公司 视野融合型全景电子后视镜系统
CN115088028A (zh) * 2020-02-12 2022-09-20 松下知识产权经营株式会社 绘制系统、显示系统、移动体、绘制方法以及程序
CN115088028B (zh) * 2020-02-12 2023-12-08 松下知识产权经营株式会社 绘制系统、显示系统、移动体、绘制方法以及程序

Also Published As

Publication number Publication date
US20180268564A1 (en) 2018-09-20
JP2018154153A (ja) 2018-10-04
US10169885B2 (en) 2019-01-01
JP6445607B2 (ja) 2018-12-26
CN108621940B (zh) 2020-01-14

Similar Documents

Publication Publication Date Title
CN108621940A (zh) 车辆的显示系统及车辆的显示系统的控制方法
CN108639055B (zh) 车辆的显示系统及车辆的显示系统的控制方法
CN108621923A (zh) 车辆的显示系统及车辆的显示系统的控制方法
US10647201B2 (en) Drive assist device and drive assist method
JP4277081B2 (ja) 運転支援装置
CN108621941A (zh) 车辆的显示系统及车辆的显示系统的控制方法
JP6470334B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
CN108621922A (zh) 车辆的显示系统及车辆的显示系统的控制方法
Langner et al. Traffic awareness driver assistance based on stereovision, eye-tracking, and head-up display
TWI522257B (zh) 車用安全系統及其運作方法
KR20160050852A (ko) Hud 시스템에서 전방 주시 가능한 제어장치
JP2017056909A (ja) 車両用画像表示装置
WO2019155914A1 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、データ処理プログラム、及び記憶媒体
JP7099036B2 (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JP2012022504A (ja) 脇見判定装置
JP7057893B2 (ja) 視認状態判定装置
JP2005071041A (ja) 運転者視対象検出装置及び運転者視対象検出システム
JP2017204177A (ja) ドライバ状態判定装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant