[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7065068B2 - 車両周囲監視装置、車両、車両周囲監視方法およびプログラム - Google Patents

車両周囲監視装置、車両、車両周囲監視方法およびプログラム Download PDF

Info

Publication number
JP7065068B2
JP7065068B2 JP2019225956A JP2019225956A JP7065068B2 JP 7065068 B2 JP7065068 B2 JP 7065068B2 JP 2019225956 A JP2019225956 A JP 2019225956A JP 2019225956 A JP2019225956 A JP 2019225956A JP 7065068 B2 JP7065068 B2 JP 7065068B2
Authority
JP
Japan
Prior art keywords
vehicle
top view
view image
oblique top
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019225956A
Other languages
English (en)
Other versions
JP2021097283A (ja
Inventor
浩 山中
恵 景山
千尋 梶原
栄一 星野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019225956A priority Critical patent/JP7065068B2/ja
Priority to CN202011446574.3A priority patent/CN113060156B/zh
Priority to US17/118,713 priority patent/US11214197B2/en
Publication of JP2021097283A publication Critical patent/JP2021097283A/ja
Application granted granted Critical
Publication of JP7065068B2 publication Critical patent/JP7065068B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両周囲監視装置、車両、車両周囲監視方法およびプログラムに関する。
カメラやソナー、レーダを搭載し、車両周辺をモニタに表示したり、障害物を検知して停止したり、指定された駐車位置に駐車したりするシステムが普及しつつある。カメラが撮像した車両周囲の画像を表示するシステムとして、特許文献１に記載の車両周囲監視システムがある。
この車両周囲監視システムは、複数の車載カメラで撮影した車両周囲全域を車両上方の仮想視点から見下ろしたように見える俯瞰表示画像として表示画面に表示する。隣り合う２つの車載カメラで重複して撮影される重複領域に障害物が存在することがソナーにより検知された場合には、この障害物が検知された重複領域を撮影する２つの車載カメラの原画像で構成される警報画像が表示される。
特許第４８０７１０４号公報
上記の車両周囲監視システムは、障害物が検知されたときに俯瞰表示画像（直上面視画像）から現画像に切り替えている。運転手が車両周囲の状況を把握するための画像として車両を斜め上から見下ろした画像である斜上面視画像がある。しかしながら、特許文献１では、この斜上面視画像について障害物が検知されたときの対応は記載されていない。
本発明は、障害物が検知されたときに、斜上面視画像において運転手に障害物を警告することを課題とする。
本発明の車両周囲監視装置は、複数の撮像装置によって車両の周囲を撮像し、撮像した画像を合成して前記車両を車両斜め上方から見下ろす斜上面視画像を生成して、表示装置に表示する斜上面視画像生成部と、前記車両の前進および後進を制御する制御装置から前記車両の進行方向を取得する進行方向取得部と、前記車両の周囲の物標を取得する物標取得部と、を備え、前記斜上面視画像生成部は、前記前進時は前記車両を後方から前方を向いた前方斜上面視画像を生成し、前記後進時は前記車両を前方から後方を向いた後方斜上面視画像を生成し、前記斜上面視画像生成部は、前記物標取得部が自車両に近づく前記物標を取得した場合に、前記前進時は、前記物標の存在方向を前記前方斜上面視画像に重畳し、前記後進時は、前記物標の存在方向を前記後方斜上面視画像に重畳しないことを特徴とする。
本発明によれば、障害物が検知されたときに、斜上面視画像において運転手に障害物を警告できるようになる。
本実施形態に係る車両周囲監視システムのシステム構成を示すブロック図である。 本実施形態に係る車両周囲監視システムを搭載した車両の上面図である。 本実施形態に係る車両のダッシュボードの構成を示す図である。 本実施形態に係る車両周囲監視処理のフローチャートである。 本実施形態に係る前進時周囲画像表示処理のフローチャートである。 本実施形態に係る後進時周囲画像表示処理のフローチャートである。 本実施形態に係る前方斜上面視画像および直上面視画像を説明するための図である。 本実施形態に係る後方斜上面視画像および直上面視画像を説明するための図である。 本実施形態とは異なる、障害物方向マークを含む後方斜上面視画像を説明するための図である。
以下に、本発明の実施形態における車両周囲監視システムについて説明する。車両周囲監視システムは、カメラで車両周囲を撮像し、撮像した画像を車両斜め上方から見下ろす視点から見える斜上面視画像として合成する。車両周囲監視システムは、車両が前進しているときには車両の後方から前方を向いた視点から見える斜上面視画像（前方斜上面視画像とも記す）として合成する。また、車両周囲監視システムは、車両が後進しているときには車両の前方から後方を向いた視点から見える斜上面視画像（後方斜上面視画像とも記す）として合成する。
また、車両周囲監視システムは、ライダやレーダ、ソナーなどを用いて車両周囲の障害物で自車両に近づいてくる障害物（他車両や人など）を検知して、前方斜上面視画像に障害物の方向を示す画像（障害物方向マーク）を重ねる（障害物方向マークを載せる）。後進しているときには、運転手が障害物の方向を誤認する可能性があるので、車両周囲監視システムは、後方斜上面視画像には障害物の方向を載せない。車両を直上方から見下ろす視点から見える直上面視画像については、車両周囲監視システムは、前進時でも後進時でも障害物の方向を載せる。
≪車両周囲監視システムの構成≫
図１は、本実施形態に係る車両周囲監視システム１０のシステム構成を示すブロック図である。図２は、本実施形態に係る車両周囲監視システム１０を搭載した車両２００の上面図である。図３は、本実施形態に係る車両２００のダッシュボード２８０の構成を示す図である。図１～図３を参照して車両周囲監視システム１０の構成を説明する。
図１に示すように、車両周囲監視システム１０は、車両周囲監視ユニット１００、カメラ群２１０、ソナー群２２０、ライダ群２４０、入力デバイス群２５０、表示装置群２６０、およびトランスミッションシステム２９０を含んで構成される。カメラ群２１０、ソナー群２２０、ライダ群２４０、入力デバイス群２５０、表示装置群２６０、およびトランスミッションシステム２９０は、直接に車両周囲監視ユニット１００に結線されていてもよいし、ＣＡＮ（Controller Area Network）を介して接続されていてもよい。
≪車両周囲監視システムの構成：カメラ≫
カメラ群２１０は、図２に示す車両２００に搭載された複数台のカメラ２１１～２１４である。詳しくは、車両２００は、車両２００の前方に設けられ、車両２００の前方を撮像するカメラ２１１を備える。また、車両２００は、車両２００の後方に設けられ、車両２００の後方を撮像するカメラ２１３を備える。
本実施形態では、車両２００は、車両２００の右ドアミラーの先端に設けられ車両２００の右側を撮像するカメラ２１２、および、車両２００の左ドアミラーの先端に設けられ車両２００の左側を撮像するカメラ２１４を備える。カメラ２１２，２１４は、ドアミラーの先端以外の箇所に設けられてもよいが、ドアミラーが撮像画像に大きく写り込むことがない箇所に設けられることが望ましい。
カメラ２１１～２１４が撮像した画像は、車両周囲監視ユニット１００に出力される。
≪車両周囲監視システムの構成：ソナー≫
ソナー群２２０は、図２に示す車両２００に搭載された複数台のソナー２２１～２３２であり、近距離の障害物の検出（距離測定）を行う。詳しくは、本実施形態での車両２００は、車両２００の前方にほぼ等間隔で並ぶ４台のソナー２２１～２２４を備える。４台のソナー２２１～２２４は、車両２００の前方の障害物を検知する。また、車両２００は、車両２００の後方にほぼ等間隔で並ぶ４台のソナー２２７～２３０を備える。４台のソナー２２７～２３０は、車両２００の後方の障害物を検知する。
さらに、本実施形態での車両２００は、車両２００の右前方部側方にソナー２２５を備える。ソナー２２５は、車両２００の右前方から右側の障害物を検知する。また、車両２００は、車両２００の右後方部側方にソナー２２６を備える。ソナー２２６は、車両２００の右後方から右側の障害物を検知する。車両２００は、車両２００の左前方部側方にソナー２３２を備える。ソナー２３２は、車両２００の左前方から左側の障害物を検知する。また、車両２００は、車両２００の左後方部側方にソナー２３１を備える。ソナー２３１は、車両２００の左後方から左側の障害物を検知する。側面にあるソナー２２５，２２６，２３１，２３２は、車両２００が巻き込む可能性のある障害物を検知する。
ソナー２２１～２３２が検知した障害物の情報は、車両周囲監視ユニット１００に出力される。ソナー群２２０の各ソナー２２１～２３２は、近距離の物体を検出するものである。
≪車両周囲監視システムの構成：ライダ≫
ライダ群２４０（ＬＩＤＡＲ：Light Detection and Ranging）は、図２に示す車両２００に搭載された複数台のライダ２４１～２４５である。ライダ２４１～２４５は、各ライダ２４１～２４５の前方にある車両や歩行者を含む物標にレーダ光を照射する一方、物標で反射されたレーダ光を受光することにより、物標までの距離や物標の方位を含む物標の分布情報を取得する（物標を検出／検知するとも記す）。ライダ群２４０に加えて、または、ライダ群２４０に替えて、マイクロ波、ミリ波などのレーダ群を適宜用いることができる。
本実施形態では、車両２００は、車両２００の前方に設けられ、車両２００の前方の物標を検知するライダ２４１，２４２を備える。また、車両２００は、車両２００の後方にほぼ等間隔に設けられ、車両２００の後方の物標を検知するライダ２４３～２４５を備える。
ライダ２４１～２４５が検知した物標の情報は、車両周囲監視ユニット１００に出力される。
上記したカメラ、ソナー、およびライダの台数や設置位置は上記の内容に限定されるものではなく、台数を増減したり、配置位置を変更したりしてもよい。但し、カメラ、ソナー、およびライダとも、極力、車両２００の全周の状況を検知できるように台数や配置位置を選択することが望ましい。
≪車両周囲監視システムの構成：表示装置、入力デバイス、トランスミッションシステム≫
表示装置群２６０（図１参照）は、ダッシュボード２８０（図３参照）に備えられ、車室内の乗員に各種情報を提示する、好ましくはタッチパネル式の表示装置２６１～２６２である。表示装置２６２は、運転席に正対する位置に設けられるメータパネルであって、例えば、スピードメータ、タコメータ、オドメータ、シフト位置情報、灯火類の点灯状況情報などが表示される。
車幅方向に横長の表示装置２６１は、マルチインフォメーションパネルであって、例えば、車両２００周辺の地図情報、地図上における車両２００の現在位置情報、現在の走行路・予定経路に関する交通情報（信号情報を含む）などが表示される。また、表示装置２６１には、斜上面視画像および直上面視画像が表示される（後記する図７および図８参照）。
図１に戻って、入力デバイス群２５０は、ダッシュボード２８０やステアリングホイール２８１（図３参照）に備えられるスイッチである。表示装置２６１～２６２の何れかがタッチパネルディスプレイであるならば、当該表示装置も入力デバイス群２５０に含まれる。ＭＶＣスイッチ（Multi View Camera Switch）２５１は、ステアリングホイール２８１に備わる入力デバイスである。ＭＶＣスイッチがオンになると、斜上面視画像と直上面視画像とが表示装置２６１に表示される。
トランスミッションシステム２９０（制御装置とも記す）は、車両２００の変速を行うシステムである。トランスミッションシステム２９０は、シフトレバー（不図示）と接続され、シフトレバーの位置（ポジション）を車両周囲監視ユニット１００に出力する。
≪車両周囲監視システムの構成：車両周囲監視ユニット≫
車両周囲監視ユニット１００は、ＥＣＵ（Electronic Control Unit）から構成され、制御プログラムに基づいて実行する処理によって、斜上面視画像生成部１１０、直上面視画像生成部１２０、物標取得部１３０、および進行方向取得部１４０の機能を実現する。制御プログラム（単にプログラムとも記す）は、車両周囲監視ユニット１００に記憶される。なお、斜上面視画像生成部１１０、直上面視画像生成部１２０、物標取得部１３０、および進行方向取得部１４０を含めた車両周囲監視ユニット１００を制御部とも記す。
斜上面視画像生成部１１０は、カメラ群２１０が撮像した画像を合成して、斜上面視画像を生成し、表示装置２６１に出力する。斜上面視画像には、車両２００の後方から前方を向いた視点から見える斜上面視画像（後記する図７の前方斜上面視画像３１１参照）と、車両２００の前方から後方を向いた視点から見える斜上面視画像（後記する図８記載の後方斜上面視画像３２１参照）とがある。
直上面視画像生成部１２０は、カメラ群２１０が撮像した画像を合成して、車両２００を直上方から見下ろす視点から見える直上面視画像３１２，３２２を生成する（後記する図７および図８参照）。
物標取得部１３０は、ライダ群２４０（ライダ２４１～２４５）が検知した物標の情報に、所定の範囲内にある物標で車両２００（自車両）に近づいてくる物標（他車両や人物など）が含まれれば、斜上面視画像生成部１１０と直上面視画像生成部１２０とに当該物標の方向を出力する。所定の範囲とは、車両２００から所定の距離内であって、かつ斜上面視画像や直上面視画像には写らない車両２００の周囲の範囲である。
ちなみに、後記する図７の画面に表示される画像（前方斜上面視画像３１１および直上面視画像３１２）は、表示スペースの関係から特に左右方向（幅方向）の表示範囲が限られている。このため、本実施形態では、前方斜上面視画像３１１の表示領域の関係から前方斜上面視画像３１１には含まれない（表示されない）物標でも、ライダ群２４０で自車両３１５に接近してくる物標を検知していれば、その方向を前方斜上面視画像３１１に矢印で示すこととしている。
また、物標取得部１３０は、例えば、後進する車両２００の後ろを横切る物標など、車両２００の進行方向に干渉する物標を出力する。なお、物標取得部１３０は、停止していたり、遠ざかったりする物標については出力しない。
斜上面視画像生成部１１０は、当該方向が示す障害物方向マーク３１３（後記する図７参照）を含めて前方斜上面視画像３１１を生成する。また、直上面視画像生成部１２０は、当該方向が示す障害物方向マーク３１４，３２４（後記する図７、図８参照）を含めて直上面視画像３１２，３２２を生成する。なお、斜上面視画像生成部１１０は、後方斜上面視画像３２１には、障害物方向マークを含めない（後記する図８参照）。
進行方向取得部１４０は、トランスミッションシステム２９０からシフトレバーの位置を取得し、車両２００が前進か後進かを判断する。例えば、シフトレバーが前進（例えばＤレンジなど）の位置にあれば、車両２００が停止していても前進と判断する。
≪車両周囲監視処理≫
車両周囲監視システム１０の動作を説明する前に、車両周囲監視システム１０の操作方法を説明する。運転手が、ＭＶＣスイッチ２５１（図３参照）をオンにすると、斜上面視画像および直上面視画像が、表示装置２６１に表示される。シフトレバーが前進の位置にあれば前方斜上面視画像が表示され、シフトレバーが後進の位置にあれば後方斜上面視画像が表示される。なお、ＭＶＣスイッチ２５１がオフであっても、シフトレバーが後進の位置にあれば後方斜上面視画像が表示される。
図４は、本実施形態に係る車両周囲監視処理のフローチャートである。車両周囲監視処理は、ＭＶＣスイッチ２５１（図４では「MVC SW」と記載）がオンになったタイミング、または、シフトレバーの位置が後進になったタイミングで、実行される。
ステップＳ１１において制御部（車両周囲監視ユニット１００）は、ＭＶＣスイッチ２５１（図４では「MVC SW」と記載）がオンならば（ステップＳ１１→ＯＮ）ステップＳ１３に進み、ＭＶＣスイッチ２５１がオフならば（ステップＳ１１→ＯＦＦ）ステップＳ１２に進む。
ステップＳ１２において制御部は、進行方向取得部１４０が後進と判断すれば（ステップＳ１２→ＹＥＳ）ステップＳ１５に進み、進行方向取得部１４０が後進と判断しなければ（ステップＳ１２→ＮＯ）処理を終える。
ステップＳ１３において制御部は、進行方向取得部１４０が後進と判断すれば（ステップＳ１３→ＹＥＳ）ステップＳ１５に進み、進行方向取得部１４０が後進と判断しなければ（ステップＳ１３→ＮＯ）ステップＳ１４に進む。
ステップＳ１４の前進時周囲画像表示処理については、後記する図５を参照して説明する。
ステップＳ１５の後進時周囲画像表示処理については、後記する図６を参照して説明する。
図５は、本実施形態に係る前進時周囲画像表示処理のフローチャートである。
ステップＳ２１において制御部は、カメラ群２１０から車両周囲の画像を取得する。
ステップＳ２２において斜上面視画像生成部１１０は、ステップＳ２１で取得した画像から前方斜上面視画像を生成する。
ステップＳ２３において直上面視画像生成部１２０は、ステップＳ２１で取得した画像から直上面視画像を生成する。なお、ステップＳ２２およびＳ２３は、順序が逆であってもよい。
ステップＳ２４において物標取得部１３０は、ライダ群２４０から検知された物標の情報を取得する。
ステップＳ２５において物標取得部１３０は、ステップＳ２４で取得した物標のなかに車両２００から所定の範囲内に物標で車両２００に近づく（進行方向に干渉する）物標が存在すれば（ステップＳ２５→ＹＥＳ）ステップＳ２６に進み、存在しなければ（ステップＳ２５→ＮＯ）ステップＳ２７に進む。所定の範囲とは、車両２００から所定の距離内であって、かつ斜上面視画像や直上面視画像には写らない車両２００の周囲の範囲である。なお、ステップＳ２２の前方斜上面視画像の合成、ステップＳ２３の直上面視画像の合成、および、ステップＳ２５における物標の存在の判断は、この処理順序に限る必要はなく、順序を変えてもよい。また、ステップＳ２２，Ｓ２３，Ｓ２５を並行して処理してもよい。
ステップＳ２６において物標取得部１３０は、所定の範囲内に存在する物標の方向を斜上面視画像生成部１１０と直上面視画像生成部１２０とに通知する。次に、斜上面視画像生成部１１０は物標が存在する方向に対応して障害物方向マーク３１３（図７参照）をステップＳ２２で生成した斜上面視画像に重ねる。また、直上面視画像生成部１２０は物標が存在する方向に対応して障害物方向マーク３１４（図７参照）をステップＳ２３で生成した直上面視画像に重ねる。
ステップＳ２７において、斜上面視画像生成部１１０および直上面視画像生成部１２０は、それぞれ生成した斜上面視画像および直上面視画像を表示装置２６１に表示する。表示され画像については、図７を参照して後記する。
図６は、本実施形態に係る後進時周囲画像表示処理のフローチャートである。ステップＳ３１～Ｓ３７は、ステップＳ３２、Ｓ３６を除いて、ステップＳ２１～Ｓ２７（図５参照）とそれぞれ同様である。
ステップＳ３２において斜上面視画像生成部１１０は、前方斜上面視画像ではなく後方斜上面視画像を生成する。なお、ステップＳ３２およびＳ３３は、順序が逆であってもよい。
前進時周囲画像表示処理順序（図５参照）と同様に、ステップＳ３２，Ｓ３３，Ｓ３５を図６に記載の処理順序に限る必要はなく、処理順序を変えてもよいし、並行して処理してもよい。
ステップＳ３６において物標取得部１３０は、所定の範囲内に存在する物標の方向を直上面視画像生成部１２０のみに通知する。次に、直上面視画像生成部１２０は物標が存在する方向に対応して障害物方向マーク３２４（図８参照）をステップＳ３３で生成した直上面視画像に重ねる。
≪斜上面視画像と直上面視画像≫
図７は、本実施形態に係る前方斜上面視画像３１１（３次元ビュー画像、３次元画像）および直上面視画像３１２（２次元ビュー画像、２次元画像、俯瞰画像）を説明するための図である。前方斜上面視画像３１１および直上面視画像３１２は、表示装置２６１（図３参照）に並んで表示される。前方斜上面視画像３１１は、車両２００の後方から前方を向いた視点から見える画像である。前方斜上面視画像３１１には、自車両３１５である車両２００を含め、車両２００の周囲における前方、右側前方、左側前方の画像が含まれる。自車両３１５については、リアグラスから前方が含まれる。
障害物方向マーク３１３，３１４は、前方斜上面視画像３１１や直上面視画像３１２には含まれない（表示されない）けれども自車両３１５である車両２００の右側前方に車両２００に近づく障害物が検知されたことを示している。詳しくは、障害物方向マーク３１３，３１４は、車両２００の右側前方であって所定の距離内であり、前方斜上面視画像３１１および直上面視画像３１２には写らない範囲に近づく（進行方向に干渉する）障害物が存在することを運転手に警告している。車両３１６も所定の距離内にある物標であって、ライダ群２４０によって検知されるが、前方斜上面視画像３１１および直上面視画像３１２に含まれる。このため、車両３１６に対応する障害物方向マークは、前方斜上面視画像３１１および直上面視画像３１２には含まれない。
図８は、本実施形態に係る後方斜上面視画像３２１および直上面視画像３２２を説明するための図である。後方斜上面視画像３２１および直上面視画像３２２は、表示装置２６１（図３参照）に並んで表示される。後方斜上面視画像３２１は、車両２００の前方から後方を向いた視点から見える画像である。後方斜上面視画像３２１には、自車両３２５である車両２００を含め、車両２００の周囲における後方、右側後方、左側後方の画像が含まれる。自車両３２５については、ボンネットから後方が含まれる。
自車両３２５の一部は半透明になっていて、周囲の画像が透けて見えるようになっている。後方斜上面視画像３２１においては、車両３２６の左側面の一部や左前輪の一部、左後輪の一部が自車両３２５と重なって透けて見えている。ここでは、透けて見える画像は、車両２００後部のカメラ２１３で撮像した画像である。自車両３２５が透けて、周囲の画像が見えるのは、前方斜上面視画像３１１（図７参照）における自車両３１５でも同様である。
障害物方向マーク３２４は、自車両３２５である車両２００の左側後方に車両２００に近づく障害物が検知されたことを示している。詳しくは、障害物方向マーク３２４は、車両２００の左側後方であって所定の距離内であり、後方斜上面視画像３２１および直上面視画像３２２には写らない範囲で車両２００に近づく（進行方向に干渉する）障害物が存在することを運転手に警告している。車両３２６，３２７も所定の距離内にある物標であって、ライダ群２４０によって検知されるが、後方斜上面視画像３２１および直上面視画像３２２に含まれる。このため、車両３２６，３２７に対応する障害物方向マークは、直上面視画像３２２には含まれない。
なお、障害物が所定の距離内であり、後方斜上面視画像３２１および直上面視画像３２２には写らない範囲に障害物が存在したとしても、後方斜上面視画像３２１には、障害物方向マークは含まれない。
≪車両周囲監視システムの特徴≫
第１の特徴として、車両周囲監視システム１０は、車両２００が前進しているときには前方斜上面視画像３１１を合成して表示装置２６１に表示する。また、車両周囲監視システム１０は、車両２００が後進しているときには後方斜上面視画像３２１を合成して表示装置２６１に表示する。斜上面視画像の視点を前進時と後進時とで切り替えることで、運転手は、車両２００の進行方向の状況を容易に把握することができるようになる。
第２の特徴として、障害物が存在したとしても、後方斜上面視画像３２１は、障害物方向マークを含まない。以下にこの理由を説明する。
図９は、本実施形態とは異なる、障害物方向マーク３３３を含む後方斜上面視画像３３１を説明するための図である。図８に記載の後方斜上面視画像３２１とは異なり、後方斜上面視画像３３１は、障害物方向マーク３３３を含む。障害物方向マーク３３３は、自車両３３５である車両２００の右側後方に障害物が存在することを運転手に警告している。直上面視画像３３２には、同じ障害物に対応する障害物方向マーク３３４が含まれている。
図９に示されるように、車両２００の後進時に表示される後方斜上面視画像３３１と、実際の障害物の位置とでは、左右が逆になっている。実際には障害物は運転手の右側にあるのに、障害物方向マーク３３３は後方斜上面視画像３３１の左側にある。このため、表示装置２６１に後方斜上面視画像３３１が表示された場合、運転手が、車両２００の左右どちら側に障害物があるのか判断がつかず誤認ないしは混乱する虞がある。
本実施形態では、障害物が所定の範囲内にあっても、後方斜上面視画像３２１（図８参照）は、障害物方向マークを含まない。このため、運転手が誤認ないしは混乱する虞がない。
第３の特徴として、車両周囲監視システム１０では、直上面視画像３１２，３２２に障害物方向マーク３１４，３２４が含まれる。表示装置２６１を見ている運転手にとっては、直上面視画像３１２，３２２の左右の方向と自身の左右の方向とは一致しており、誤認ないしは混乱する虞はない。
表示装置２６１には、前方斜上面視画像３１１または後方斜上面視画像３２１と並んで直上面視画像３１２，３２２が表示される。前方斜上面視画像３１１および後方斜上面視画像３２１とは異なり、直上面視画像３１２，３２２が表示装置２６１に表示される方向（自車両３１５，３２５の方向）は、前進時と後進時とで変わらない。また、直上面視画像３１２，３２２には、車両２００の周囲全体が含まれ、さらに、直上面視画像３１２，３２２には含まれないが所定の距離内にある障害物の方向が、障害物方向マーク３１４，３２４として含まれる。直上面視画像３１２，３２２には、運転手にとって近づく障害物の方向が把握しやすく、周囲の状況を容易に把握できるようになる。
第４の特徴として、直上面視画像３１２，３２２は、前方斜上面視画像３１１や後方斜上面視画像３２１よりも小さく表示される。進行方向に特化した前方斜上面視画像３１１や後方斜上面視画像３２１を大きく表示することで、運転手は、進行方向の状況を容易に把握することができる。また、小さく表示されるが直上面視画像３１２，３２２により、運転手は、車両２００の周囲全体の状況を把握することができる。また、表示装置２６１のなかで大きく表示される後方斜上面視画像３２１のなかに障害物方向マークを表示しないことで、より誤認ないし混乱する虞がなくなる。
≪変形例≫
本発明は、上記した実施形態の記載だけに限定されない。上記した実施形態において車両周囲監視ユニット１００は、１つのＥＣＵで構成されるとしたが複数であってもよい。
障害物方向マークについて、障害物までの距離に応じて障害物方向マークの大きさを変えてもよい。例えば、障害物までの距離が長い場合には障害物方向マークを小さくし、障害物までの距離が短い場合には障害物方向マークを大きくしてもよい。
上記した実施形態では障害物方向マークは、所定の範囲内にある間は、表示装置２６１に表示されている。これに対して、所定時間、障害物方向マークの表示が継続されたならば、表示しないようにしてもよい。また、車両周囲監視システム１０は、障害物の移動を追跡し障害物が車両から遠ざかっているのであれば、障害物方向マークを表示しないようにしてもよい。障害物方向マークは、図７や図８に記載の障害物方向マーク３１３，３１４，３２４と異なる形状であってもよいし、点滅して表示されてもよい。
上記した実施形態では障害物の検知をライダで行うこととして記載したが、その他のセンサ、例えばレーダやソナーなどで検知してもよい。
上記した実施形態では、運転者は車両前進方向を向いて着座する。これに対して、例えば運転者の着座方向が進行方向に対して後ろ向きの場合は、車両前進方向の前方斜上面視画像は、障害物方向マーク（物標の存在方向）を含まない（表示しない）。詳しくは、表示装置は運転者と対向して配置され、運転者の向きに応じて、障害物方向マークを表示する斜上面視画像（前方斜上面視画像と後方斜上面視画像）を切り替える。車両周囲監視システム１０は、運転者の着座方向が進行方向に対して後ろ向きの場合は、後方斜上面視画像に障害物方向マークを表示し、前方斜上面視画像には障害物方向マークを表示しない。
上記した実施形態では、ＭＶＣスイッチ２５１がオンのとき、または、シフトレバーの位置が後進のときに、斜上面視画像が表示される。この他に、車両の自動駐車機能を使用するときに斜上面視画像が表示されてもよい。詳しくは、車両周囲監視システム１０は、自動駐車機能での進行方向に応じて、前方斜上面視画像および後方斜上面視画像が表示してもよい。例えば、ＭＶＣスイッチ２５１が、自動駐車機能を使用する際に連動してオンになるようにしてもよい。
上記した実施形態では、車両周囲監視システム１０は、車両に備わる表示装置に斜上面視画像を表示しているが、タブレット端末やスマートフォンなど車載ではない表示装置に表示するようにしてもよい。表示装置が進行方向に対してどちらを向いているかについては、車載の場合は表示装置の配置方向によって判断し、車載でない場合は表示装置内蔵のジャイロセンサや傾斜センサなどの出力に基づいて判断してもよい。車両周囲監視システム１０は、表示装置の進行方向に対する向きに応じて、障害物方向マークの表示の適否を決める。
１０ 車両周囲監視システム
１００ 車両周囲監視ユニット（車両周囲監視装置）
１１０ 斜上面視画像生成部
１２０ 直上面視画像生成部
１３０ 物標取得部
１４０ 進行方向取得部
２００ 車両
２１０ カメラ群
２１１～２１４ カメラ（撮像装置）
２２０ ソナー群
２２１～２３２ ソナー
２４０ ライダ群
２４１～２４５ ライダ
２５０ 入力デバイス群
２５１ ＭＶＣスイッチ
２６０ 表示装置群
２６１～２６２ 表示装置
２９０ トランスミッションシステム（制御装置）
３１１ 前方斜上面視画像（斜上面視画像）
３１２，３２２ 直上面視画像
３２１ 後方斜上面視画像（斜上面視画像）
３１３，３１４，３２４ 障害物方向マーク

Claims (7)

  1. 複数の撮像装置によって車両の周囲を撮像し、撮像した画像を合成して前記車両を車両斜め上方から見下ろす斜上面視画像を生成して、表示装置に表示する斜上面視画像生成部と、
    前記車両の前進および後進を制御する制御装置から前記車両の進行方向を取得する進行方向取得部と、
    前記車両の周囲の物標を取得する物標取得部と、を備え、
    前記斜上面視画像生成部は、
    前記前進時は前記車両を後方から前方を向いた前方斜上面視画像を生成し、前記後進時は前記車両を前方から後方を向いた後方斜上面視画像を生成し、
    前記斜上面視画像生成部は、前記物標取得部が自車両に近づく前記物標を取得した場合に、
    前記前進時は、前記物標の存在方向を前記前方斜上面視画像に重畳し、
    前記後進時は、前記物標の存在方向を前記後方斜上面視画像に重畳しない
    ことを特徴とする車両周囲監視装置。
  2. 前記車両を直上方から見下ろす直上面視画像を生成して前記表示装置に表示する直上面視画像生成部をさらに備え、
    前記直上面視画像生成部は、
    前記前進時および前記後進時に、前記物標の存在方向を前記直上面視画像に重畳する
    ことを特徴とする請求項１に記載の車両周囲監視装置。
  3. 前記直上面視画像の中心に前記車両があり、前記直上面視画像における前記車両の向きが前記車両の進行方向によらず同一である
    ことを特徴とする請求項２に記載の車両周囲監視装置。
  4. 前記表示装置に表示される前記直上面視画像は、前記表示装置に表示される前記斜上面視画像よりも小さい
    ことを特徴とする請求項２または３に記載の車両周囲監視装置。
  5. 表示装置、および請求項１～４の何れか１項に記載の車両周囲監視装置を備えた車両であって、
    前記表示装置は、前記車両において運転者の着座方向と対向して配置される
    ことを特徴とする車両。
  6. 車両周囲監視装置の車両周囲監視方法であって、
    前記車両周囲監視装置は、
    複数の撮像装置によって車両の周囲を撮像し、撮像した画像を合成して前記車両を車両斜め上方から見下ろす斜上面視画像を生成して、表示装置に表示するステップと、
    前記車両の前進および後進を制御する制御装置から前記車両の進行方向を取得するステップと、
    前記車両の周囲の物標を取得するステップと、
    前記前進時は前記車両を後方から前方を向いた前方斜上面視画像を生成し、前記後進時は前記車両を前方から後方を向いた後方斜上面視画像を生成するステップと、
    自車両に近づく前記物標を取得した場合に、前記前進時は、前記物標の存在方向を前記前方斜上面視画像に重畳し、前記後進時は、前記物標の存在方向を前記後方斜上面視画像に重畳しないステップと
    を実行することを特徴とする車両周囲監視方法。
  7. コンピュータを、請求項１～４の何れか１項に記載の車両周囲監視装置として機能させるためのプログラム。
JP2019225956A 2019-12-13 2019-12-13 車両周囲監視装置、車両、車両周囲監視方法およびプログラム Active JP7065068B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019225956A JP7065068B2 (ja) 2019-12-13 2019-12-13 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
CN202011446574.3A CN113060156B (zh) 2019-12-13 2020-12-08 车辆周围监视装置、车辆、车辆周围监视方法和程序
US17/118,713 US11214197B2 (en) 2019-12-13 2020-12-11 Vehicle surrounding area monitoring device, vehicle surrounding area monitoring method, vehicle, and storage medium storing program for the vehicle surrounding area monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019225956A JP7065068B2 (ja) 2019-12-13 2019-12-13 車両周囲監視装置、車両、車両周囲監視方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2021097283A JP2021097283A (ja) 2021-06-24
JP7065068B2 true JP7065068B2 (ja) 2022-05-11

Family

ID=76317307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019225956A Active JP7065068B2 (ja) 2019-12-13 2019-12-13 車両周囲監視装置、車両、車両周囲監視方法およびプログラム

Country Status (3)

Country Link
US (1) US11214197B2 (ja)
JP (1) JP7065068B2 (ja)
CN (1) CN113060156B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
JP7398492B2 (ja) * 2022-03-14 2023-12-14 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142545A (ja) 2005-11-15 2007-06-07 Denso Corp 車両周辺画像処理装置及びプログラム。
JP2007295043A (ja) 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2014072604A (ja) 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP2017126834A (ja) 2016-01-12 2017-07-20 株式会社デンソー 運転支援装置、運転支援方法
JP2018050277A (ja) 2016-09-20 2018-03-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
US7145519B2 (en) * 2002-04-18 2006-12-05 Nissan Motor Co., Ltd. Image display apparatus, method, and program for automotive vehicle
JP4807104B2 (ja) 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP4656005B2 (ja) * 2006-06-02 2011-03-23 日産自動車株式会社 画像処理システム及び画像処理方法
WO2008134715A1 (en) * 2007-04-30 2008-11-06 Mobileye Technologies Ltd. Rear obstruction detection
JP4851412B2 (ja) * 2007-09-27 2012-01-11 富士フイルム株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
JP5500369B2 (ja) * 2009-08-03 2014-05-21 アイシン精機株式会社 車両周辺画像生成装置
JP5696872B2 (ja) * 2010-03-26 2015-04-08 アイシン精機株式会社 車両周辺監視装置
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5522492B2 (ja) * 2010-06-15 2014-06-18 アイシン精機株式会社 運転支援装置
JP5483120B2 (ja) * 2011-07-26 2014-05-07 アイシン精機株式会社 車両周辺監視システム
JP5938222B2 (ja) * 2012-02-07 2016-06-22 日立建機株式会社 運搬車両の周囲監視装置
TWI578271B (zh) * 2012-10-23 2017-04-11 義晶科技股份有限公司 動態影像處理方法以及動態影像處理系統
JP6156486B2 (ja) * 2013-03-28 2017-07-05 アイシン精機株式会社 周辺監視装置、及びプログラム
CN104512337B (zh) * 2013-10-04 2017-03-29 本田技研工业株式会社 车辆周围显示装置
JP6178280B2 (ja) * 2014-04-24 2017-08-09 日立建機株式会社 作業機械の周囲監視装置
US9621798B2 (en) * 2014-07-07 2017-04-11 GM Global Technology Operations LLC Grid-based image resolution enhancement for video processing module
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
BR112018008126B1 (pt) * 2015-10-22 2021-12-28 Nissan Motor Co., Ltd. Método e dispositivo de detecção de espaço de estacionamento
US10187590B2 (en) * 2015-10-27 2019-01-22 Magna Electronics Inc. Multi-camera vehicle vision system with image gap fill
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
JP6597415B2 (ja) * 2016-03-07 2019-10-30 株式会社デンソー 情報処理装置及びプログラム
JP6390645B2 (ja) * 2016-03-07 2018-09-19 マツダ株式会社 車両周辺画像表示装置
JP6639379B2 (ja) * 2016-12-21 2020-02-05 トヨタ自動車株式会社 車両周辺監視装置
JP6859216B2 (ja) * 2017-07-03 2021-04-14 トヨタ自動車株式会社 車両周辺表示装置
US10421397B2 (en) * 2017-08-11 2019-09-24 Visteon Global Technologies, Inc. Forward maneuvering assistance using head-up display
JP2019067220A (ja) * 2017-10-02 2019-04-25 シャープ株式会社 駐車位置表示処理装置、駐車位置表示方法、およびプログラム
JP6504529B1 (ja) * 2017-10-10 2019-04-24 マツダ株式会社 車両用表示装置
KR102429494B1 (ko) * 2017-10-13 2022-08-05 현대자동차주식회사 차량의 목표주차공간 표시 장치 및 그 방법
JP7106846B2 (ja) * 2017-11-24 2022-07-27 株式会社アイシン 周辺監視装置
JP2020042370A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 表示制御装置
JP7151293B2 (ja) * 2018-09-06 2022-10-12 株式会社アイシン 車両周辺表示装置
JP2020043400A (ja) * 2018-09-06 2020-03-19 アイシン精機株式会社 周辺監視装置
KR102559686B1 (ko) * 2018-12-17 2023-07-27 현대자동차주식회사 차량 및 차량 영상 제어방법
JP7222254B2 (ja) * 2019-01-25 2023-02-15 株式会社アイシン 周辺表示制御装置
JP2021000959A (ja) * 2019-06-24 2021-01-07 本田技研工業株式会社 駐車支援システム
JP6990686B2 (ja) * 2019-06-24 2022-01-12 本田技研工業株式会社 駐車支援システム
JP2021000958A (ja) * 2019-06-24 2021-01-07 本田技研工業株式会社 駐車支援システム
JP7354649B2 (ja) * 2019-07-26 2023-10-03 株式会社アイシン 周辺監視装置
JP7443705B2 (ja) * 2019-09-12 2024-03-06 株式会社アイシン 周辺監視装置
JP2021043815A (ja) * 2019-09-12 2021-03-18 アイシン精機株式会社 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142545A (ja) 2005-11-15 2007-06-07 Denso Corp 車両周辺画像処理装置及びプログラム。
JP2007295043A (ja) 2006-04-20 2007-11-08 Matsushita Electric Ind Co Ltd 車両周囲監視装置
JP2014072604A (ja) 2012-09-28 2014-04-21 Fujitsu Ten Ltd 画像処理システム、画像処理装置、画像処理方法、及び、プログラム
JP2016013793A (ja) 2014-07-03 2016-01-28 株式会社デンソー 画像表示装置、画像表示方法
JP2017126834A (ja) 2016-01-12 2017-07-20 株式会社デンソー 運転支援装置、運転支援方法
JP2018050277A (ja) 2016-09-20 2018-03-29 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム

Also Published As

Publication number Publication date
CN113060156B (zh) 2024-01-16
US11214197B2 (en) 2022-01-04
US20210178969A1 (en) 2021-06-17
CN113060156A (zh) 2021-07-02
JP2021097283A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US10857944B2 (en) Periphery monitoring apparatus
US9479740B2 (en) Image generating apparatus
JP5454934B2 (ja) 運転支援装置
CA3069114C (en) Parking assistance method and parking assistance device
US11787335B2 (en) Periphery monitoring device
US20120013742A1 (en) Vision system and method for displaying a field of view dependent upon detecting an object
CN111108023B (zh) 停车辅助装置
US20190244324A1 (en) Display control apparatus
US11292387B2 (en) Towing assistance apparatus
CN112477758A (zh) 周边监视装置
JPWO2019008762A1 (ja) 駐車支援方法及び駐車支援装置
US20230331298A1 (en) Vehicle and trailer wheel path collision detection and alert
JP7065068B2 (ja) 車両周囲監視装置、車両、車両周囲監視方法およびプログラム
JP2017094922A (ja) 周辺監視装置
CN110959289B (zh) 周边监控装置
CN110877575A (zh) 周边监视装置
JP2004056219A (ja) 車両周辺監視装置
US11276309B2 (en) Vehicle control device
US20220308345A1 (en) Display device
JP3988551B2 (ja) 車両周囲監視装置
JP2005057536A (ja) 映像提示装置
JP2008275380A (ja) 車両周辺監視装置
JP7018923B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
JP2021098378A (ja) 車両用情報提供装置
CN110293840B (zh) 用于示出涉及车辆运行的信息的方法和显示系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220425

R150 Certificate of patent or registration of utility model

Ref document number: 7065068

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150