JP4952765B2 - 車両用夜間視界支援装置 - Google Patents
車両用夜間視界支援装置 Download PDFInfo
- Publication number
- JP4952765B2 JP4952765B2 JP2009242481A JP2009242481A JP4952765B2 JP 4952765 B2 JP4952765 B2 JP 4952765B2 JP 2009242481 A JP2009242481 A JP 2009242481A JP 2009242481 A JP2009242481 A JP 2009242481A JP 4952765 B2 JP4952765 B2 JP 4952765B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- pedestrian
- vehicle
- main display
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004297 night vision Effects 0.000 title claims description 42
- 230000000007 visual effect Effects 0.000 claims description 33
- 238000003384 imaging method Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 10
- 238000005286 illumination Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000006247 magnetic powder Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Description
本発明は、車両に搭載された赤外線カメラによって夜間に撮像された画像を、車室内で視認できるように車載ディスプレイ等に表示する車両用夜間視界支援装置に関する。
従来、夜間においても歩行者等を認識可能な赤外線カメラによって撮像された画像を車室内で表示する装置が知られている。
これに関連し、車両前方の走行環境を検出する走行環境検出手段を備え、検出された走行環境に応じて、赤外線カメラ等の撮像手段によって撮像される領域を広角に切替えることを特徴とする車両用表示装置についての発明が開示されている。（例えば、特許文献１参照）。車両前方の走行環境としては、例えば前走車の存在が挙げられており、前走車が存在する場合には、撮像される領域を広角に切替えるものとしている。
また、ステアリング舵角センサにより検出されたステアリング舵角信号に基づいて、赤外線カメラ等の撮像手段を車幅方向水平にスイブル駆動する車両用暗視装置についての発明が開示されている（例えば、特許文献２参照）。なお、この撮像手段は、前照灯と連動して車幅方向水平にスイブル駆動される。
ところで、赤外線カメラによって撮像された画像は、インストルメントパネル中央部等に取り付けられたディスプレイ装置（例えばナビゲーション表示にも用いられるもの）に表示されたり、インストルメントパネル上部に取り付けた発光装置により発光された光をフロントガラスに反射させて運転者に視認させる、いわゆるＨＵＤ（Head Up Display）に表示されたりする。
そして、このような複数のディスプレイ装置を用いて、赤外線カメラによって撮像された画像に基づく視界支援を行う装置について実用化が進められている。この装置では、例えば赤外線カメラによって撮像された画像をインストルメントパネル中央部等に取り付けられたメインディスプレイに表示させ、表示中の画像に歩行者が存在する場合には、歩行者の形状を示すアイコン等の注意喚起表示を、ＨＵＤ等のサブディスプレイに表示させている。
しかしながら、上記従来の装置では、赤外線カメラの画角と運転者の視野範囲との不一致により、運転者が違和感を覚える場合がある。
赤外線カメラの画角は、解像度の問題、及びヘッドランプの照射限界よりも遠方を撮像する必要性等から、運転者の視野範囲よりも狭く設定されるのが通常である。撮像範囲を広角にすると遠方の撮像精度が低下するからである。
従って、歩行者が車両前方から車両側方を通過して後方に過ぎ去るまでの過程で、赤外線カメラには撮像されていない（或いは、撮像されているが表示範囲外となっている）にも拘わらず、運転者には視認されているという期間が生じる。この期間において運転者は、自分の眼で歩行者を確認しているのにサブディスプレイの注意喚起表示が消滅するという現象を体感し、違和感を覚えるのである。
また、歩行者が運転者により視認可能であるということは、依然として、運転上の注意が必要な状態である。従って、サブディスプレイの注意喚起表示が消滅すると、安全運転を十分に支援しているとはいえないことになる。
本発明はこのような課題を解決するためのものであり、運転者に違和感を覚えさせず、より安全運転に寄与することが可能な車両用夜間視界支援装置を提供することを、主たる目的とする。
上記目的を達成するための本発明の一態様は、
車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、前記メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置である。
車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、前記メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置である。
この本発明の一態様によれば、メインディスプレイに表示されている画像中に歩行者が存在する場合に加え、メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうようにサブディスプレイを制御するため、運転者に違和感を覚えさせず、より安全運転に寄与することができる。
本発明の一態様において、
前記サブディスプレイは、例えばＨＵＤ（Head Up Display）である。
前記サブディスプレイは、例えばＨＵＤ（Head Up Display）である。
また、本発明の一態様において、
車速を検出する車速検出手段と、
操舵角を検出する操舵角検出手段と、を備え、
前記制御手段は、前記メインディスプレイに表示されている画像における歩行者の位置に基づき車両と歩行者の相対位置を算出し、該算出した相対位置と、前記車速検出手段及び前記操舵角検出手段の検出結果により算出される車両の走行方向とに基づいて、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する手段であるものとしてもよい。
車速を検出する車速検出手段と、
操舵角を検出する操舵角検出手段と、を備え、
前記制御手段は、前記メインディスプレイに表示されている画像における歩行者の位置に基づき車両と歩行者の相対位置を算出し、該算出した相対位置と、前記車速検出手段及び前記操舵角検出手段の検出結果により算出される車両の走行方向とに基づいて、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する手段であるものとしてもよい。
また、本発明の一態様において、
前記メインディスプレイには、前記赤外線カメラにより撮像された画像のうち左右方向に関する中央部が表示されるものとしてもよい。
前記メインディスプレイには、前記赤外線カメラにより撮像された画像のうち左右方向に関する中央部が表示されるものとしてもよい。
本発明によれば、運転者に違和感を覚えさせず、より安全運転に寄与することが可能な車両用夜間視界支援装置を提供することができる。
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る車両用夜間視界支援装置１について説明する。図１は、本発明の第１実施例に係る車両用夜間視界支援装置１のシステム構成例である。車両用夜間視界支援装置１は、主要な構成として、赤外線カメラ装置１０と、メインディスプレイ２０と、サブディスプレイ３０と、夜間視界支援用ＥＣＵ（Electronic Control Unit）４０と、を備える。
以下、図面を参照し、本発明の第１実施例に係る車両用夜間視界支援装置１について説明する。図１は、本発明の第１実施例に係る車両用夜間視界支援装置１のシステム構成例である。車両用夜間視界支援装置１は、主要な構成として、赤外線カメラ装置１０と、メインディスプレイ２０と、サブディスプレイ３０と、夜間視界支援用ＥＣＵ（Electronic Control Unit）４０と、を備える。
赤外線カメラ装置１０は、赤外線照射装置１１と、赤外線カメラ１２と、を備える。赤外線照射装置１１は、例えばフロントグリルに取り付けられ、近赤外線を車両前方に照射する。赤外線カメラ１２は、例えばフロントガラスの中央上部内側に取り付けられ、車両の斜め前方を撮像する。
なお、赤外線カメラ装置１０は、赤外線を照射して反射光を撮像する態様に限らず、歩行者が体温によって自ら発する赤外線を撮像する態様であっても構わない。また、ヘッドランプやフォグランプの照射光には赤外線が含まれるため、これが歩行者によって反射された光を主に撮像するものであっても構わない。
図２は、赤外線カメラ１２の構成例である。赤外線カメラ１２は、例えば可視光カットフィルタ１３と、ＣＣＤ（Charge Coupled Device）カメラ１４と、を備える。ＣＣＤカメラ１４は、例えば、撮像レンズ１５と、イメージセンサ１６と、電子制御部１７と、を備える。なお、ＣＣＤカメラに代えてＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等を備えてもよい。可視光カットフィルタ１３は、例えばフロントガラスに貼付される。
イメージセンサ１６は、例えばインターライン型イメージセンサであり、光電変換を行なう受光素子であるフォトダイオードと、これに対応するＣＣＤとをそれぞれ２次元平面状に配列し、フォトダイオードとＣＣＤの間にアナログスイッチとして機能するトランスファゲートを有する。各フォトダイオードの前側（撮像レンズ１５側）には、集光のためのマイクロレンズが取り付けられている。なお、こうした構造は、あくまでイメージセンサ１６の機能を簡易に説明するために模式的に例示したものであり、機能性向上等のための如何なる設計変更も許容される。また、インターライン型イメージセンサに限らず、ＣＣＤ自体が受光素子として機能するフルフレームトランスファ型やフレームトランスファ型のイメージセンサを用いてもよい。
電子制御部１７は、例えば、マイクロコンピュータや電子回路等が用いられ、イメージセンサ１６が有するトランスファゲートの開閉タイミングを制御することにより赤外線カメラ１２のシャッタースピードや撮像周期（例えば、１秒間に数十回程度）を調節する。そして、電子制御部１７は、イメージセンサ１６の出力回路から出力されるデータに対して所定のゲインによる増幅等を行なって、画像データとして夜間視界支援用ＥＣＵ４０に出力する。
ここで、赤外線照射装置１１の照射範囲と、赤外線カメラ１２の照射範囲は、略一致するように設定されている。赤外線カメラ１２の撮像範囲は、ヘッドランプの照射範囲よりも角度が狭く、且つ、より遠方を撮像可能であるように設定されている。
メインディスプレイ２０は、例えばインストルメントパネルの中央部等に取り付けられ、グラフィックシステムとしてＶＧＡ（Video Graphics Array）を採用して動画を含む画像表示を行なうタッチパネル式のディスプレイ装置である。メインディスプレイ２０は、その表示にユーザーがタッチ操作したことによる電圧の変化を検出して、タッチ操作された位置を認識する。これにより、表示面に各種ＧＵＩスイッチを設定し、ユーザーによる各種の入力操作を可能にしている。また、メインディスプレイ２０の表示面の周辺には、各種操作を可能にする複数のスイッチが設けられている。
メインディスプレイ２０は、ナビゲーション装置等の他の車載装置の表示／入力装置として共用されてもよい。この場合、車両用夜間視界支援装置１の作動時（夜間）のみメインディスプレイ２０として機能し、それ以外の時には他の車載装置用の表示／入力装置として機能する。
サブディスプレイ３０は、例えばＨＵＤ（Head Up Display）である。サブディスプレイ３０は、フロントガラス上の表示位置に映像を投影することにより、あたかも運転者の視点から当該表示位置を見た延長線上の位置（車外の位置）に存在するかのような虚像として、映像の内容を表示する。
サブディスプレイ３０は、例えばインストルメントパネルの上面に形成された凹部にその全体が収納される。そして、コンビネーションメータの裏側に配設され、車両の進行方向に向けて発光表示を行なう液晶ディスプレイと、液晶ディスプレイが発する光を反射してウインドシールドに投影する反射鏡等を備える。
夜間視界支援用ＥＣＵ４０は、例えば、ＣＰＵ（Central Processing Unit）を中心としてＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等がバスを介して相互に接続されたマイクロコンピュータであり、その他、ＨＤＤ（Hard Disc Drive）やＤＶＤ（Digital Versatile Disk）ドライブ、ＣＤ−Ｒ（Compact Disc-Recordable）ドライブ、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）等の記憶装置やＩ／Ｏポート、タイマー、カウンター等を備える。記憶装置には、ＣＰＵが実行するプログラムやデータが格納されている。
夜間視界支援用ＥＣＵ４０には、多重通信線等の車載通信線を介して、車速センサ５０、操舵角センサ５２等の車載センサが接続されている。車速センサ５０は、例えば、車両の各車輪に取り付けられた車輪速センサとスキッドコントロールコンピュータを備え、車輪速センサが出力する車輪速パルス信号をスキッドコントロールコンピュータが車速矩形波パルス信号（車速信号）に変換して出力する。車輪速センサは、例えば、ゴムに磁性粉が充填されて円周方向に正極及び負極が交互に配置された磁気ローターと、磁気ローターの回転による磁界の変化を検出するアクティブセンサと、を備える。操舵角センサ５２は、例えば、ステアリングコラム内部に配設され、操舵角信号を出力する。多重通信線を介した機器間の通信は、ＣＡＮ（Controller Area Network）や、ＬＩＮ（Local Interconnect Network）に代表される低速なボデー系通信プロトコル、ＭＯＳＴ（Media Oriented Systems Transport）に代表されるマルチメディア系通信プロトコル、ＦｌｅｘＲａｙ等の適切な通信プロトコルを用いて行なわれる。
また、夜間視界支援用ＥＣＵ４０は、記憶装置に記憶されたプログラムをＣＰＵが実行することにより機能する主要な機能ブロックとして、画像上歩行者認識部４２と、視野範囲内歩行者推定部４４と、ディスプレイ制御部４６と、を備える。なお、これらの機能ブロックが明確に別のプログラムに基づくものである必要はなく、同一プログラムの中に複数の機能ブロックを実現する部分が含まれていてもよい。
ここで、車両用夜間視界支援装置１の作動は、例えばメインディスプレイ２０の表示面に設定されたＧＵＩスイッチやメインディスプレイ２０の周辺に取り付けられたスイッチによってユーザーにより指示される。これに限らず、照度センサによって車外の照度が所定値未満となったときに自動的に作動するものとしてもよい。
車両用夜間視界支援装置１が作動すると、赤外線カメラ１２の撮像画像がメインディスプレイ２０に表示される。
画像上歩行者認識部４２は、例えば赤外線カメラ１２の撮像画像中（本実施例では、メインディスプレイ２０の表示画像と同じである）に歩行者が存在するか否かを判定する。係る歩行者の認識は、例えば赤外線カメラ１２の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。特徴点とは、簡易的には隣接する画素との輝度差が所定値以上の点と定義されるが、この種の画像処理に特有のフィルタを用いて特徴点を抽出してもよい。
ディスプレイ制御部４６は、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定すると、当該認識された歩行者に強調のための方形輪郭線（あくまで一例である）を重畳表示するように、メインディスプレイ２０を制御する。この方形輪郭線は、いわゆるオーバーレイ表示と称されるものであり、赤外線カメラ１２の撮像画像を示す画素値の一部を所望の画素値に置換することにより表示可能となるものである。以下、このような表示を強調表示と称する。
また、ディスプレイ制御部４６は、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定すると、歩行者を示すアイコン等を所望の位置に表示するようにサブディスプレイ３０を制御する。この所望の位置は、常に一定の位置であってもよいが、車両の右側と左側のいずれに歩行者が認識されたか等によって変更してもよい。以下、このような歩行者を示すアイコン等の表示を注意喚起表示と称する。
このような制御によって、運転者は、前方に歩行者が存在する場合に、まずサブディスプレイ３０を見ることにより歩行者の存在に気付き、その後にメインディスプレイ２０を見ることにより歩行者の位置や動向をチェックし、衝突等を起こさないように安全に運転することができる。図３は、メインディスプレイ２０に車両前方の風景（赤外線画像）及び強調表示が表示され、サブディスプレイ３０に注意喚起表示が表示された状態を示す図である。
ところが、前述のように、赤外線カメラ１２の撮像範囲は、ヘッドランプの照射範囲よりも角度が狭くなるように設定されているため、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者であっても、運転者の視野範囲内（夜間においてはヘッドランプの照射範囲と略等しいものとする）には留まっている場合がある。図５は、赤外線カメラ１２の撮像範囲と運転者の視野範囲の関係を示す図である。
従って、ディスプレイ制御部４６が、画像上歩行者認識部４２が赤外線カメラ１２の撮像画像中に歩行者が存在すると判定している場合（図５における（Ａ）の場合）のみ、注意喚起表示をサブディスプレイ３０に表示させるものとすると、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっているにも拘わらず、サブディスプレイ３０から注意喚起表示が消滅することになり、違和感を覚えることになる。
そこで、本実施例の車両用夜間視界支援装置１では、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定する（判定する）視野範囲内歩行者推定部４４を備え、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定した場合（図５における（Ｂ）の場合）にも、注意喚起表示をサブディスプレイ３０に表示させることにした。
視野範囲内歩行者推定部４４は、例えば以下の手順によって推定を行なう。まず、画像上歩行者認識部４２が認識した歩行者の画像上の位置（実際には所定の大きさを有するので、足下等を代表点とする）に基づいて、車両と歩行者の相対位置を算出する。相対位置は、例えば距離、及び車両中心軸を基準とした方位角の組み合わせとして算出される。次に、車速センサ５０から入力された車速信号及び操舵角センサ５２から入力された操舵角信号に基づいて車両の速度ベクトルを算出する。そして、歩行者の位置を不変として、車両の速度ベクトルを段階的に積分することによって将来の車両の位置を複数個算出し、最初に歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間を算出する。画像上歩行者認識部４２が歩行者を認識していたタイミングから、歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間内の間は、歩行者が運転者の視野範囲内に存在すると推定することができる。
係る制御によって、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような歩行者が運転者の視野範囲内には留まっている状態は、依然として、運転上の注意が必要な状態である。従って、サブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
図４は、メインディスプレイ２０からは強調表示が消滅したが、サブディスプレイ３０には依然として注意喚起表示が表示されている状態を示す図である。
そして、ディスプレイ制御部４６は、画像上歩行者認識部４２が歩行者を認識していたタイミングから、歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間が経過することにより、視野範囲内歩行者推定部４４が、歩行者が運転者の視野範囲内に存在しないと判定すると、注意喚起表示を終了するようにサブディスプレイ３０を制御する。図６は、歩行者が運転者の視野範囲外に至ったと判定され、注意喚起表示が終了した状態を示す図である。
以下、上記説明した処理の流れをフローチャートによって説明する。図７は、第１実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。本フローは、車両用夜間視界支援装置１が作動している間、繰り返し実行される。
まず、画像上歩行者認識部４２は、赤外線カメラ１２の撮像画像中に歩行者が存在するか否かを判定する（Ｓ１００）。
ディスプレイ制御部４６は、赤外線カメラ１２の撮像画像中に歩行者が存在すると画像上歩行者認識部４２が判定した場合は、歩行者を強調表示するようにメインディスプレイ２０を制御すると共に、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ１０２）。
赤外線カメラ１２の撮像画像中に歩行者が存在しないと画像上歩行者認識部４２が判定した場合は、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定（判定）する（Ｓ１０４）。
ディスプレイ制御部４６は、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると視野範囲内歩行者推定部４４が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ１０６）。
一方、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在しないと判定した場合は、強調表示及び注意喚起表示のいずれも行わない（Ｓ１０８）。
以上説明した本実施例の車両用夜間視界支援装置１によれば、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような運転上の注意が必要な状態においてサブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
＜第２実施例＞
以下、本発明の第２実施例に係る車両用夜間視界支援装置２について説明する。車両用夜間視界支援装置２は、ハードウエア構成において第１実施例の車両用夜間視界支援装置１と共通するため、基本構成等についての説明は省略し、第１実施例との相違点を中心に説明する。
以下、本発明の第２実施例に係る車両用夜間視界支援装置２について説明する。車両用夜間視界支援装置２は、ハードウエア構成において第１実施例の車両用夜間視界支援装置１と共通するため、基本構成等についての説明は省略し、第１実施例との相違点を中心に説明する。
本実施例に係る車両用夜間視界支援装置１２作動すると、赤外線カメラ１２の撮像画像のうち、左右端部を除いた中央部のみがメインディスプレイ２０に表示される。このような表示は、強調表示のハンチングを回避すること等を目的としている。
従って、画像上歩行者認識部４２が、赤外線カメラ１２の撮像画像中に歩行者が存在すると判定した場合であっても、メインディスプレイ２０には歩行者及び強調表示が表示されない場合があり得る。
本実施例においてメインディスプレイ２０に強調表示がなされ、サブディスプレイ３０に注意喚起表示がなされるのは、赤外線カメラ１２の撮像画像のうち、左右端部を除いた中央部に歩行者が存在する場合である。
一方、メインディスプレイ２０に強調表示がなされないが、サブディスプレイ３０に注意喚起表示がなされるのは、赤外線カメラ１２の撮像画像のうち、左右端部に歩行者が存在する場合、及び画像上歩行者認識部４２によりメインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定された場合である。
すなわち、赤外線カメラ１２の撮像画像のうち左右端部を除いた中央部に歩行者が存在する場合には強調表示及び注意喚起表示を行ない、赤外線カメラ１２の撮像画像のうち左右端部に歩行者が存在する場合（歩行者の存在が画像認識によって検知された場合）及び画像上歩行者認識部４２によりメインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定された場合には、注意喚起表示のみを行なう。
以下、上記説明した処理の流れをフローチャートによって説明する。図８は、第２実施例に係る夜間視界支援用ＥＣＵ４０が実行する特徴的な処理の流れを示すフローチャートである。本フローは、車両用夜間視界支援装置１が作動している間、繰り返し実行される。
まず、画像上歩行者認識部４２は、赤外線カメラ１２の撮像画像中に歩行者が存在するか否かを判定する（Ｓ２００）。
赤外線カメラ１２の撮像画像中に歩行者が存在すると判定した場合は、更に、当該撮像画像における中央部に歩行者が存在するか否かを判定する（Ｓ２０２）。
ディスプレイ制御部４６は、撮像画像における中央部に歩行者が存在すると判定された場合は、歩行者を強調表示するようにメインディスプレイ２０を制御すると共に、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０４）。
また、ディスプレイ制御部４６は、撮像画像における端部に歩行者が存在すると画像上歩行者認識部４２が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０６）。
一方、赤外線カメラ１２の撮像画像中に歩行者が存在しないと画像上歩行者認識部４２が判定した場合は、視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定（判定）する（Ｓ２０８）。
ディスプレイ制御部４６は、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在すると視野範囲内歩行者推定部４４が判定した場合は、注意喚起表示を行なうようにサブディスプレイ３０を制御する（Ｓ２０６）。
視野範囲内歩行者推定部４４が、メインディスプレイ２０に表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在しないと判定した場合は、強調表示及び注意喚起表示のいずれも行わない（Ｓ２１０）。
以上説明した本実施例の車両用夜間視界支援装置２によれば、メインディスプレイ２０には表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内には留まっている場合には、サブディスプレイ３０が注意喚起表示を継続することになり、運転者が違和感を覚えることを回避することができる。また、このような運転上の注意が必要な状態においてサブディスプレイ３０の注意喚起表示を継続することにより、より安全運転に寄与することができる。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
例えば、メインディスプレイ２０やサブディスプレイ３０の具体的態様は実施例のものに限定されず、例えばサブディスプレイ３０は、コンビネーションメータ内に設けられた表示部が用いられてもよい。
また、運転者がサブディスプレイ３０における注意喚起表示を見てからメインディスプレイ２０に視線を移すまでの時間を考慮し、これを制御に反映させてもよい。
本発明は、自動車製造業や自動車部品製造業等に利用可能である。
１、２ 車両用夜間視界支援装置
１０ 赤外線カメラ装置
１１ 赤外線照射装置
１２ 赤外線カメラ
１３ 可視光カットフィルタ
１４ ＣＣＤカメラ
１５ 撮像レンズ
１６ イメージセンサ
１７ 電子制御部
２０ メインディスプレイ
３０ サブディスプレイ
４０ 夜間視界支援用ＥＣＵ
４２ 画像上歩行者認識部
４４ 視野範囲内歩行者推定部
４６ ディスプレイ制御部
５０ 車速センサ
５２ 操舵角センサ
１０ 赤外線カメラ装置
１１ 赤外線照射装置
１２ 赤外線カメラ
１３ 可視光カットフィルタ
１４ ＣＣＤカメラ
１５ 撮像レンズ
１６ イメージセンサ
１７ 電子制御部
２０ メインディスプレイ
３０ サブディスプレイ
４０ 夜間視界支援用ＥＣＵ
４２ 画像上歩行者認識部
４４ 視野範囲内歩行者推定部
４６ ディスプレイ制御部
５０ 車速センサ
５２ 操舵角センサ
Claims (5)
- 車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像における歩行者の位置に基づき前記車両と前記歩行者の相対位置を算出しておき、該算出した相対位置に基づき前記歩行者が前記メインディスプレイに表示されている画像上に存在しなくなったタイミングから前記歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間を算出し、前記歩行者が前記メインディスプレイに表示されている画像上に存在しなくなったタイミングから前記算出した時間内の間は、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置。 - 車速を検出する車速検出手段と、
操舵角を検出する操舵角検出手段と、を備え、
前記制御手段は、前記算出した相対位置に対し、前記車速検出手段及び前記操舵角検出手段の検出結果により算出される車両の速度ベクトルを積分することによって算出される車両の位置に基づいて、前記歩行者が前記メインディスプレイに表示されている画像上に存在しなくなったタイミングから前記歩行者が運転者の視野範囲外となる車両の位置に至るまでの時間を算出する手段である、
請求項１に記載の車両用夜間視界支援装置。 - 車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記赤外線カメラの撮像範囲は、ヘッドランプの照射範囲よりも角度が狭く設定され、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在するか否かを推定又は検知し、前記メインディスプレイに表示されている画像中に存在しなくなった歩行者が運転者の視野範囲内に存在すると推定又は検知した場合にも、注意喚起表示を行なうように前記サブディスプレイを制御する手段であり、夜間においてはヘッドランプの照射範囲を前記運転者の視野範囲と見なして前記推定又は検知を行うことを特徴とする、
車両用夜間視界支援装置。 - 車両前方を撮像する赤外線カメラと、
前記赤外線カメラにより撮像された画像のうち左右方向に関する中央部が表示されるメインディスプレイと、
前記メインディスプレイと異なるサブディスプレイと、
前記メインディスプレイに表示されている画像中に歩行者が存在するか否かを判定し、歩行者が存在すると判定した場合に、注意喚起表示を行なうように前記サブディスプレイを制御する制御手段と、
を備える車両用夜間視界支援装置であって、
前記制御手段は、前記メインディスプレイに表示されている画像上に存在しなくなった歩行者が前記赤外線カメラにより撮像された画像のうち左右方向に関する端部に存在する場合は、注意喚起表示を行なうように前記サブディスプレイを制御することを特徴とする、
車両用夜間視界支援装置。 - 前記サブディスプレイは、ＨＵＤ（Head Up Display）である、
請求項１ないし４のいずれか１項に記載の車両用夜間視界支援装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009242481A JP4952765B2 (ja) | 2009-10-21 | 2009-10-21 | 車両用夜間視界支援装置 |
| US13/391,157 US9061632B2 (en) | 2009-10-21 | 2010-10-07 | Vehicle night vision support system and control method for the same |
| DE112010004133.4T DE112010004133B4 (de) | 2009-10-21 | 2010-10-07 | Nachtsichtunterstützungssystem für ein Fahrzeug und Steuerverfahren hierfür |
| PCT/IB2010/002532 WO2011048454A1 (en) | 2009-10-21 | 2010-10-07 | Vehicle night vision support system and control method for the same |
| CN201080047902.0A CN102596643B (zh) | 2009-10-21 | 2010-10-07 | 车辆夜间视野支持系统及其控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009242481A JP4952765B2 (ja) | 2009-10-21 | 2009-10-21 | 車両用夜間視界支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011091549A JP2011091549A (ja) | 2011-05-06 |
| JP4952765B2 true JP4952765B2 (ja) | 2012-06-13 |
Family
ID=43432085
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009242481A Expired - Fee Related JP4952765B2 (ja) | 2009-10-21 | 2009-10-21 | 車両用夜間視界支援装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9061632B2 (ja) |
| JP (1) | JP4952765B2 (ja) |
| CN (1) | CN102596643B (ja) |
| DE (1) | DE112010004133B4 (ja) |
| WO (1) | WO2011048454A1 (ja) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5582008B2 (ja) * | 2010-12-08 | 2014-09-03 | トヨタ自動車株式会社 | 車両用情報伝達装置 |
| JP2012155655A (ja) * | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| US9143703B2 (en) * | 2011-06-10 | 2015-09-22 | Flir Systems, Inc. | Infrared camera calibration techniques |
| US20140226015A1 (en) * | 2011-09-21 | 2014-08-14 | Honda Motor Co., Ltd. | Apparatus for monitoring surroundings of vehicle |
| JP5547159B2 (ja) * | 2011-10-18 | 2014-07-09 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5604011B2 (ja) * | 2011-10-31 | 2014-10-08 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP5703192B2 (ja) * | 2011-11-04 | 2015-04-15 | 本田技研工業株式会社 | 車両周辺監視装置 |
| FR2985073B1 (fr) * | 2011-12-22 | 2015-01-30 | Carlos Leal | Dispositif de prevention routiere par image satellite |
| JP5880717B2 (ja) * | 2012-09-04 | 2016-03-09 | トヨタ自動車株式会社 | 衝突回避支援装置及び衝突回避支援方法 |
| JP6076017B2 (ja) * | 2012-09-28 | 2017-02-08 | 矢崎総業株式会社 | 車両用表示装置 |
| US9481301B2 (en) * | 2012-12-05 | 2016-11-01 | Magna Electronics Inc. | Vehicle vision system utilizing camera synchronization |
| CN103395393B (zh) * | 2013-08-13 | 2016-03-16 | 北京汽车研究总院有限公司 | 一种汽车前风挡投影系统及汽车 |
| JP6287237B2 (ja) * | 2014-01-17 | 2018-03-07 | 株式会社リコー | 情報処理装置、情報処理方法及びプログラム |
| JP6252365B2 (ja) * | 2014-06-11 | 2017-12-27 | 株式会社デンソー | 安全確認支援システム、安全確認支援方法 |
| US9262924B2 (en) * | 2014-07-09 | 2016-02-16 | Toyota Motor Engineering & Manufacturing North America, Inc. | Adapting a warning output based on a driver's view |
| US9469248B2 (en) * | 2014-10-10 | 2016-10-18 | Honda Motor Co., Ltd. | System and method for providing situational awareness in a vehicle |
| US9588340B2 (en) | 2015-03-03 | 2017-03-07 | Honda Motor Co., Ltd. | Pedestrian intersection alert system and method thereof |
| US9505346B1 (en) | 2015-05-08 | 2016-11-29 | Honda Motor Co., Ltd. | System and method for warning a driver of pedestrians and other obstacles |
| KR101683509B1 (ko) * | 2015-05-20 | 2016-12-07 | 현대자동차 주식회사 | 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법 |
| JP6793193B2 (ja) * | 2016-06-29 | 2020-12-02 | 京セラ株式会社 | 物体検出表示装置、移動体及び物体検出表示方法 |
| JP6620250B2 (ja) * | 2016-10-06 | 2019-12-11 | 富士フイルム株式会社 | 投写型表示装置、その表示制御方法及びプログラム |
| KR102169885B1 (ko) * | 2016-12-13 | 2020-10-27 | 주식회사 토비스 | 열에너지 정보를 표시하는 나이트 비전 시스템 및 그 제어방법 |
| DE102017100880A1 (de) | 2017-01-18 | 2018-07-19 | Visteon Global Technologies, Inc. | Anzeigevorrichtung und Verfahren zur Anzeige in einem Fahrzeug |
| FR3062742B1 (fr) * | 2017-02-07 | 2020-05-08 | Peugeot Citroen Automobiles Sa | Dispositif d’aide a la navigation routiere de nuit |
| US11345628B2 (en) * | 2017-03-30 | 2022-05-31 | Agc Glass Europe | Glass for autonomous car |
| JP6925848B2 (ja) * | 2017-04-13 | 2021-08-25 | アルパイン株式会社 | 表示制御装置、表示制御方法及びカメラモニタリングシステム |
| WO2019039201A1 (ja) * | 2017-08-23 | 2019-02-28 | 日本精機株式会社 | 車両用表示装置 |
| US10175112B1 (en) | 2017-12-14 | 2019-01-08 | Adasky, Ltd | Compact infrared camera for automotive safety and driving systems |
| US10666880B2 (en) | 2017-10-31 | 2020-05-26 | Adasky, Ltd. | Infrared camera assembly for a vehicle |
| US11432375B2 (en) | 2017-10-31 | 2022-08-30 | Adasky, Ltd. | Protective window for resistive heating |
| CN108055476B (zh) * | 2017-11-23 | 2020-03-27 | 中国航空工业集团公司洛阳电光设备研究所 | 一种消除前视红外设备与平视显示器视觉误差的方法 |
| JP7006235B2 (ja) * | 2017-12-18 | 2022-01-24 | トヨタ自動車株式会社 | 表示制御装置、表示制御方法および車両 |
| CN108437891A (zh) * | 2018-03-10 | 2018-08-24 | 佛山杰致信息科技有限公司 | 一种适用于夜间环境的智能驾驶系统及方法 |
| US10958830B2 (en) | 2018-05-24 | 2021-03-23 | Magna Electronics Inc. | Vehicle vision system with infrared LED synchronization |
| US11153950B2 (en) * | 2019-02-14 | 2021-10-19 | Orlaco Products B.V. | Replacement mirror system with IR LED overheating management |
| CN109795415A (zh) * | 2019-02-19 | 2019-05-24 | 上海理工大学 | 一种智能夜视抬头显示设备 |
| IL265495B (en) * | 2019-03-19 | 2022-09-01 | Rober Ohrenstein | Method for travel authorization |
| JP7228472B2 (ja) * | 2019-06-07 | 2023-02-24 | 本田技研工業株式会社 | 認識装置、認識方法、およびプログラム |
| US11706380B2 (en) | 2020-09-17 | 2023-07-18 | Adasky, Ltd. | Radiometric camera with black body elements for screening infectious disease carriers and method for calibrating a thermal camera having internal black body elements |
| US11968639B2 (en) | 2020-11-11 | 2024-04-23 | Magna Electronics Inc. | Vehicular control system with synchronized communication between control units |
| CN113071412A (zh) * | 2021-05-17 | 2021-07-06 | 浙江工业大学 | 车载红外线监测系统及方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3864406B2 (ja) * | 1999-01-26 | 2006-12-27 | マツダ株式会社 | 車両の表示装置 |
| US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
| JP4156214B2 (ja) * | 2001-06-13 | 2008-09-24 | 株式会社デンソー | 車両周辺画像処理装置及び記録媒体 |
| JP3999025B2 (ja) * | 2002-04-12 | 2007-10-31 | 本田技研工業株式会社 | 警報表示装置 |
| DE10253509A1 (de) * | 2002-11-16 | 2004-06-17 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Warnung des Fahrers eines Kraftfahrzeuges |
| JP2005081860A (ja) | 2003-09-04 | 2005-03-31 | Nissan Motor Co Ltd | 車両用表示装置 |
| JP4161861B2 (ja) | 2003-09-12 | 2008-10-08 | 日産自動車株式会社 | 曲線道路用前照灯に連動した車両用暗視装置 |
| JP3982504B2 (ja) * | 2004-01-23 | 2007-09-26 | 日産自動車株式会社 | 車両用暗視カメラ装置および表示装置 |
| DE102004033625B4 (de) * | 2004-07-12 | 2008-12-24 | Continental Automotive Gmbh | Verfahren zur Darstellung des insbesonderen vorderen Sichtfeldes aus einem Kraftfahrzeug |
| US8519837B2 (en) | 2005-09-08 | 2013-08-27 | Johnson Controls Gmbh | Driver assistance device for a vehicle and a method for visualizing the surroundings of a vehicle |
| DE102006003538B3 (de) * | 2006-01-24 | 2007-07-19 | Daimlerchrysler Ag | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive |
| JP5022609B2 (ja) * | 2006-02-27 | 2012-09-12 | 日立オートモティブシステムズ株式会社 | 撮像環境認識装置 |
| WO2007135856A1 (ja) * | 2006-05-19 | 2007-11-29 | Pioneer Corporation | 撮影制御装置、撮影制御方法、撮影制御プログラム、および記録媒体 |
| JP2008040974A (ja) * | 2006-08-09 | 2008-02-21 | Denso Corp | 運転支援装置 |
| DE102006059033A1 (de) * | 2006-12-14 | 2008-06-19 | Volkswagen Ag | Verfahren und System zum Erkennen eines Verkehrsteilnehmers und zum Erzeugen einer Warnung |
| DE102007045932B4 (de) | 2007-09-26 | 2013-10-02 | Daimler Ag | Verfahren und Vorrichtung zur Warnung eines Fahrers eines Fahrzeuges |
| JP4852159B2 (ja) * | 2010-02-24 | 2012-01-11 | 株式会社東芝 | 画像処理装置、画像処理方法および空調制御装置 |
| JP5491235B2 (ja) * | 2010-03-02 | 2014-05-14 | 東芝アルパイン・オートモティブテクノロジー株式会社 | カメラキャリブレーション装置 |
-
2009
- 2009-10-21 JP JP2009242481A patent/JP4952765B2/ja not_active Expired - Fee Related
-
2010
- 2010-10-07 CN CN201080047902.0A patent/CN102596643B/zh not_active Expired - Fee Related
- 2010-10-07 WO PCT/IB2010/002532 patent/WO2011048454A1/en active Application Filing
- 2010-10-07 DE DE112010004133.4T patent/DE112010004133B4/de not_active Expired - Fee Related
- 2010-10-07 US US13/391,157 patent/US9061632B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN102596643B (zh) | 2015-03-04 |
| DE112010004133T5 (de) | 2012-10-11 |
| WO2011048454A8 (en) | 2011-06-30 |
| US20120320207A1 (en) | 2012-12-20 |
| DE112010004133B4 (de) | 2017-11-02 |
| US9061632B2 (en) | 2015-06-23 |
| JP2011091549A (ja) | 2011-05-06 |
| WO2011048454A1 (en) | 2011-04-28 |
| CN102596643A (zh) | 2012-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4952765B2 (ja) | 車両用夜間視界支援装置 | |
| EP2974909B1 (en) | Periphery surveillance apparatus and program | |
| JP6565148B2 (ja) | 画像表示制御装置および画像表示システム | |
| JP5522492B2 (ja) | 運転支援装置 | |
| JP6507626B2 (ja) | 車両周辺監視装置 | |
| EP2614997B1 (en) | Driving assist apparatus | |
| JP6361382B2 (ja) | 車両の制御装置 | |
| JP6281289B2 (ja) | 周辺監視装置、及びプログラム | |
| JP6446925B2 (ja) | 画像表示制御装置および画像表示システム | |
| US20190163988A1 (en) | Periphery monitoring device | |
| EP3358840A1 (en) | Image processing device for vehicles | |
| JP2016097896A (ja) | 画像表示制御装置 | |
| US20190244324A1 (en) | Display control apparatus | |
| EP2687408B1 (en) | Vehicle periphery monitoring device | |
| JP5549235B2 (ja) | 運転支援装置 | |
| JP6554866B2 (ja) | 画像表示制御装置 | |
| JP2017094922A (ja) | 周辺監視装置 | |
| US11475676B2 (en) | Periphery monitoring device | |
| JP5083254B2 (ja) | 駐車結果表示システム | |
| US11669230B2 (en) | Display control device | |
| CN107534757B (zh) | 车辆用显示装置以及车辆用显示方法 | |
| US20200081612A1 (en) | Display control device | |
| US20200134336A1 (en) | Apparatus for determining visual confirmation target | |
| JP6166188B2 (ja) | 撮像システム、および撮像システムの制御方法 | |
| JP2007251880A (ja) | 車両用画像表示装置および画像合成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110926 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4952765 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |