[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2006248384A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2006248384A
JP2006248384A JP2005067873A JP2005067873A JP2006248384A JP 2006248384 A JP2006248384 A JP 2006248384A JP 2005067873 A JP2005067873 A JP 2005067873A JP 2005067873 A JP2005067873 A JP 2005067873A JP 2006248384 A JP2006248384 A JP 2006248384A
Authority
JP
Japan
Prior art keywords
image
vehicle
virtual image
reflectance
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005067873A
Other languages
Japanese (ja)
Other versions
JP4699054B2 (en
Inventor
Ryota Kawachi
亮太 河内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2005067873A priority Critical patent/JP4699054B2/en
Publication of JP2006248384A publication Critical patent/JP2006248384A/en
Application granted granted Critical
Publication of JP4699054B2 publication Critical patent/JP4699054B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To visualize scenes in a dead angle area without gazing round and without a feeling of incongruity in a vehicle periphery monitoring device. <P>SOLUTION: This device comprises a camera 10 installed near a front end of a vehicle 200, mainly picking up scenes W2 in a dead angle area by a bonnet and directed to a front bottom, an image processing device 20 converting (converting visual points of) images P2 of the scenes W2 obtained by the camera 10 into a virtual image P2' from a position 210 corresponding to a visual point of an occupant of the vehicle 200, and a video projector 30 and a windshield 90 (screen 40) as display means for displaying the virtual image P2' in a manner to be overlaid on a direct image P1 estimated as visualized by the occupant from the estimated position 210. A half mirror 91 with reflectance larger than that of other areas is in a bottom area, in which the virtual image P2' is projected. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、車両周囲監視装置に関し、詳細には、車両の死角領域の監視の改良に関する。   The present invention relates to a vehicle surrounding monitoring apparatus, and more particularly to an improvement in monitoring a blind spot area of a vehicle.

車両の運転者等、乗員席に着座した乗員が車外を見たとき、車体などの車両構造物やミラー等の装備部品によって、いわゆる死角領域が生じ、それらの背後の状況を直接視認することができない。   When an occupant seated in an occupant's seat such as a driver of a vehicle looks outside the vehicle, a so-called blind spot area is generated by a vehicle structure such as a vehicle body or an equipment part such as a mirror, and the situation behind them can be directly visually recognized. Can not.

近年、カメラの小型化やモニタの装備の普及に伴い、これら死角領域の景色をカメラで撮像し、得られた景色をモニタに表示することにより、運転者等に、死角領域の景色を視認させるようにしたバックモニタ装置等の車両周囲監視装置が実用化されている。   In recent years, with the miniaturization of cameras and the spread of monitor equipment, images of these blind spot areas are captured by the camera, and the obtained scenery is displayed on the monitor, so that the driver can visually recognize the scenery of the blind spot area. Vehicle surrounding monitoring devices such as the back monitor device as described above have been put into practical use.

このような実用化されている監視装置としては、カメラの視点でとらえた映像を、車室内に固定されたモニタにそのまま表示するものが一般的である。   As such a practically used monitoring apparatus, an apparatus that displays an image captured from the viewpoint of a camera as it is on a monitor fixed in the passenger compartment is generally used.

しかし、例えば車庫入れ操車のためにバック走行する際、運転者はリヤウインドシールドガラスを通して後方を眺めながら操舵等するため、インストルメントパネル等に固定されたモニタに映像を表示しても、後方とモニタとを交互に見比べなければならず、使い勝手の向上が望まれる。   However, for example, when driving backwards for garage handling, the driver steers while looking at the back through the rear windshield glass, so even if an image is displayed on a monitor fixed to the instrument panel etc. It is necessary to compare with the monitor alternately, and improvement in usability is desired.

そこで、運転者による変速機のリバース段へのシフト操作を検知して、リヤウインドシールドガラスの反射率を高め、このリヤウインドシールドガラスに、バックカメラで撮像された景色の映像を、プロジェクタ装置によって投影することにより、後方を向いた運転者に、そのままの姿勢で、リヤウインドシールドガラスを透過した肉眼による直接像とリヤウインドシールドガラスに投影されたカメラによる映像(反射像)とを、同時に視認可能とさせたバックモニタ装置が提案されており、視線の移動を防止している(特許文献1)。   Therefore, by detecting the shift operation of the transmission to the reverse stage by the driver, the reflectance of the rear windshield glass is increased, and the image of the scenery captured by the back camera is projected on the rear windshield glass by the projector device. By projecting, the driver who is facing backwards can simultaneously view the direct image with the naked eye that has passed through the rear windshield glass and the image projected by the camera (reflected image) projected on the rear windshield glass. A back monitor device that has been made possible has been proposed to prevent movement of the line of sight (Patent Document 1).

また、フェンダーミラー、ドアミラー等の車両側方および車両側部の後方を視認するためのサイドミラーや、車両後方を視認するためのバックミラー、あるいは車両後部の下方を視認するためのリヤアンダーミラーなど、各種反射鏡による間接視認範囲を拡大すべく、車両側部後方や車両後方をカメラによって撮像し、このカメラで得られた像を、反射鏡の輪郭よりも外側部分にホログラムとして、フロントウインドシールドガラスやサイドガラス、あるいはリヤウインドシールドガラス等の各反射鏡に近接するガラスに投影するようにした車両用表示装置が提案されている(特許文献2)。   Also, side mirrors for viewing the side of the vehicle and the rear side of the vehicle, such as fender mirrors and door mirrors, a rearview mirror for viewing the rear of the vehicle, a rear under mirror for viewing the rear of the vehicle, etc. In order to enlarge the indirect viewing range by various reflectors, the rear side of the vehicle and the rear side of the vehicle are imaged by a camera, and the image obtained by this camera is used as a hologram outside the outline of the reflector to create a front windshield. There has been proposed a vehicle display device that projects onto glass adjacent to each reflector such as glass, side glass, or rear windshield glass (Patent Document 2).

なお、特許文献2により提案されている技術は、ホログラム像を、運転者の視点による像となるように、視点変換処理を施して、反射鏡による反射像との連続性を確保し、視線の移動を防止している。
特開2000−272417号公報 特開2000−71877号公報
Note that the technique proposed in Patent Document 2 performs viewpoint conversion processing so that the hologram image becomes an image based on the driver's viewpoint, and ensures continuity with the reflection image by the reflecting mirror. Prevents movement.
JP 2000-272417 A JP 2000-71877 A

しかし、特許文献1による技術は、カメラ視点による映像をそのままリヤウインドシールドガラスに投影するため、透過した肉眼視の直接像との対応がとりにくく、瞬時の判断に遅れを生じて、操車を誤る虞がある。   However, since the technique according to Patent Document 1 projects the image from the camera viewpoint directly onto the rear windshield glass, it is difficult to correspond to the transmitted direct image directly to the naked eye, resulting in a delay in instantaneous judgment and erroneous vehicle operation. There is a fear.

また、特許文献2による技術は、反射鏡による視認範囲(反射像の大きさ)を、反射鏡のサイズを大きくすることなく拡大するものであり、反射鏡のサイズを大きくすることの弊害、すなわち反射鏡のサイズ拡大による死角領域の拡大を防止したものではあるが、反射鏡自体の背後に生じている死角領域を解消するものではない。   Further, the technique according to Patent Document 2 expands the visible range (the size of the reflected image) by the reflecting mirror without increasing the size of the reflecting mirror, that is, the adverse effect of increasing the size of the reflecting mirror, that is, Although the enlargement of the blind spot area due to the enlargement of the size of the reflector is prevented, it does not eliminate the blind spot area generated behind the reflector itself.

しかも、反射鏡の外側空間からは、その外側範囲まで反射鏡が存在したと仮定すれば見えるであろうホログラム像(反射像)に加えて、肉眼視による直接像も視認されるため、直接像と反射像とが重畳することとなり、運転者には不自然な景色と認識される虞がある。特に走行中は、直接像は近づいてくるように流れるのに対して、反射像(ホログラム像)は遠ざかるように流れるため、これら両像が重畳すると、景色の認識に混乱を生じる虞もある。   In addition to the hologram image (reflected image) that can be seen from the outer space of the reflecting mirror to the outer area, a direct image by the naked eye is also visually recognized. And the reflected image are superimposed on each other, and the driver may be recognized as an unnatural scenery. In particular, while traveling, the direct image flows so as to approach, whereas the reflected image (hologram image) flows away from each other. If these two images overlap, there is a possibility that the recognition of the scenery may be confused.

本発明は上記事情に鑑みなされたものであって、大きな視線移動を行うことなく、かつ違和感なく、死角領域の景色を視認することができる車両周囲監視装置を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle periphery monitoring device that can visually recognize the scenery of the blind spot area without performing a large line-of-sight movement and without a sense of incongruity.

本発明に係る車両周囲監視装置は、カメラで撮像された死角領域の景色の像が、乗員の視点から見た景色の像となるように、当該撮像された像に対して画像処理(視点変換処理)を施し、かつ、ウインドウを通して乗員の肉眼で直接視されている直接像と当該画像処理された像との位置関係を対応させて、その直接像を透過させているウインドウガラスに、画像処理された像を投影することで、乗員には、あたかも半透明の車体を透かして死角領域の景色を視認させるようにしたものである。   The vehicle periphery monitoring device according to the present invention performs image processing (viewpoint conversion) on the captured image so that the blind spot image captured by the camera becomes a landscape image viewed from the occupant's viewpoint. Image processing is performed on the window glass that transmits the direct image in correspondence with the positional relationship between the direct image directly viewed with the occupant's naked eye through the window and the image processed image. By projecting the image, the occupant is allowed to visually recognize the scenery of the blind spot area through the translucent vehicle body.

すなわち、本発明に係る車両周囲監視装置は、車両の死角領域の景色を撮像する少なくとも1つの撮像手段と、前記撮像手段によって得られた前記死角領域の景色の像を、前記車両の乗員の視点に相当する位置からの仮想像に変換処理する画像処理手段と、前記仮想像を、前記想定される位置から、前記乗員により視認されると想定される直接像に重畳させるように表示する表示手段とを備えたことを特徴とする。   That is, the vehicle periphery monitoring device according to the present invention provides at least one imaging unit that captures a landscape of a blind spot area of a vehicle, and an image of the landscape of the blind spot area obtained by the imaging unit, from the viewpoint of a passenger of the vehicle. And a display means for displaying the virtual image so as to be superimposed on a direct image assumed to be visually recognized by the occupant from the assumed position. It is characterized by comprising.

ここで、撮像手段が撮像する死角領域の景色は、死角領域全域に亘るものでなくてもよく、少なくとも死角領域の景色のうちの一部であってもよい。   Here, the scenery of the blind spot area captured by the imaging unit may not be the entire blind spot area, and may be at least a part of the scenery of the blind spot area.

また、仮想像とは、死角領域を生じさせる車体や車体付属部品を除去したと仮定したときに、あるいはそれら車体等が透明であると仮定したときに、当該位置から乗員によって視認されると想定される景色の像である。   The virtual image is assumed to be visually recognized by the occupant from that position when it is assumed that the vehicle body and the vehicle body accessories that cause the blind spot area are removed, or when the vehicle body is assumed to be transparent. It is a statue of the scenery to be done.

このように構成された車両周囲監視装置によれば、撮像手段によって得られた死角領域の景色の像が、画像処理手段によって、乗員の視点からの仮想像に変換処理され、この仮想像が、表示手段によって、乗員の肉眼により視認されると想定される直接像に重畳して表示される。   According to the vehicle periphery monitoring apparatus configured as described above, the image of the blind spot area obtained by the imaging unit is converted into a virtual image from the viewpoint of the passenger by the image processing unit. The display means displays the image superimposed on a direct image assumed to be visually recognized by the occupant's naked eye.

本発明に係る車両周囲監視装置によれば、乗員は、実際に視認される直接像に仮想像が重畳された像を視認することになるが、仮想像は、乗員の視点からの像として形成されたものであるから、仮想像と直接像との位置関係は略完全に一致しており、これにより、乗員は、死角領域を生じさせている車体等を直接像として知覚しつつ、この車体等を透過させた死角領域の景色の像を仮想像として同時に見ているように知覚し、あたかも半透明の車体等を通して、本来は見えない死角領域の景色を視認しているように認識させることができる。   According to the vehicle periphery monitoring apparatus according to the present invention, the occupant visually recognizes an image in which a virtual image is superimposed on a direct image that is actually visually recognized, but the virtual image is formed as an image from the viewpoint of the occupant. Therefore, the positional relationship between the virtual image and the direct image is almost completely the same, so that the occupant can perceive the vehicle body or the like causing the blind spot area as a direct image while Perceived as if the scenery image of the blind spot area that has been transmitted through is visible as a virtual image at the same time, and through a semi-transparent car body, etc. Can do.

したがって、死角領域の景色の像と肉眼視による直接像とが、略完全に位置関係が対応付けられた合成像として、乗員に知覚させることができ、使い勝手の優れたものとなる。   Therefore, the occupant can perceive the scenery image of the blind spot area and the direct image by the naked eye as a composite image in which the positional relationship is substantially completely associated with each other, which is excellent in usability.

以下、本発明に係る車両周囲監視装置の最良の実施形態について、図面を参照して説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, a preferred embodiment of a vehicle periphery monitoring device according to the invention will be described with reference to the drawings.

図1は本発明の一実施形態に係る車両周囲監視装置100のシステム構成を表すブロック図、図2は図1に示した車両周囲監視装置100が搭載された車両200の運転席に着座したドライバの視点に相当する位置210から、フロントウインドウガラス(以下、単にフロントガラスという。)90を介して車両200の前方を見たときの視野範囲中の肉眼視による視認領域Z1と車体201によって視野が妨げられる死角領域Z2とを模式的に表した図、図3は図2の状態において運転者が、フロントガラス90を介して車両200の前方を見たときに視認される肉眼視による視認領域Z1に対応した直接像P1を模式的に表した模式図である。   FIG. 1 is a block diagram showing a system configuration of a vehicle surroundings monitoring apparatus 100 according to an embodiment of the present invention, and FIG. 2 is a driver seated in a driver's seat of a vehicle 200 on which the vehicle surroundings monitoring apparatus 100 shown in FIG. 1 is mounted. From the position 210 corresponding to this viewpoint, the visual field is viewed by the visual recognition region Z1 and the vehicle body 201 in the visual field range when the front of the vehicle 200 is viewed through the windshield 90 (hereinafter simply referred to as the windshield). FIG. 3 is a diagram schematically showing the blind spot area Z2 to be obstructed. FIG. 3 is a visual recognition area Z1 visually recognized when the driver looks at the front of the vehicle 200 through the windshield 90 in the state of FIG. FIG. 6 is a schematic diagram schematically showing a direct image P1 corresponding to.

ここで、車両周囲監視装置100は、車両200の前端部近傍に設けられ、主として死角領域Z2の景色W2を撮像するように、前下方に向けられたCCD等の撮像素子からなるカメラ10と、カメラ10によって得られた死角領域Z2の景色W2の像P2を、車両200の乗員の視点に相当する位置210からの仮想像P2′に変換処理(視点変換処理)する画像処理装置20と、仮想像P2′を、想定される位置210から、乗員により視認されると想定される直接像P1に重畳させるように表示する表示手段としてのビデオプロジェクタ30およびスクリーン40とを備えた構成である。   Here, the vehicle surroundings monitoring device 100 is provided in the vicinity of the front end of the vehicle 200, and includes a camera 10 including an imaging element such as a CCD that is directed forward and downward so as to mainly capture the scenery W2 in the blind spot area Z2. An image processing device 20 for converting the image P2 of the scenery W2 of the blind spot area Z2 obtained by the camera 10 into a virtual image P2 ′ from the position 210 corresponding to the viewpoint of the passenger of the vehicle 200 (viewpoint conversion processing); This is a configuration provided with a video projector 30 and a screen 40 as display means for displaying the image P2 ′ so as to be superimposed on the direct image P1 assumed to be visually recognized by the occupant from the assumed position 210.

ここで、スクリーン40は、車両200が予め備えているフロントガラス90によって構成されている。   Here, the screen 40 is configured by a windshield 90 provided in advance in the vehicle 200.

カメラ10が撮像する死角領域Z2の景色W2の像P2は、死角領域Z2の全域に亘るものでなくてもよく、少なくとも死角領域Z2の景色W2のうちの一部のみに対応するものであってもよい。   The image P2 of the scenery W2 of the blind spot area Z2 captured by the camera 10 does not have to cover the entire area of the blind spot area Z2, and corresponds to at least a part of the scenery W2 of the blind spot area Z2. Also good.

また、仮想像P2′は、死角領域Z2を生じさせる車体(ボンネットフード201等)や車体付属部品を除去したと仮定したときに、あるいはそれら車体等が透明であると仮定したときに、当該位置210から乗員によって視認されると想定される景色W2の像である。本実施形態においては、図2に示すように、乗員(ドライバ)の視点に対応した位置210では、ボンネット201によって、その背後の領域が死角領域Z2となる。   In addition, the virtual image P2 ′ is displayed at the position when it is assumed that the vehicle body (bonnet hood 201, etc.) and the vehicle body accessory that cause the blind spot area Z2 are removed, or when the vehicle body is assumed to be transparent. 210 is an image of a scenery W2 that is assumed to be visually recognized by a passenger from 210. In the present embodiment, as shown in FIG. 2, at the position 210 corresponding to the occupant (driver) viewpoint, the bonnet 201 causes the area behind it to become a blind spot area Z2.

また、フロントガラス90は、仮想像P2′が投影される下部領域の反射率が他の領域部分よりも大きくなるように設定されており、例えばハーフミラー91とされている。   Further, the windshield 90 is set so that the reflectance of the lower region on which the virtual image P <b> 2 ′ is projected is larger than that of other region portions, and is, for example, a half mirror 91.

次に、本実施形態の車両周囲監視装置100の作用について説明する。   Next, the operation of the vehicle periphery monitoring device 100 of this embodiment will be described.

まず、図2に示した車両200の配置状態において、この車両周囲監視装置100が搭載された車両200に乗車したドライバの視点に相当する位置210から、ドライバがフロントガラス90を通して車両前方を見たとき、その肉眼視によって視認される視認領域Z1より得られる景色W1の像(直接像)P1は、図3に示すようなものとなる。   First, in the arrangement state of the vehicle 200 shown in FIG. 2, the driver viewed the front of the vehicle through the windshield 90 from the position 210 corresponding to the viewpoint of the driver who got on the vehicle 200 on which the vehicle surrounding monitoring device 100 is mounted. At this time, an image (direct image) P1 of the scenery W1 obtained from the visual recognition area Z1 visually recognized by the naked eye is as shown in FIG.

ここで、フロントガラス90よりも前方に存在するボンネット201によって視認できない死角領域Z2には、図2に示すように障害物300が存在するが、直接像P1においては、その障害物300が全く現れないか、あるいはその上部がわずかに現れる程度である。なお、視認領域Z1に存在する他車400については直接像P1に現れており、十分に視認可能となっている。   Here, in the blind spot area Z2 that cannot be visually recognized by the bonnet 201 existing in front of the windshield 90, the obstacle 300 exists as shown in FIG. 2, but the obstacle 300 appears at all in the direct image P1. There is no or only a slight upper part appears. Note that the other vehicle 400 present in the visual recognition area Z1 appears directly in the image P1 and is sufficiently visible.

この状態で、カメラ10は、障害物300を含む死角領域Z2の景色W2を撮像し、この撮像された像P2は、画像処理装置20に送られ、画像処理装置20は、入力された像P2に対して視点変換処理を施し、仮想像P2′が得られる。   In this state, the camera 10 captures the scenery W2 of the blind spot area Z2 including the obstacle 300, and the captured image P2 is sent to the image processing device 20, and the image processing device 20 receives the input image P2. Is subjected to a viewpoint conversion process to obtain a virtual image P2 ′.

次いで、この仮想像P2′は、ビデオプロジェクタ30に送られ、ビデオプロジェクタ30は、入力された仮想像P2′を、位置210から乗員により視認されると想定される直接像P1に重畳させるように予め設定されたフロントガラス90の下部領域のハーフミラー91に投影する。   Next, the virtual image P2 ′ is sent to the video projector 30, and the video projector 30 superimposes the input virtual image P2 ′ on the direct image P1 that is assumed to be viewed by the occupant from the position 210. Projection is performed on the half mirror 91 in the lower region of the windshield 90 set in advance.

この結果、乗員の視点に相当する位置210から視認される景色は、図4に示すように、直接像P1に仮想像P2′が重畳された像となる。   As a result, the scenery viewed from the position 210 corresponding to the passenger's viewpoint is an image in which the virtual image P2 ′ is superimposed on the direct image P1, as shown in FIG.

ここで、仮想像P2′は、乗員の視点に相当する位置210からの像として形成されたものであるから、仮想像P2′と直接像P1との位置関係は略完全に一致しており、これにより、乗員は、死角領域Z2を生じさせているボンネット201を直接像P1として認識しつつ、このボンネット201を透過させた死角領域Z2の景色W2の像P2を仮想像P2′として同時見ているように知覚し、あたかも半透明のボンネット201を通して、本来は見えない死角領域Z2の景色W2を視認しているように認識させることができる。   Here, since the virtual image P2 ′ is formed as an image from the position 210 corresponding to the occupant's viewpoint, the positional relationship between the virtual image P2 ′ and the direct image P1 is substantially completely matched. Thus, the occupant recognizes the bonnet 201 causing the blind spot area Z2 as the direct image P1, and simultaneously views the image P2 of the scenery W2 of the blind spot area Z2 that has passed through the bonnet 201 as the virtual image P2 ′. As if the scenery W2 in the blind spot area Z2 that is not originally visible is viewed through the translucent bonnet 201.

このように、本実施形態の車両周囲監視装置100によれば、死角領域Z2の景色W2の像P2と肉眼視による直接像P1とが、略完全に位置関係が対応付けられた合成像として、ドライバに知覚させることができ、使い勝手の優れたものとなる。   As described above, according to the vehicle surrounding monitoring apparatus 100 of the present embodiment, the image P2 of the scenery W2 in the blind spot area Z2 and the direct image P1 by the naked eye are substantially completely associated with each other as a composite image. It can be perceived by the driver and is excellent in usability.

また、表示手段として、車両200に既存のフロントガラス90を用いているため、表示用のスクリーン40を新たに備える必要がなく、構成部品の低減によって、製品コストを低減することができる。   Further, since the existing windshield 90 is used in the vehicle 200 as the display means, it is not necessary to newly provide a display screen 40, and the product cost can be reduced by reducing the number of components.

さらに、フロントガラス90は、仮想像P2′が投影される領域部分がハーフミラー91とされて、反射率が他の領域部分よりも大きく設定されているため、ビデオプロジェクタ30によって投影される仮想像P2′を、反射像として乗員に明瞭に知覚させることにができる。   Furthermore, since the windshield 90 has an area portion on which the virtual image P2 ′ is projected as the half mirror 91 and has a higher reflectance than the other area portions, the virtual image projected by the video projector 30 is used. P2 'can be clearly perceived by the passenger as a reflected image.

なお、透過率が小さくなる(反射率が大きくなる)にしたがって、仮想像P2′の明瞭度合いは高くなるが、透過像である直接像P1の明瞭度合いは反対に低下するため、ハーフミラー91の透過率は、例えば50%であることが好ましい。   As the transmittance decreases (the reflectance increases), the clarity of the virtual image P2 ′ increases. However, the clarity of the direct image P1, which is a transmission image, decreases on the contrary. The transmittance is preferably 50%, for example.

次に、上述した視点変換処理について詳説する。   Next, the viewpoint conversion process described above will be described in detail.

視点変換処理は、上述したように、カメラ10の視点によって得られた像P2に対して、幾何学的な演算を施すことにより、想定されるドライバの視点に相当する位置210(仮想的なドライバの視点)から視認されるであろう像P2′に変換する処理であり、地面上の点Xwと任意視点のカメラ10における撮像平面上の点Xcとの対応は次式(1)で与えられる。   As described above, the viewpoint conversion processing performs geometric calculation on the image P2 obtained from the viewpoint of the camera 10 to obtain a position 210 (virtual driver) corresponding to the assumed driver viewpoint. The point Xw on the ground and the point Xc on the imaging plane of the camera 10 at an arbitrary viewpoint are given by the following equation (1). .

Figure 2006248384
式(1)において、rは任意視点のカメラ10と地面までの光軸に沿った長さ、R(ψ,φ,θ)は座標系の回転行列、fは任意視点のカメラ10の焦点距離、ezはZ軸方向の単位ベクトルを表す。
Figure 2006248384
In equation (1), r is the length along the optical axis to the camera 10 at an arbitrary viewpoint and the ground, R (ψ, φ, θ) is a rotation matrix of the coordinate system, and f is the focal length of the camera 10 at the arbitrary viewpoint. , e z represents the unit vector in the Z-axis direction.

式(1)を用いて、車両に取り付けられたカメラ10の撮像面に相当する座標系上の点Xcとドライバ視点の像平面に相当する座標系上の点Xc′とは、Xwを介して対応付けられ、異なる視点間の画像変換を行うことができる。   Using equation (1), a point Xc on the coordinate system corresponding to the imaging surface of the camera 10 attached to the vehicle and a point Xc ′ on the coordinate system corresponding to the image plane of the driver viewpoint are connected via Xw. Corresponding images can be converted between different viewpoints.

また、ドライバ視点の像平面とプロジェクタ30との対応、およびプロジェクタ30の投影スクリーンとなるフロントガラス90上の点(位置)との対応も、同様の幾何学演算により求めることができる。   Further, the correspondence between the image plane of the driver viewpoint and the projector 30 and the correspondence (point) on the windshield 90 that becomes the projection screen of the projector 30 can be obtained by the same geometric calculation.

上述した実施形態は、フロントガラス90の下部領域に、反射率が他の領域部分よりも大きいハーフミラー91を形成したものであるが、そのように反射率が固定されたハーフミラーを用いるのに代えて、フロントガラス90のうち、仮想像P2′が投影される下部領域について、反射率が可変とされたものを適用することもできる。   In the above-described embodiment, the half mirror 91 having a higher reflectance than the other region portions is formed in the lower region of the windshield 90. However, in order to use the half mirror having such a fixed reflectance. Instead, it is also possible to apply the windshield 90 whose reflectance is variable for the lower region where the virtual image P2 ′ is projected.

反射率が可変とされたものとしては、例えば図5に示すように、液晶シャッタ92が埋め込まれたものを用いることができる。そのような液晶シャッタ92が埋め込まれたものは、電圧の印加により、液晶シャッタ92を透過する光量すなわち直接像P1の透過強度を変化させることができ、透過率を変化させることによって反射率を変化させる。   For example, as shown in FIG. 5, a liquid crystal shutter with a liquid crystal shutter 92 embedded therein can be used as a variable reflectance. In the case where such a liquid crystal shutter 92 is embedded, the amount of light transmitted through the liquid crystal shutter 92, that is, the transmission intensity of the direct image P1 can be changed by applying a voltage, and the reflectance is changed by changing the transmittance. Let

なお、そのように下部領域の反射率が可変とされたフロントガラス90は、所定の条件に応じてその下部領域の反射率を変化させる制御を行う反射率制御ユニット50(反射率制御手段)をさらに備えている。   In addition, the windshield 90 in which the reflectance of the lower region is made variable in this way includes a reflectance control unit 50 (reflectance control means) that performs control to change the reflectance of the lower region according to a predetermined condition. It has more.

また、所定の条件としては、ドライバによって入力された指示内容(ON/OFFボタン60等に入力されたON指示の信号またはOFF指示の信号)であってもよいし、車両200に設けられた車速センサ70から得られる車速等であってもよい。   Further, the predetermined condition may be an instruction content (ON instruction signal or OFF instruction signal input to the ON / OFF button 60 or the like) input by the driver, or a vehicle speed provided in the vehicle 200. The vehicle speed obtained from the sensor 70 may be used.

ON/OFFボタン60等、ドライバによる指示の入力に応じたものとするときは、ドライバが所望とするときに、その入力を受けて、反射率制御ユニット50が、液晶シャッタ92を駆動制御して、反射率を高めて(使用状態)、あるいは反射率を低めて(不使用状態)、ドライバの意図を確実に反映させることができる。   When the ON / OFF button 60 or the like responds to an instruction input by the driver, the reflectance control unit 50 controls the liquid crystal shutter 92 in response to the input when the driver desires. The intention of the driver can be reliably reflected by increasing the reflectivity (use state) or decreasing the reflectivity (non-use state).

一方、車速等に応じたものとするときは、車速センサ70や変速段検出センサ(図示せず)等による検出結果が反射率制御ユニット50に入力されて、例えば、右左折等の操舵時や、車庫入れ操車や縦列駐車操車等の車速が低いときは、自動的に反射率を高めることができるため、ドライバによる手動の指示入力が間に合わない状況等においても、自動的に使用状態に切り替えることができ、使い勝手をさらに向上させることができる。   On the other hand, when the vehicle speed is determined according to the vehicle speed or the like, the detection result by the vehicle speed sensor 70 or a gear position detection sensor (not shown) is input to the reflectance control unit 50, for example, during steering such as turning right or left When the vehicle speed is low, such as in a garage or parallel parking maneuver, the reflectivity can be increased automatically, so even in situations where manual instruction input by the driver is not in time, it is automatically switched to the use state. It is possible to improve usability.

なお、所定の条件としては、その他に、昼であるか夜であるかなどの環境光の光量を条件とするものであってもよい。環境光の光量が大きいときは、環境光の光量が小さいときに比べて、反射像(仮想像)の視認性が低下するため、環境光の光量が大きいときは反射率を高め、環境光の光量が小さいときは反射率を小さくすればよい。   In addition, the predetermined condition may be the condition that the amount of ambient light such as whether it is daytime or nighttime. When the amount of ambient light is large, the visibility of the reflected image (virtual image) is lower than when the amount of ambient light is small. Therefore, when the amount of ambient light is large, the reflectance is increased, When the amount of light is small, the reflectance may be reduced.

また、反射率制御ユニット50は、液晶シャッタ92に対する反射率変化の制御と、ビデオプロジェクタ30による投影動作の制御とを、破線で示すように、連動させてもよい。   Further, the reflectance control unit 50 may link the control of the reflectance change with respect to the liquid crystal shutter 92 and the control of the projection operation by the video projector 30 as indicated by a broken line.

上述した実施形態は、車両200に予め備えられているフロントガラス90を、プロジェクタ30によって仮想像P2′が投影される投影面(直接像P1との重畳(合成)面)としたものであるが、このような形態に限定されるものではない。   In the embodiment described above, the windshield 90 provided in advance in the vehicle 200 is used as a projection plane (a superimposition (composite) plane with the direct image P1) on which the virtual image P2 ′ is projected by the projector 30. However, the present invention is not limited to such a form.

すなわち、表示手段として、図6に示すように、直接像P1を透過させるとともに、仮想像P2′が投影されるように、フロントガラス90よりも反射率が高められたスクリーン42と、スクリーン42に仮想像P2′を投影するビデオプロジェクタ30とを備えたものとすることもできる。   That is, as shown in FIG. 6, the display means directly transmits the image P <b> 1, and projects a virtual image P <b> 2 ′ so that the reflectance is higher than that of the windshield 90 and the screen 42. A video projector 30 that projects the virtual image P2 ′ may be provided.

このような実施形態の車両周囲監視装置によれば、ビデオプロジェクタ30によってスクリーン42に投影された仮想像P2′は、反射像としてドライバに視認されることになるが、反射像はその反射面(スクリーン42)の反射率が高いほど、ドライバに鮮明に視認させることができるところ、スクリーン42の反射率はフロントガラス90の反射率よりも高められているため、その仮想像P2′をより鮮明に視認させることができる。なお、反射率は、例えば50%であることが望ましい。   According to the vehicle surrounding monitoring apparatus of such an embodiment, the virtual image P2 ′ projected on the screen 42 by the video projector 30 is visually recognized by the driver as a reflected image. The higher the reflectivity of the screen 42), the clearer the driver can visually recognize the image. Since the reflectivity of the screen 42 is higher than the reflectivity of the windshield 90, the virtual image P2 'becomes clearer. It can be visually recognized. The reflectance is preferably 50%, for example.

また、上述したスクリーン42は、図6に示したように、フロントガラス90の手前部分に常に、使用状態で設置されているものでなくてもよく、例えば図7に示すように、仮想像P2′が投影される範囲に設置される使用位置(二点鎖線で示した起立位置)と仮想像P2′が投影される範囲外に退避した退避位置(実線で示した倒伏位置)との間で回動可能とされたものであり、さらに、所定の条件に応じてこのスクリーン42を使用位置または退避位置に移動させる制御を行う駆動制御ユニット51(駆動制御手段)を備えている。   Further, as shown in FIG. 6, the screen 42 described above may not always be installed in the used state in front of the windshield 90. For example, as shown in FIG. Between a use position (standing position indicated by a two-dot chain line) installed in a range where ′ is projected and a retreat position (falling position indicated by a solid line) where the virtual image P2 ′ is retracted outside the range projected Further, it is configured to be rotatable, and further includes a drive control unit 51 (drive control means) that performs control to move the screen 42 to a use position or a retracted position according to a predetermined condition.

所定の条件としては、ドライバによって入力された指示内容(ON/OFFボタン60等に入力されたON指示の信号またはOFF指示の信号)であってもよいし、車両200に予め設けられている車速センサ70等により検出された車速であってもよい。   The predetermined condition may be an instruction content (ON instruction signal or OFF instruction signal input to the ON / OFF button 60 or the like) input by the driver, or a vehicle speed provided in advance in the vehicle 200. The vehicle speed detected by the sensor 70 or the like may be used.

ドライバによる指示の入力に応じたものとするときは、ドライバが所望とするときに、その入力を受けて、使用位置に移動され(使用状態)、あるいは退避位置に移動されて(不使用状態)、ドライバの意図を確実に反映させることができる。   In response to an instruction input by the driver, the driver receives the input when desired and is moved to the use position (use state) or moved to the retracted position (non-use state). The driver's intention can be surely reflected.

一方、車速等に応じたものとするときは、車速センサ70や変速段検出センサ(図示せず)等による検出結果が駆動制御ユニット51に入力されて、例えば、右左折等の操舵時や、車庫入れ操車や縦列駐車操車等の車速が低いときは、自動的に反射率を高めることができるため、ドライバによる手動の指示入力が間に合わない状況等においても、自動的に使用状態に切り替えることができ、使い勝手をさらに向上させることができる。   On the other hand, when it corresponds to the vehicle speed or the like, the detection result by the vehicle speed sensor 70 or a gear position detection sensor (not shown) or the like is input to the drive control unit 51, for example, at the time of steering such as a right or left turn, When the vehicle speed is low, such as garage handling and parallel parking maneuvering, the reflectance can be increased automatically, so even in situations where manual instruction input by the driver is not in time, it can be automatically switched to the use state. It is possible to improve usability.

なお、所定の条件としては、その他に、昼であるか夜であるかなどの環境光の光量を条件とするものであってもよい。   In addition, the predetermined condition may be the condition that the amount of ambient light such as whether it is daytime or nighttime.

また、駆動制御ユニット51は、液晶シャッタ92に対する反射率変化の制御と、ビデオプロジェクタ30による投影動作の制御とを、破線で示すように、連動させてもよい。   Further, the drive control unit 51 may link the control of the reflectance change with respect to the liquid crystal shutter 92 and the control of the projection operation by the video projector 30 as indicated by a broken line.

上述した各実施形態は、いずれも、ドライバの視点に相当する位置210は予め設定されているものとして説明したが、ドライバの視点に相当する位置はドライバの個体差によって変動しうる。   In each of the above-described embodiments, the position 210 corresponding to the driver's viewpoint is described as being set in advance. However, the position corresponding to the driver's viewpoint may vary depending on individual differences between drivers.

それにも拘わらず、単一の位置210を常に基準として視点変換処理を行うとドライバの視点位置によっては、仮想像P2′と直接像P1とが精度よく重畳して知覚させることができない場合も起こりうる。   Nevertheless, if the viewpoint conversion process is always performed with the single position 210 as a reference, the virtual image P2 ′ and the direct image P1 may not be accurately superimposed and perceived depending on the viewpoint position of the driver. sell.

そこで、図8に示す如く、仮想像P2′の形状を試行錯誤的に変化させるように、仮想像P2′の形状を規定する視点変換処理のパラメータを変化させるジョイスティック80(パラメータ調整手段)をさらに備え、画像処理ユニット20は、ジョイスティック80によって調整された後のパラメータに基づいて、仮想像P2′を形成するものとすればよい。   Therefore, as shown in FIG. 8, a joystick 80 (parameter adjusting means) that changes the parameters of the viewpoint conversion process that defines the shape of the virtual image P2 ′ so as to change the shape of the virtual image P2 ′ by trial and error is further provided. The image processing unit 20 may be configured to form the virtual image P2 ′ based on the parameters after being adjusted by the joystick 80.

パラメータ調整手段としては、パラメータを変化させる信号を手動で入力するものであればよく、ジョイスティック80だけでなく、ボタンやつまみなどの他の入力インターフェースであってもよい。   The parameter adjusting means may be any means for manually inputting a signal for changing the parameter, and may be other input interfaces such as buttons and knobs as well as the joystick 80.

そして、ドライバは、ハーフミラー91に投影された仮想像P2′と直接像P1とを知覚しつつ、仮想像P2′が、直接像P1の死角領域Z2におけるドライバ視点相当位置210からの視点変換像となるように、ジョイスティック80により視点変換処理のパラメータを順次変化させて入力し、画像処理ユニット20が、そのパラメータに応じた形状の仮想像P2′を順次生成し、ハーフミラー91上に投影する。   Then, the driver perceives the virtual image P2 ′ projected on the half mirror 91 and the direct image P1, and the virtual image P2 ′ is a viewpoint conversion image from the driver viewpoint equivalent position 210 in the blind spot area Z2 of the direct image P1. Then, the viewpoint conversion processing parameters are sequentially changed and inputted by the joystick 80, and the image processing unit 20 sequentially generates virtual images P2 ′ having shapes corresponding to the parameters and projects them onto the half mirror 91. .

このように、仮想像P2′を直接像P1と重畳表示させて視認させつつ、仮想像P2′を試行錯誤的に変化させることにより、ドライバの視点位置に個体差があったとしても、各ドライバに適した仮想像P2′の最適な形状が求められる。   Thus, even if there is an individual difference in the viewpoint position of the driver, the virtual image P2 ′ can be visually recognized by being superimposed on the image P1, and the virtual image P2 ′ is changed by trial and error. The optimum shape of the virtual image P2 ′ suitable for the above is obtained.

上述した各実施形態は、車両200の前部におけるボンネット201による死角領域Z2を対象として説明したが、本発明の車両周囲監視装置100は、この車両200の前部の死角領域Z2のみを対象とするものではない。   Although each embodiment mentioned above was explained for the blind spot area Z2 by the bonnet 201 in the front part of the vehicle 200, the vehicle periphery monitoring device 100 of the present invention is targeted only for the blind spot area Z2 of the front part of the vehicle 200. Not what you want.

すなわち、例えば図9に示した車両周囲監視装置100′は、リヤハッチゲートのリヤウインドシールドガラス(以下、単にリヤガラスという。)93以外のゲート本体部によって形成される死角領域を対象としたものであってもよく、図1に示した車両周囲監視装置100と同様の構成、すなわち、車両200の後端部近傍に設けられ、主として死角領域の景色W3を撮像するように、後下方に向けられたCCD等の撮像素子からなるカメラ10′と、カメラ10′によって得られた死角領域の景色W3の像P3を、車両200の乗員の視点に相当する位置210からの仮想像P3′に変換処理(視点変換処理)する画像処理装置20′と、仮想像P3′を、想定される位置210から、ドライバにより視認されると想定される直接像R1に重畳させるように表示する表示手段としてのビデオプロジェクタ30′およびスクリーン40′とを備えた構成であるが、この構成の車両周囲監視装置100′も、図1に示した車両周囲監視装置100と同様の作用効果を発揮し、本発明に係る車両周囲監視装置の一実施形態とすることができる。   That is, for example, the vehicle surrounding monitoring apparatus 100 ′ shown in FIG. 9 is intended for a blind spot area formed by a gate body portion other than a rear windshield glass (hereinafter simply referred to as rear glass) 93 of a rear hatch gate. 1, which is provided in the vicinity of the rear end portion of the vehicle 200 and is mainly directed rearward and downward so as to capture the scenery W3 in the blind spot area. A camera 10 ′ composed of an image sensor such as a CCD, and an image P3 of a blind spot area W3 obtained by the camera 10 ′ are converted into a virtual image P3 ′ from a position 210 corresponding to the viewpoint of the occupant of the vehicle 200 ( Direct image R1 that is assumed to be visually recognized by the driver from the assumed position 210 of the image processing device 20 ′ that performs viewpoint conversion processing) and the virtual image P3 ′. Although the video projector 30 ′ and the screen 40 ′ are provided as display means for displaying in a superimposed manner, the vehicle surroundings monitoring device 100 ′ having this configuration is the same as the vehicle surroundings monitoring device 100 shown in FIG. Thus, an embodiment of the vehicle periphery monitoring device according to the present invention can be obtained.

なお、図9に示した車両周囲監視装置100′についても、図5や図7に示した実施形態における反射率制御ユニット50や駆動制御ユニット51を適用して、反射率可変のスクリーンを実現する場合、反射率制御ユニット50や駆動制御ユニット51の駆動を開始するきっかけとして、ギヤ段の検出センサ(図示せず)を設け、リバースギヤにシフトチェンジされたことを検出したとき、反射率制御ユニット50がリヤガラス93の下部領域の反射率を高めて、死角領域の景色W3の像P3と肉眼視による直接像R1とが、略完全に位置関係が対応付けられた合成像として、ドライバに知覚させることができ、使い勝手の優れたものとなる。   9 also applies the reflectivity control unit 50 and the drive control unit 51 in the embodiment shown in FIGS. 5 and 7 to realize a variable reflectivity screen. In this case, as a trigger for starting the drive of the reflectance control unit 50 or the drive control unit 51, a gear stage detection sensor (not shown) is provided, and when it is detected that a shift change to the reverse gear is detected, the reflectance control unit 50 increases the reflectance of the lower region of the rear glass 93, and causes the driver to perceive the image P3 of the scenery W3 in the blind spot region and the direct image R1 by the naked eye as a composite image in which the positional relationship is substantially completely associated. Can be used, and it is easy to use.

また、車両200の前方や後方における死角領域だけでなく、いわゆるAピラーと称されるフロント側から数えて1番目のピラーによって生じる死角領域について適用するものや、車体床面によって生じる死角領域について適用するものなども、本発明に係る車両周囲監視装置の実施形態とすることができる。   Moreover, not only the blind spot area in front and rear of the vehicle 200 but also a blind spot area generated by the first pillar counted from the front side called a so-called A pillar, and a blind spot area generated by the vehicle body floor. What is to be performed can also be an embodiment of the vehicle periphery monitoring device according to the present invention.

上述した各実施形態の車両周囲監視装置100,100′は、ドライバの視点に相当する位置210が固定されているものとして説明したが、ドライバの視点は車両走行中変位するものであるから、動的にドライバの視点および視線を計測しても良く、そのような計測方法としては、例えば特開平6−323832号公報に開示されたもの(すなわち、画像入力手段において互いに位置を異ならせて設けられた複数の光源を個別に点灯して、眼球部を照明し、その反射像を撮像して複数の画像データを得、差分演算手段により2つの画像データの差分演算を行なった後、ずれ量計測手段により、反射像の位置ずれ量を計測し、角膜反射像抽出手段が所定値以下の位置ずれ量を有する反射像のペアを角膜反射像として抽出する。この角膜反射像の位置を用いて注目方向算出手段が、注目方向を算出する。差分演算によりペアの判別が容易となり、自由空間で眼鏡フレーム等の反射像が混入しても高精度に注目方向が算出できる。算出した注目方向によって、車両に情報伝達を行い、スイッチ操作などを行う。)を適用することができる。   Although the vehicle surroundings monitoring devices 100 and 100 ′ of the above-described embodiments have been described assuming that the position 210 corresponding to the driver's viewpoint is fixed, the driver's viewpoint is displaced while the vehicle is running. Alternatively, the driver's viewpoint and line of sight may be measured. As such a measuring method, for example, one disclosed in Japanese Patent Laid-Open No. 6-323832 (that is, provided in the image input means with different positions from each other). A plurality of light sources are individually turned on to illuminate the eyeball portion, and the reflected image is captured to obtain a plurality of image data. After calculating the difference between the two image data by the difference calculation means, the shift amount is measured. Means for measuring a positional deviation amount of the reflected image, and the cornea reflected image extracting means extracts a pair of reflected images having a positional deviation amount equal to or less than a predetermined value as a corneal reflected image. The attention direction calculation means calculates the attention direction, and the difference calculation makes it easy to discriminate the pair, and the attention direction can be calculated with high accuracy even when a reflection image such as a spectacle frame is mixed in free space. To transmit information to the vehicle and perform switch operation, etc.).

本発明の一実施形態に係る車両周囲監視装置のシステム構成を表すブロック図である。It is a block diagram showing the system configuration | structure of the vehicle periphery monitoring apparatus which concerns on one Embodiment of this invention. 図1に示した車両周囲監視装置が搭載された車両の運転席に着座したドライバの視点に相当する位置から、フロントガラスを介して車両前方を見たときの視認領域と死角領域とを模式的に表した図である。FIG. 1 schematically shows a visual recognition area and a blind spot area when a vehicle front is viewed through a windshield from a position corresponding to a viewpoint of a driver seated in a driver's seat of the vehicle on which the vehicle periphery monitoring device shown in FIG. 1 is mounted. FIG. 図2の状態において運転者が、フロントガラスを介して車両の前方を見たときに視認される肉眼視による視認領域に対応した直接像を模式的に表した模式図である。FIG. 3 is a schematic diagram schematically showing a direct image corresponding to a visual recognition region visually recognized when the driver looks at the front of the vehicle through the windshield in the state of FIG. 2. 直接像に仮想像が重畳された状態を示す図3相当の模式図である。FIG. 4 is a schematic diagram corresponding to FIG. 3 showing a state in which a virtual image is superimposed on a direct image. フロントガラスのうち仮想像が投影される下部領域について反射率が可変とされたものを適用した実施形態を示す図である。It is a figure which shows embodiment which applied what made the reflectance variable about the lower area | region where a virtual image is projected among windshields. 表示面を、フロントガラスに代えてスクリーンとした実施形態を示す図である。It is a figure which shows embodiment which replaced the front surface with the display surface and used the screen. スクリーンが使用位置と退避位置との間で回動可能とされた実施形態を示す図である。It is a figure which shows embodiment which enabled the screen to rotate between a use position and a retracted position. 仮想像を試行錯誤的に変化させるように、視点変換処理のパラメータを変化させるジョイスティックを備えた実施形態を示す図である。It is a figure which shows embodiment provided with the joystick which changes the parameter of a viewpoint conversion process so that a virtual image may be changed by trial and error. 車両の後方における死角領域に関して適用される実施形態を示す図である。It is a figure which shows embodiment applied regarding the blind spot area | region in the back of a vehicle.

符号の説明Explanation of symbols

10 カメラ
20 画像処理装置
30 ビデオプロジェクタ
90 フロントガラス
91 ハーフミラー
200 車両
P1 直接像(肉眼視によるガラス透過像)
P2′ 仮想像(カメラで撮像され、視点変換処理された像)
DESCRIPTION OF SYMBOLS 10 Camera 20 Image processing apparatus 30 Video projector 90 Front glass 91 Half mirror 200 Vehicle P1 Direct image (Glass transmission image by visual observation)
P2 'virtual image (image captured by camera and processed for viewpoint conversion)

Claims (7)

車両の死角領域の景色を撮像する少なくとも1つの撮像手段と、前記撮像手段によって得られた前記死角領域の景色の像を、前記車両の乗員の視点に相当する位置からの仮想像に変換処理する画像処理手段と、前記仮想像を、前記想定される位置から、前記乗員により視認されると想定される直接像に重畳させるように表示する表示手段とを備えたことを特徴とする車両周囲監視装置。   At least one imaging unit that captures the scenery of the blind spot area of the vehicle, and the image of the landscape of the blind spot area obtained by the imaging means is converted into a virtual image from a position corresponding to the viewpoint of the passenger of the vehicle Vehicle surrounding monitoring comprising image processing means and display means for displaying the virtual image so as to be superimposed on a direct image assumed to be visually recognized by the occupant from the assumed position apparatus. 前記表示手段は、前記直接像を透過させる、前記車両に予め備えられたウインドシールドガラスと、前記ウインドシールドガラスに前記仮想像を投影するビデオプロジェクタとを備えたことを特徴とする請求項1に記載の車両周囲監視装置。   2. The display unit according to claim 1, further comprising: a windshield glass provided in advance in the vehicle that transmits the direct image; and a video projector that projects the virtual image onto the windshield glass. The vehicle surrounding monitoring apparatus as described. 前記ウインドシールドガラスは、前記仮想像が投影される領域部分の反射率が他の領域部分よりも大きく設定されたものであることを特徴とする請求項2に記載の車両周囲監視装置。   The vehicle surroundings monitoring apparatus according to claim 2, wherein the windshield glass is configured such that a reflectance of an area portion on which the virtual image is projected is set larger than that of other area portions. 前記ウインドシールドガラスは、前記仮想像が投影される領域部分の反射率が可変とされたものであり、
所定の条件に応じて前記反射率を変化させる制御を行う反射率制御手段をさらに備えたことを特徴とする請求項2に記載の車両周囲監視装置。
The windshield glass is one in which the reflectance of the region portion on which the virtual image is projected is variable.
The vehicle surroundings monitoring device according to claim 2, further comprising reflectance control means for performing control to change the reflectance in accordance with a predetermined condition.
前記表示手段は、前記直接像を透過させるとともに、少なくとも前記仮想像の投影される領域部分が、前記車両に予め備えられたウインドシールドガラスよりも反射率が高められたスクリーンと、前記スクリーンに前記仮想像を投影するビデオプロジェクタとを備えたことを特徴とする請求項1に記載の車両周囲監視装置。   The display means transmits the direct image, and at least a region where the virtual image is projected has a higher reflectance than a windshield glass provided in advance in the vehicle, and the screen includes the screen The vehicle surroundings monitoring apparatus according to claim 1, further comprising a video projector that projects a virtual image. 前記スクリーンは、前記仮想像が投影される範囲に設置される使用位置と前記仮想像が投影される範囲外に退避した退避位置との間で移動可能とされたものであり、
所定の条件に応じて前記スクリーンを前記使用位置または前記退避位置に移動させる制御を行う駆動制御手段をさらに備えたことを特徴とする請求項5に記載の車両周囲監視装置。
The screen is movable between a use position installed in a range where the virtual image is projected and a retreat position where the virtual image is retreated outside the range where the virtual image is projected,
6. The vehicle surrounding monitoring apparatus according to claim 5, further comprising drive control means for performing control to move the screen to the use position or the retreat position according to a predetermined condition.
前記仮想像の形状を試行錯誤的に変化させるように、前記仮想像の形状を規定する変換処理のパラメータを変化させるパラメータ調整手段をさらに備え、
前記画像処理手段は、前記パラメータ調整手段によって調整された後のパラメータに基づいて、前記仮想像を形成することを特徴とする請求項1から6のうちいずれか1項に記載の車両周囲監視装置。

In order to change the shape of the virtual image on a trial and error basis, it further comprises parameter adjustment means for changing a parameter of conversion processing that defines the shape of the virtual image,
7. The vehicle surrounding monitoring apparatus according to claim 1, wherein the image processing unit forms the virtual image based on a parameter after being adjusted by the parameter adjusting unit. .

JP2005067873A 2005-03-10 2005-03-10 Vehicle perimeter monitoring device Expired - Fee Related JP4699054B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005067873A JP4699054B2 (en) 2005-03-10 2005-03-10 Vehicle perimeter monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005067873A JP4699054B2 (en) 2005-03-10 2005-03-10 Vehicle perimeter monitoring device

Publications (2)

Publication Number Publication Date
JP2006248384A true JP2006248384A (en) 2006-09-21
JP4699054B2 JP4699054B2 (en) 2011-06-08

Family

ID=37089324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005067873A Expired - Fee Related JP4699054B2 (en) 2005-03-10 2005-03-10 Vehicle perimeter monitoring device

Country Status (1)

Country Link
JP (1) JP4699054B2 (en)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521347A (en) * 2007-03-05 2010-06-24 ザ・ボーイング・カンパニー Electrically dimmable combiner for head-up displays
US7898434B2 (en) 2007-06-15 2011-03-01 Denso Corporation Display system and program
JP4909451B1 (en) * 2011-03-28 2012-04-04 パイオニア株式会社 Information display apparatus and control method
JP2012068481A (en) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd Augmented reality expression system and method
JP2012239550A (en) * 2011-05-17 2012-12-10 Fujitsu Ltd Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection
TWI398371B (en) * 2008-06-06 2013-06-11 Hon Hai Prec Ind Co Ltd Rearview system and vehicle same
JP5661788B2 (en) * 2010-10-04 2015-01-28 パナソニックIpマネジメント株式会社 Transmission display device, moving body, and control device
KR101728964B1 (en) * 2015-10-27 2017-04-20 엘지전자 주식회사 Display Apparatus
JP2017094983A (en) * 2015-11-26 2017-06-01 アルパイン株式会社 Video display system
WO2017130439A1 (en) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 Vehicular image display system and vehicle having same image display system mounted therein
WO2018198868A1 (en) * 2017-04-27 2018-11-01 パナソニックIpマネジメント株式会社 Screen system, display system, method for controlling screen system, program, storage medium, and moving body equipped with display system
WO2019049709A1 (en) * 2017-09-07 2019-03-14 ソニー株式会社 Image processing device, image processing method, and image display system
CN109884793A (en) * 2017-12-06 2019-06-14 三星电子株式会社 Method and apparatus for estimating the parameter of virtual screen
JP2019135816A (en) * 2018-02-05 2019-08-15 アルパイン株式会社 Display control device, display control method, and camera monitoring system
KR101993447B1 (en) * 2018-03-05 2019-09-30 (주)시정 Visibility meter for vehicles using artificial intelligence
JP2019182398A (en) * 2018-04-03 2019-10-24 矢崎総業株式会社 Cabin display system
KR20200019801A (en) * 2018-08-14 2020-02-25 대진대학교 산학협력단 System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform
JP2020087050A (en) * 2018-11-27 2020-06-04 ソニー株式会社 Display control device, display control method, and display control program
CN111781727A (en) * 2020-07-08 2020-10-16 杜加价 Vehicle head blind area perspective virtual display device and method based on convex lens/concave mirror
US11046183B2 (en) 2018-04-03 2021-06-29 Yazaki Corporation Vehicle interior display system
US20210300247A1 (en) * 2020-03-27 2021-09-30 Panasonic Intellectual Property Management Co., Ltd. Display device and control circuit
EP3964395A1 (en) * 2020-09-04 2022-03-09 Volvo Truck Corporation A method and system for adapting to a vehicle configuration an image displayed on a monitor, and vehicle using such system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000272417A (en) * 1999-03-24 2000-10-03 Sony Corp Rear monitoring device for vehicle
JP2004114709A (en) * 2002-09-20 2004-04-15 Equos Research Co Ltd On-vehicular image display device
JP2004312523A (en) * 2003-04-09 2004-11-04 Equos Research Co Ltd On-vehicle image processor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000272417A (en) * 1999-03-24 2000-10-03 Sony Corp Rear monitoring device for vehicle
JP2004114709A (en) * 2002-09-20 2004-04-15 Equos Research Co Ltd On-vehicular image display device
JP2004312523A (en) * 2003-04-09 2004-11-04 Equos Research Co Ltd On-vehicle image processor

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010521347A (en) * 2007-03-05 2010-06-24 ザ・ボーイング・カンパニー Electrically dimmable combiner for head-up displays
US7898434B2 (en) 2007-06-15 2011-03-01 Denso Corporation Display system and program
TWI398371B (en) * 2008-06-06 2013-06-11 Hon Hai Prec Ind Co Ltd Rearview system and vehicle same
JP2012068481A (en) * 2010-09-24 2012-04-05 Asia Air Survey Co Ltd Augmented reality expression system and method
JP5661788B2 (en) * 2010-10-04 2015-01-28 パナソニックIpマネジメント株式会社 Transmission display device, moving body, and control device
JP4909451B1 (en) * 2011-03-28 2012-04-04 パイオニア株式会社 Information display apparatus and control method
JP2012239550A (en) * 2011-05-17 2012-12-10 Fujitsu Ltd Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection
KR101728964B1 (en) * 2015-10-27 2017-04-20 엘지전자 주식회사 Display Apparatus
JP2017094983A (en) * 2015-11-26 2017-06-01 アルパイン株式会社 Video display system
WO2017130439A1 (en) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 Vehicular image display system and vehicle having same image display system mounted therein
WO2018198868A1 (en) * 2017-04-27 2018-11-01 パナソニックIpマネジメント株式会社 Screen system, display system, method for controlling screen system, program, storage medium, and moving body equipped with display system
WO2019049709A1 (en) * 2017-09-07 2019-03-14 ソニー株式会社 Image processing device, image processing method, and image display system
US11004226B2 (en) 2017-09-07 2021-05-11 Sony Corporation Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift
CN109884793A (en) * 2017-12-06 2019-06-14 三星电子株式会社 Method and apparatus for estimating the parameter of virtual screen
JP2019135816A (en) * 2018-02-05 2019-08-15 アルパイン株式会社 Display control device, display control method, and camera monitoring system
JP7076896B2 (en) 2018-02-05 2022-05-30 アルパイン株式会社 Display control device, display control method and camera monitoring system
KR101993447B1 (en) * 2018-03-05 2019-09-30 (주)시정 Visibility meter for vehicles using artificial intelligence
US11046183B2 (en) 2018-04-03 2021-06-29 Yazaki Corporation Vehicle interior display system
JP2019182398A (en) * 2018-04-03 2019-10-24 矢崎総業株式会社 Cabin display system
KR102132532B1 (en) * 2018-08-14 2020-07-10 대진대학교 산학협력단 System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform
KR20200019801A (en) * 2018-08-14 2020-02-25 대진대학교 산학협력단 System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform
JP2020087050A (en) * 2018-11-27 2020-06-04 ソニー株式会社 Display control device, display control method, and display control program
JP7338146B2 (en) 2018-11-27 2023-09-05 ソニーグループ株式会社 Display control device, display control method and display control program
US20210300247A1 (en) * 2020-03-27 2021-09-30 Panasonic Intellectual Property Management Co., Ltd. Display device and control circuit
JP2021154930A (en) * 2020-03-27 2021-10-07 パナソニックIpマネジメント株式会社 Display device and control circuit
JP7411889B2 (en) 2020-03-27 2024-01-12 パナソニックIpマネジメント株式会社 Display device and control circuit
US11945369B2 (en) 2020-03-27 2024-04-02 Panasonic Intellectual Property Management Co., Ltd. Display device and control circuit
CN111781727A (en) * 2020-07-08 2020-10-16 杜加价 Vehicle head blind area perspective virtual display device and method based on convex lens/concave mirror
EP3964395A1 (en) * 2020-09-04 2022-03-09 Volvo Truck Corporation A method and system for adapting to a vehicle configuration an image displayed on a monitor, and vehicle using such system

Also Published As

Publication number Publication date
JP4699054B2 (en) 2011-06-08

Similar Documents

Publication Publication Date Title
JP4699054B2 (en) Vehicle perimeter monitoring device
CN107444263B (en) Display device for vehicle
CN108621944B (en) Vehicle vision recognition device
JP6470335B2 (en) Vehicle display system and method for controlling vehicle display system
JP4780385B2 (en) Perimeter monitoring system
US10029621B2 (en) Rear view camera system using rear view mirror location
JP4941760B2 (en) Vehicle periphery monitoring device
JP6877311B2 (en) Vehicle driving support system
US7379089B2 (en) Apparatus and method for monitoring the immediate surroundings of a vehicle
CN107298050B (en) Image display device
WO2010137684A1 (en) Image generation device and image display system
CN108621938A (en) Observation device for vehicle
JP5093611B2 (en) Vehicle periphery confirmation device
JP2003081014A (en) Vehicle periphery monitoring device
JP2015027852A (en) Driving support equipment
JP2010130646A (en) Vehicle periphery checking system
JP2014229997A (en) Display device for vehicle
JP2017147505A (en) Ambient image display device for vehicle
JP6361988B2 (en) Vehicle display device
WO2018159017A1 (en) Vehicle display control device, vehicle display system, vehicle display control method and program
JP4849333B2 (en) Visual aids for vehicles
JP2007290570A (en) Vehicular display device
WO2019039347A1 (en) Vehicle visual confirmation device
JP5724470B2 (en) Vehicle visibility assist device
JP4720979B2 (en) Vehicle monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110302

R150 Certificate of patent or registration of utility model

Ref document number: 4699054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees