JP2006248384A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2006248384A JP2006248384A JP2005067873A JP2005067873A JP2006248384A JP 2006248384 A JP2006248384 A JP 2006248384A JP 2005067873 A JP2005067873 A JP 2005067873A JP 2005067873 A JP2005067873 A JP 2005067873A JP 2006248384 A JP2006248384 A JP 2006248384A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- virtual image
- reflectance
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 18
- 239000011521 glass Substances 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 abstract description 11
- 210000001508 eye Anatomy 0.000 description 9
- 238000000034 method Methods 0.000 description 9
- 238000002310 reflectometry Methods 0.000 description 8
- 239000004973 liquid crystal related substance Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 238000002834 transmittance Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両周囲監視装置に関し、詳細には、車両の死角領域の監視の改良に関する。 The present invention relates to a vehicle surrounding monitoring apparatus, and more particularly to an improvement in monitoring a blind spot area of a vehicle.
車両の運転者等、乗員席に着座した乗員が車外を見たとき、車体などの車両構造物やミラー等の装備部品によって、いわゆる死角領域が生じ、それらの背後の状況を直接視認することができない。 When an occupant seated in an occupant's seat such as a driver of a vehicle looks outside the vehicle, a so-called blind spot area is generated by a vehicle structure such as a vehicle body or an equipment part such as a mirror, and the situation behind them can be directly visually recognized. Can not.
近年、カメラの小型化やモニタの装備の普及に伴い、これら死角領域の景色をカメラで撮像し、得られた景色をモニタに表示することにより、運転者等に、死角領域の景色を視認させるようにしたバックモニタ装置等の車両周囲監視装置が実用化されている。 In recent years, with the miniaturization of cameras and the spread of monitor equipment, images of these blind spot areas are captured by the camera, and the obtained scenery is displayed on the monitor, so that the driver can visually recognize the scenery of the blind spot area. Vehicle surrounding monitoring devices such as the back monitor device as described above have been put into practical use.
このような実用化されている監視装置としては、カメラの視点でとらえた映像を、車室内に固定されたモニタにそのまま表示するものが一般的である。 As such a practically used monitoring apparatus, an apparatus that displays an image captured from the viewpoint of a camera as it is on a monitor fixed in the passenger compartment is generally used.
しかし、例えば車庫入れ操車のためにバック走行する際、運転者はリヤウインドシールドガラスを通して後方を眺めながら操舵等するため、インストルメントパネル等に固定されたモニタに映像を表示しても、後方とモニタとを交互に見比べなければならず、使い勝手の向上が望まれる。 However, for example, when driving backwards for garage handling, the driver steers while looking at the back through the rear windshield glass, so even if an image is displayed on a monitor fixed to the instrument panel etc. It is necessary to compare with the monitor alternately, and improvement in usability is desired.
そこで、運転者による変速機のリバース段へのシフト操作を検知して、リヤウインドシールドガラスの反射率を高め、このリヤウインドシールドガラスに、バックカメラで撮像された景色の映像を、プロジェクタ装置によって投影することにより、後方を向いた運転者に、そのままの姿勢で、リヤウインドシールドガラスを透過した肉眼による直接像とリヤウインドシールドガラスに投影されたカメラによる映像(反射像)とを、同時に視認可能とさせたバックモニタ装置が提案されており、視線の移動を防止している(特許文献1)。 Therefore, by detecting the shift operation of the transmission to the reverse stage by the driver, the reflectance of the rear windshield glass is increased, and the image of the scenery captured by the back camera is projected on the rear windshield glass by the projector device. By projecting, the driver who is facing backwards can simultaneously view the direct image with the naked eye that has passed through the rear windshield glass and the image projected by the camera (reflected image) projected on the rear windshield glass. A back monitor device that has been made possible has been proposed to prevent movement of the line of sight (Patent Document 1).
また、フェンダーミラー、ドアミラー等の車両側方および車両側部の後方を視認するためのサイドミラーや、車両後方を視認するためのバックミラー、あるいは車両後部の下方を視認するためのリヤアンダーミラーなど、各種反射鏡による間接視認範囲を拡大すべく、車両側部後方や車両後方をカメラによって撮像し、このカメラで得られた像を、反射鏡の輪郭よりも外側部分にホログラムとして、フロントウインドシールドガラスやサイドガラス、あるいはリヤウインドシールドガラス等の各反射鏡に近接するガラスに投影するようにした車両用表示装置が提案されている(特許文献2)。 Also, side mirrors for viewing the side of the vehicle and the rear side of the vehicle, such as fender mirrors and door mirrors, a rearview mirror for viewing the rear of the vehicle, a rear under mirror for viewing the rear of the vehicle, etc. In order to enlarge the indirect viewing range by various reflectors, the rear side of the vehicle and the rear side of the vehicle are imaged by a camera, and the image obtained by this camera is used as a hologram outside the outline of the reflector to create a front windshield. There has been proposed a vehicle display device that projects onto glass adjacent to each reflector such as glass, side glass, or rear windshield glass (Patent Document 2).
なお、特許文献2により提案されている技術は、ホログラム像を、運転者の視点による像となるように、視点変換処理を施して、反射鏡による反射像との連続性を確保し、視線の移動を防止している。
しかし、特許文献1による技術は、カメラ視点による映像をそのままリヤウインドシールドガラスに投影するため、透過した肉眼視の直接像との対応がとりにくく、瞬時の判断に遅れを生じて、操車を誤る虞がある。 However, since the technique according to Patent Document 1 projects the image from the camera viewpoint directly onto the rear windshield glass, it is difficult to correspond to the transmitted direct image directly to the naked eye, resulting in a delay in instantaneous judgment and erroneous vehicle operation. There is a fear.
また、特許文献2による技術は、反射鏡による視認範囲(反射像の大きさ)を、反射鏡のサイズを大きくすることなく拡大するものであり、反射鏡のサイズを大きくすることの弊害、すなわち反射鏡のサイズ拡大による死角領域の拡大を防止したものではあるが、反射鏡自体の背後に生じている死角領域を解消するものではない。 Further, the technique according to Patent Document 2 expands the visible range (the size of the reflected image) by the reflecting mirror without increasing the size of the reflecting mirror, that is, the adverse effect of increasing the size of the reflecting mirror, that is, Although the enlargement of the blind spot area due to the enlargement of the size of the reflector is prevented, it does not eliminate the blind spot area generated behind the reflector itself.
しかも、反射鏡の外側空間からは、その外側範囲まで反射鏡が存在したと仮定すれば見えるであろうホログラム像(反射像)に加えて、肉眼視による直接像も視認されるため、直接像と反射像とが重畳することとなり、運転者には不自然な景色と認識される虞がある。特に走行中は、直接像は近づいてくるように流れるのに対して、反射像(ホログラム像)は遠ざかるように流れるため、これら両像が重畳すると、景色の認識に混乱を生じる虞もある。 In addition to the hologram image (reflected image) that can be seen from the outer space of the reflecting mirror to the outer area, a direct image by the naked eye is also visually recognized. And the reflected image are superimposed on each other, and the driver may be recognized as an unnatural scenery. In particular, while traveling, the direct image flows so as to approach, whereas the reflected image (hologram image) flows away from each other. If these two images overlap, there is a possibility that the recognition of the scenery may be confused.
本発明は上記事情に鑑みなされたものであって、大きな視線移動を行うことなく、かつ違和感なく、死角領域の景色を視認することができる車両周囲監視装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle periphery monitoring device that can visually recognize the scenery of the blind spot area without performing a large line-of-sight movement and without a sense of incongruity.
本発明に係る車両周囲監視装置は、カメラで撮像された死角領域の景色の像が、乗員の視点から見た景色の像となるように、当該撮像された像に対して画像処理(視点変換処理)を施し、かつ、ウインドウを通して乗員の肉眼で直接視されている直接像と当該画像処理された像との位置関係を対応させて、その直接像を透過させているウインドウガラスに、画像処理された像を投影することで、乗員には、あたかも半透明の車体を透かして死角領域の景色を視認させるようにしたものである。 The vehicle periphery monitoring device according to the present invention performs image processing (viewpoint conversion) on the captured image so that the blind spot image captured by the camera becomes a landscape image viewed from the occupant's viewpoint. Image processing is performed on the window glass that transmits the direct image in correspondence with the positional relationship between the direct image directly viewed with the occupant's naked eye through the window and the image processed image. By projecting the image, the occupant is allowed to visually recognize the scenery of the blind spot area through the translucent vehicle body.
すなわち、本発明に係る車両周囲監視装置は、車両の死角領域の景色を撮像する少なくとも1つの撮像手段と、前記撮像手段によって得られた前記死角領域の景色の像を、前記車両の乗員の視点に相当する位置からの仮想像に変換処理する画像処理手段と、前記仮想像を、前記想定される位置から、前記乗員により視認されると想定される直接像に重畳させるように表示する表示手段とを備えたことを特徴とする。 That is, the vehicle periphery monitoring device according to the present invention provides at least one imaging unit that captures a landscape of a blind spot area of a vehicle, and an image of the landscape of the blind spot area obtained by the imaging unit, from the viewpoint of a passenger of the vehicle. And a display means for displaying the virtual image so as to be superimposed on a direct image assumed to be visually recognized by the occupant from the assumed position. It is characterized by comprising.
ここで、撮像手段が撮像する死角領域の景色は、死角領域全域に亘るものでなくてもよく、少なくとも死角領域の景色のうちの一部であってもよい。 Here, the scenery of the blind spot area captured by the imaging unit may not be the entire blind spot area, and may be at least a part of the scenery of the blind spot area.
また、仮想像とは、死角領域を生じさせる車体や車体付属部品を除去したと仮定したときに、あるいはそれら車体等が透明であると仮定したときに、当該位置から乗員によって視認されると想定される景色の像である。 The virtual image is assumed to be visually recognized by the occupant from that position when it is assumed that the vehicle body and the vehicle body accessories that cause the blind spot area are removed, or when the vehicle body is assumed to be transparent. It is a statue of the scenery to be done.
このように構成された車両周囲監視装置によれば、撮像手段によって得られた死角領域の景色の像が、画像処理手段によって、乗員の視点からの仮想像に変換処理され、この仮想像が、表示手段によって、乗員の肉眼により視認されると想定される直接像に重畳して表示される。 According to the vehicle periphery monitoring apparatus configured as described above, the image of the blind spot area obtained by the imaging unit is converted into a virtual image from the viewpoint of the passenger by the image processing unit. The display means displays the image superimposed on a direct image assumed to be visually recognized by the occupant's naked eye.
本発明に係る車両周囲監視装置によれば、乗員は、実際に視認される直接像に仮想像が重畳された像を視認することになるが、仮想像は、乗員の視点からの像として形成されたものであるから、仮想像と直接像との位置関係は略完全に一致しており、これにより、乗員は、死角領域を生じさせている車体等を直接像として知覚しつつ、この車体等を透過させた死角領域の景色の像を仮想像として同時に見ているように知覚し、あたかも半透明の車体等を通して、本来は見えない死角領域の景色を視認しているように認識させることができる。 According to the vehicle periphery monitoring apparatus according to the present invention, the occupant visually recognizes an image in which a virtual image is superimposed on a direct image that is actually visually recognized, but the virtual image is formed as an image from the viewpoint of the occupant. Therefore, the positional relationship between the virtual image and the direct image is almost completely the same, so that the occupant can perceive the vehicle body or the like causing the blind spot area as a direct image while Perceived as if the scenery image of the blind spot area that has been transmitted through is visible as a virtual image at the same time, and through a semi-transparent car body, etc. Can do.
したがって、死角領域の景色の像と肉眼視による直接像とが、略完全に位置関係が対応付けられた合成像として、乗員に知覚させることができ、使い勝手の優れたものとなる。 Therefore, the occupant can perceive the scenery image of the blind spot area and the direct image by the naked eye as a composite image in which the positional relationship is substantially completely associated with each other, which is excellent in usability.
以下、本発明に係る車両周囲監視装置の最良の実施形態について、図面を参照して説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, a preferred embodiment of a vehicle periphery monitoring device according to the invention will be described with reference to the drawings.
図1は本発明の一実施形態に係る車両周囲監視装置100のシステム構成を表すブロック図、図2は図1に示した車両周囲監視装置100が搭載された車両200の運転席に着座したドライバの視点に相当する位置210から、フロントウインドウガラス(以下、単にフロントガラスという。)90を介して車両200の前方を見たときの視野範囲中の肉眼視による視認領域Z1と車体201によって視野が妨げられる死角領域Z2とを模式的に表した図、図3は図2の状態において運転者が、フロントガラス90を介して車両200の前方を見たときに視認される肉眼視による視認領域Z1に対応した直接像P1を模式的に表した模式図である。
FIG. 1 is a block diagram showing a system configuration of a vehicle
ここで、車両周囲監視装置100は、車両200の前端部近傍に設けられ、主として死角領域Z2の景色W2を撮像するように、前下方に向けられたCCD等の撮像素子からなるカメラ10と、カメラ10によって得られた死角領域Z2の景色W2の像P2を、車両200の乗員の視点に相当する位置210からの仮想像P2′に変換処理(視点変換処理)する画像処理装置20と、仮想像P2′を、想定される位置210から、乗員により視認されると想定される直接像P1に重畳させるように表示する表示手段としてのビデオプロジェクタ30およびスクリーン40とを備えた構成である。
Here, the vehicle
ここで、スクリーン40は、車両200が予め備えているフロントガラス90によって構成されている。
Here, the
カメラ10が撮像する死角領域Z2の景色W2の像P2は、死角領域Z2の全域に亘るものでなくてもよく、少なくとも死角領域Z2の景色W2のうちの一部のみに対応するものであってもよい。
The image P2 of the scenery W2 of the blind spot area Z2 captured by the
また、仮想像P2′は、死角領域Z2を生じさせる車体(ボンネットフード201等)や車体付属部品を除去したと仮定したときに、あるいはそれら車体等が透明であると仮定したときに、当該位置210から乗員によって視認されると想定される景色W2の像である。本実施形態においては、図2に示すように、乗員(ドライバ)の視点に対応した位置210では、ボンネット201によって、その背後の領域が死角領域Z2となる。
In addition, the virtual image P2 ′ is displayed at the position when it is assumed that the vehicle body (
また、フロントガラス90は、仮想像P2′が投影される下部領域の反射率が他の領域部分よりも大きくなるように設定されており、例えばハーフミラー91とされている。
Further, the
次に、本実施形態の車両周囲監視装置100の作用について説明する。
Next, the operation of the vehicle
まず、図2に示した車両200の配置状態において、この車両周囲監視装置100が搭載された車両200に乗車したドライバの視点に相当する位置210から、ドライバがフロントガラス90を通して車両前方を見たとき、その肉眼視によって視認される視認領域Z1より得られる景色W1の像(直接像)P1は、図3に示すようなものとなる。
First, in the arrangement state of the
ここで、フロントガラス90よりも前方に存在するボンネット201によって視認できない死角領域Z2には、図2に示すように障害物300が存在するが、直接像P1においては、その障害物300が全く現れないか、あるいはその上部がわずかに現れる程度である。なお、視認領域Z1に存在する他車400については直接像P1に現れており、十分に視認可能となっている。
Here, in the blind spot area Z2 that cannot be visually recognized by the
この状態で、カメラ10は、障害物300を含む死角領域Z2の景色W2を撮像し、この撮像された像P2は、画像処理装置20に送られ、画像処理装置20は、入力された像P2に対して視点変換処理を施し、仮想像P2′が得られる。
In this state, the
次いで、この仮想像P2′は、ビデオプロジェクタ30に送られ、ビデオプロジェクタ30は、入力された仮想像P2′を、位置210から乗員により視認されると想定される直接像P1に重畳させるように予め設定されたフロントガラス90の下部領域のハーフミラー91に投影する。
Next, the virtual image P2 ′ is sent to the
この結果、乗員の視点に相当する位置210から視認される景色は、図4に示すように、直接像P1に仮想像P2′が重畳された像となる。
As a result, the scenery viewed from the
ここで、仮想像P2′は、乗員の視点に相当する位置210からの像として形成されたものであるから、仮想像P2′と直接像P1との位置関係は略完全に一致しており、これにより、乗員は、死角領域Z2を生じさせているボンネット201を直接像P1として認識しつつ、このボンネット201を透過させた死角領域Z2の景色W2の像P2を仮想像P2′として同時見ているように知覚し、あたかも半透明のボンネット201を通して、本来は見えない死角領域Z2の景色W2を視認しているように認識させることができる。
Here, since the virtual image P2 ′ is formed as an image from the
このように、本実施形態の車両周囲監視装置100によれば、死角領域Z2の景色W2の像P2と肉眼視による直接像P1とが、略完全に位置関係が対応付けられた合成像として、ドライバに知覚させることができ、使い勝手の優れたものとなる。
As described above, according to the vehicle surrounding
また、表示手段として、車両200に既存のフロントガラス90を用いているため、表示用のスクリーン40を新たに備える必要がなく、構成部品の低減によって、製品コストを低減することができる。
Further, since the existing
さらに、フロントガラス90は、仮想像P2′が投影される領域部分がハーフミラー91とされて、反射率が他の領域部分よりも大きく設定されているため、ビデオプロジェクタ30によって投影される仮想像P2′を、反射像として乗員に明瞭に知覚させることにができる。
Furthermore, since the
なお、透過率が小さくなる(反射率が大きくなる)にしたがって、仮想像P2′の明瞭度合いは高くなるが、透過像である直接像P1の明瞭度合いは反対に低下するため、ハーフミラー91の透過率は、例えば50%であることが好ましい。 As the transmittance decreases (the reflectance increases), the clarity of the virtual image P2 ′ increases. However, the clarity of the direct image P1, which is a transmission image, decreases on the contrary. The transmittance is preferably 50%, for example.
次に、上述した視点変換処理について詳説する。 Next, the viewpoint conversion process described above will be described in detail.
視点変換処理は、上述したように、カメラ10の視点によって得られた像P2に対して、幾何学的な演算を施すことにより、想定されるドライバの視点に相当する位置210(仮想的なドライバの視点)から視認されるであろう像P2′に変換する処理であり、地面上の点Xwと任意視点のカメラ10における撮像平面上の点Xcとの対応は次式(1)で与えられる。
As described above, the viewpoint conversion processing performs geometric calculation on the image P2 obtained from the viewpoint of the
式(1)を用いて、車両に取り付けられたカメラ10の撮像面に相当する座標系上の点Xcとドライバ視点の像平面に相当する座標系上の点Xc′とは、Xwを介して対応付けられ、異なる視点間の画像変換を行うことができる。
Using equation (1), a point Xc on the coordinate system corresponding to the imaging surface of the
また、ドライバ視点の像平面とプロジェクタ30との対応、およびプロジェクタ30の投影スクリーンとなるフロントガラス90上の点(位置)との対応も、同様の幾何学演算により求めることができる。
Further, the correspondence between the image plane of the driver viewpoint and the
上述した実施形態は、フロントガラス90の下部領域に、反射率が他の領域部分よりも大きいハーフミラー91を形成したものであるが、そのように反射率が固定されたハーフミラーを用いるのに代えて、フロントガラス90のうち、仮想像P2′が投影される下部領域について、反射率が可変とされたものを適用することもできる。
In the above-described embodiment, the
反射率が可変とされたものとしては、例えば図5に示すように、液晶シャッタ92が埋め込まれたものを用いることができる。そのような液晶シャッタ92が埋め込まれたものは、電圧の印加により、液晶シャッタ92を透過する光量すなわち直接像P1の透過強度を変化させることができ、透過率を変化させることによって反射率を変化させる。
For example, as shown in FIG. 5, a liquid crystal shutter with a
なお、そのように下部領域の反射率が可変とされたフロントガラス90は、所定の条件に応じてその下部領域の反射率を変化させる制御を行う反射率制御ユニット50(反射率制御手段)をさらに備えている。
In addition, the
また、所定の条件としては、ドライバによって入力された指示内容(ON/OFFボタン60等に入力されたON指示の信号またはOFF指示の信号)であってもよいし、車両200に設けられた車速センサ70から得られる車速等であってもよい。
Further, the predetermined condition may be an instruction content (ON instruction signal or OFF instruction signal input to the ON /
ON/OFFボタン60等、ドライバによる指示の入力に応じたものとするときは、ドライバが所望とするときに、その入力を受けて、反射率制御ユニット50が、液晶シャッタ92を駆動制御して、反射率を高めて(使用状態)、あるいは反射率を低めて(不使用状態)、ドライバの意図を確実に反映させることができる。
When the ON /
一方、車速等に応じたものとするときは、車速センサ70や変速段検出センサ(図示せず)等による検出結果が反射率制御ユニット50に入力されて、例えば、右左折等の操舵時や、車庫入れ操車や縦列駐車操車等の車速が低いときは、自動的に反射率を高めることができるため、ドライバによる手動の指示入力が間に合わない状況等においても、自動的に使用状態に切り替えることができ、使い勝手をさらに向上させることができる。
On the other hand, when the vehicle speed is determined according to the vehicle speed or the like, the detection result by the
なお、所定の条件としては、その他に、昼であるか夜であるかなどの環境光の光量を条件とするものであってもよい。環境光の光量が大きいときは、環境光の光量が小さいときに比べて、反射像(仮想像)の視認性が低下するため、環境光の光量が大きいときは反射率を高め、環境光の光量が小さいときは反射率を小さくすればよい。 In addition, the predetermined condition may be the condition that the amount of ambient light such as whether it is daytime or nighttime. When the amount of ambient light is large, the visibility of the reflected image (virtual image) is lower than when the amount of ambient light is small. Therefore, when the amount of ambient light is large, the reflectance is increased, When the amount of light is small, the reflectance may be reduced.
また、反射率制御ユニット50は、液晶シャッタ92に対する反射率変化の制御と、ビデオプロジェクタ30による投影動作の制御とを、破線で示すように、連動させてもよい。
Further, the
上述した実施形態は、車両200に予め備えられているフロントガラス90を、プロジェクタ30によって仮想像P2′が投影される投影面(直接像P1との重畳(合成)面)としたものであるが、このような形態に限定されるものではない。
In the embodiment described above, the
すなわち、表示手段として、図6に示すように、直接像P1を透過させるとともに、仮想像P2′が投影されるように、フロントガラス90よりも反射率が高められたスクリーン42と、スクリーン42に仮想像P2′を投影するビデオプロジェクタ30とを備えたものとすることもできる。
That is, as shown in FIG. 6, the display means directly transmits the image P <b> 1, and projects a virtual image P <b> 2 ′ so that the reflectance is higher than that of the
このような実施形態の車両周囲監視装置によれば、ビデオプロジェクタ30によってスクリーン42に投影された仮想像P2′は、反射像としてドライバに視認されることになるが、反射像はその反射面(スクリーン42)の反射率が高いほど、ドライバに鮮明に視認させることができるところ、スクリーン42の反射率はフロントガラス90の反射率よりも高められているため、その仮想像P2′をより鮮明に視認させることができる。なお、反射率は、例えば50%であることが望ましい。
According to the vehicle surrounding monitoring apparatus of such an embodiment, the virtual image P2 ′ projected on the
また、上述したスクリーン42は、図6に示したように、フロントガラス90の手前部分に常に、使用状態で設置されているものでなくてもよく、例えば図7に示すように、仮想像P2′が投影される範囲に設置される使用位置(二点鎖線で示した起立位置)と仮想像P2′が投影される範囲外に退避した退避位置(実線で示した倒伏位置)との間で回動可能とされたものであり、さらに、所定の条件に応じてこのスクリーン42を使用位置または退避位置に移動させる制御を行う駆動制御ユニット51(駆動制御手段)を備えている。
Further, as shown in FIG. 6, the
所定の条件としては、ドライバによって入力された指示内容(ON/OFFボタン60等に入力されたON指示の信号またはOFF指示の信号)であってもよいし、車両200に予め設けられている車速センサ70等により検出された車速であってもよい。
The predetermined condition may be an instruction content (ON instruction signal or OFF instruction signal input to the ON /
ドライバによる指示の入力に応じたものとするときは、ドライバが所望とするときに、その入力を受けて、使用位置に移動され(使用状態)、あるいは退避位置に移動されて(不使用状態)、ドライバの意図を確実に反映させることができる。 In response to an instruction input by the driver, the driver receives the input when desired and is moved to the use position (use state) or moved to the retracted position (non-use state). The driver's intention can be surely reflected.
一方、車速等に応じたものとするときは、車速センサ70や変速段検出センサ(図示せず)等による検出結果が駆動制御ユニット51に入力されて、例えば、右左折等の操舵時や、車庫入れ操車や縦列駐車操車等の車速が低いときは、自動的に反射率を高めることができるため、ドライバによる手動の指示入力が間に合わない状況等においても、自動的に使用状態に切り替えることができ、使い勝手をさらに向上させることができる。
On the other hand, when it corresponds to the vehicle speed or the like, the detection result by the
なお、所定の条件としては、その他に、昼であるか夜であるかなどの環境光の光量を条件とするものであってもよい。 In addition, the predetermined condition may be the condition that the amount of ambient light such as whether it is daytime or nighttime.
また、駆動制御ユニット51は、液晶シャッタ92に対する反射率変化の制御と、ビデオプロジェクタ30による投影動作の制御とを、破線で示すように、連動させてもよい。
Further, the
上述した各実施形態は、いずれも、ドライバの視点に相当する位置210は予め設定されているものとして説明したが、ドライバの視点に相当する位置はドライバの個体差によって変動しうる。
In each of the above-described embodiments, the
それにも拘わらず、単一の位置210を常に基準として視点変換処理を行うとドライバの視点位置によっては、仮想像P2′と直接像P1とが精度よく重畳して知覚させることができない場合も起こりうる。
Nevertheless, if the viewpoint conversion process is always performed with the
そこで、図8に示す如く、仮想像P2′の形状を試行錯誤的に変化させるように、仮想像P2′の形状を規定する視点変換処理のパラメータを変化させるジョイスティック80(パラメータ調整手段)をさらに備え、画像処理ユニット20は、ジョイスティック80によって調整された後のパラメータに基づいて、仮想像P2′を形成するものとすればよい。
Therefore, as shown in FIG. 8, a joystick 80 (parameter adjusting means) that changes the parameters of the viewpoint conversion process that defines the shape of the virtual image P2 ′ so as to change the shape of the virtual image P2 ′ by trial and error is further provided. The
パラメータ調整手段としては、パラメータを変化させる信号を手動で入力するものであればよく、ジョイスティック80だけでなく、ボタンやつまみなどの他の入力インターフェースであってもよい。
The parameter adjusting means may be any means for manually inputting a signal for changing the parameter, and may be other input interfaces such as buttons and knobs as well as the
そして、ドライバは、ハーフミラー91に投影された仮想像P2′と直接像P1とを知覚しつつ、仮想像P2′が、直接像P1の死角領域Z2におけるドライバ視点相当位置210からの視点変換像となるように、ジョイスティック80により視点変換処理のパラメータを順次変化させて入力し、画像処理ユニット20が、そのパラメータに応じた形状の仮想像P2′を順次生成し、ハーフミラー91上に投影する。
Then, the driver perceives the virtual image P2 ′ projected on the
このように、仮想像P2′を直接像P1と重畳表示させて視認させつつ、仮想像P2′を試行錯誤的に変化させることにより、ドライバの視点位置に個体差があったとしても、各ドライバに適した仮想像P2′の最適な形状が求められる。 Thus, even if there is an individual difference in the viewpoint position of the driver, the virtual image P2 ′ can be visually recognized by being superimposed on the image P1, and the virtual image P2 ′ is changed by trial and error. The optimum shape of the virtual image P2 ′ suitable for the above is obtained.
上述した各実施形態は、車両200の前部におけるボンネット201による死角領域Z2を対象として説明したが、本発明の車両周囲監視装置100は、この車両200の前部の死角領域Z2のみを対象とするものではない。
Although each embodiment mentioned above was explained for the blind spot area Z2 by the
すなわち、例えば図9に示した車両周囲監視装置100′は、リヤハッチゲートのリヤウインドシールドガラス(以下、単にリヤガラスという。)93以外のゲート本体部によって形成される死角領域を対象としたものであってもよく、図1に示した車両周囲監視装置100と同様の構成、すなわち、車両200の後端部近傍に設けられ、主として死角領域の景色W3を撮像するように、後下方に向けられたCCD等の撮像素子からなるカメラ10′と、カメラ10′によって得られた死角領域の景色W3の像P3を、車両200の乗員の視点に相当する位置210からの仮想像P3′に変換処理(視点変換処理)する画像処理装置20′と、仮想像P3′を、想定される位置210から、ドライバにより視認されると想定される直接像R1に重畳させるように表示する表示手段としてのビデオプロジェクタ30′およびスクリーン40′とを備えた構成であるが、この構成の車両周囲監視装置100′も、図1に示した車両周囲監視装置100と同様の作用効果を発揮し、本発明に係る車両周囲監視装置の一実施形態とすることができる。
That is, for example, the vehicle surrounding
なお、図9に示した車両周囲監視装置100′についても、図5や図7に示した実施形態における反射率制御ユニット50や駆動制御ユニット51を適用して、反射率可変のスクリーンを実現する場合、反射率制御ユニット50や駆動制御ユニット51の駆動を開始するきっかけとして、ギヤ段の検出センサ(図示せず)を設け、リバースギヤにシフトチェンジされたことを検出したとき、反射率制御ユニット50がリヤガラス93の下部領域の反射率を高めて、死角領域の景色W3の像P3と肉眼視による直接像R1とが、略完全に位置関係が対応付けられた合成像として、ドライバに知覚させることができ、使い勝手の優れたものとなる。
9 also applies the
また、車両200の前方や後方における死角領域だけでなく、いわゆるAピラーと称されるフロント側から数えて1番目のピラーによって生じる死角領域について適用するものや、車体床面によって生じる死角領域について適用するものなども、本発明に係る車両周囲監視装置の実施形態とすることができる。
Moreover, not only the blind spot area in front and rear of the
上述した各実施形態の車両周囲監視装置100,100′は、ドライバの視点に相当する位置210が固定されているものとして説明したが、ドライバの視点は車両走行中変位するものであるから、動的にドライバの視点および視線を計測しても良く、そのような計測方法としては、例えば特開平6−323832号公報に開示されたもの(すなわち、画像入力手段において互いに位置を異ならせて設けられた複数の光源を個別に点灯して、眼球部を照明し、その反射像を撮像して複数の画像データを得、差分演算手段により2つの画像データの差分演算を行なった後、ずれ量計測手段により、反射像の位置ずれ量を計測し、角膜反射像抽出手段が所定値以下の位置ずれ量を有する反射像のペアを角膜反射像として抽出する。この角膜反射像の位置を用いて注目方向算出手段が、注目方向を算出する。差分演算によりペアの判別が容易となり、自由空間で眼鏡フレーム等の反射像が混入しても高精度に注目方向が算出できる。算出した注目方向によって、車両に情報伝達を行い、スイッチ操作などを行う。)を適用することができる。
Although the vehicle
10 カメラ
20 画像処理装置
30 ビデオプロジェクタ
90 フロントガラス
91 ハーフミラー
200 車両
P1 直接像(肉眼視によるガラス透過像)
P2′ 仮想像(カメラで撮像され、視点変換処理された像)
DESCRIPTION OF
P2 'virtual image (image captured by camera and processed for viewpoint conversion)
Claims (7)
所定の条件に応じて前記反射率を変化させる制御を行う反射率制御手段をさらに備えたことを特徴とする請求項2に記載の車両周囲監視装置。 The windshield glass is one in which the reflectance of the region portion on which the virtual image is projected is variable.
The vehicle surroundings monitoring device according to claim 2, further comprising reflectance control means for performing control to change the reflectance in accordance with a predetermined condition.
所定の条件に応じて前記スクリーンを前記使用位置または前記退避位置に移動させる制御を行う駆動制御手段をさらに備えたことを特徴とする請求項5に記載の車両周囲監視装置。 The screen is movable between a use position installed in a range where the virtual image is projected and a retreat position where the virtual image is retreated outside the range where the virtual image is projected,
6. The vehicle surrounding monitoring apparatus according to claim 5, further comprising drive control means for performing control to move the screen to the use position or the retreat position according to a predetermined condition.
前記画像処理手段は、前記パラメータ調整手段によって調整された後のパラメータに基づいて、前記仮想像を形成することを特徴とする請求項1から6のうちいずれか1項に記載の車両周囲監視装置。
In order to change the shape of the virtual image on a trial and error basis, it further comprises parameter adjustment means for changing a parameter of conversion processing that defines the shape of the virtual image,
7. The vehicle surrounding monitoring apparatus according to claim 1, wherein the image processing unit forms the virtual image based on a parameter after being adjusted by the parameter adjusting unit. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005067873A JP4699054B2 (en) | 2005-03-10 | 2005-03-10 | Vehicle perimeter monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005067873A JP4699054B2 (en) | 2005-03-10 | 2005-03-10 | Vehicle perimeter monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006248384A true JP2006248384A (en) | 2006-09-21 |
JP4699054B2 JP4699054B2 (en) | 2011-06-08 |
Family
ID=37089324
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005067873A Expired - Fee Related JP4699054B2 (en) | 2005-03-10 | 2005-03-10 | Vehicle perimeter monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4699054B2 (en) |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010521347A (en) * | 2007-03-05 | 2010-06-24 | ザ・ボーイング・カンパニー | Electrically dimmable combiner for head-up displays |
US7898434B2 (en) | 2007-06-15 | 2011-03-01 | Denso Corporation | Display system and program |
JP4909451B1 (en) * | 2011-03-28 | 2012-04-04 | パイオニア株式会社 | Information display apparatus and control method |
JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
JP2012239550A (en) * | 2011-05-17 | 2012-12-10 | Fujitsu Ltd | Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection |
TWI398371B (en) * | 2008-06-06 | 2013-06-11 | Hon Hai Prec Ind Co Ltd | Rearview system and vehicle same |
JP5661788B2 (en) * | 2010-10-04 | 2015-01-28 | パナソニックIpマネジメント株式会社 | Transmission display device, moving body, and control device |
KR101728964B1 (en) * | 2015-10-27 | 2017-04-20 | 엘지전자 주식회사 | Display Apparatus |
JP2017094983A (en) * | 2015-11-26 | 2017-06-01 | アルパイン株式会社 | Video display system |
WO2017130439A1 (en) * | 2016-01-28 | 2017-08-03 | 鴻海精密工業股▲ふん▼有限公司 | Vehicular image display system and vehicle having same image display system mounted therein |
WO2018198868A1 (en) * | 2017-04-27 | 2018-11-01 | パナソニックIpマネジメント株式会社 | Screen system, display system, method for controlling screen system, program, storage medium, and moving body equipped with display system |
WO2019049709A1 (en) * | 2017-09-07 | 2019-03-14 | ソニー株式会社 | Image processing device, image processing method, and image display system |
CN109884793A (en) * | 2017-12-06 | 2019-06-14 | 三星电子株式会社 | Method and apparatus for estimating the parameter of virtual screen |
JP2019135816A (en) * | 2018-02-05 | 2019-08-15 | アルパイン株式会社 | Display control device, display control method, and camera monitoring system |
KR101993447B1 (en) * | 2018-03-05 | 2019-09-30 | (주)시정 | Visibility meter for vehicles using artificial intelligence |
JP2019182398A (en) * | 2018-04-03 | 2019-10-24 | 矢崎総業株式会社 | Cabin display system |
KR20200019801A (en) * | 2018-08-14 | 2020-02-25 | 대진대학교 산학협력단 | System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform |
JP2020087050A (en) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | Display control device, display control method, and display control program |
CN111781727A (en) * | 2020-07-08 | 2020-10-16 | 杜加价 | Vehicle head blind area perspective virtual display device and method based on convex lens/concave mirror |
US11046183B2 (en) | 2018-04-03 | 2021-06-29 | Yazaki Corporation | Vehicle interior display system |
US20210300247A1 (en) * | 2020-03-27 | 2021-09-30 | Panasonic Intellectual Property Management Co., Ltd. | Display device and control circuit |
EP3964395A1 (en) * | 2020-09-04 | 2022-03-09 | Volvo Truck Corporation | A method and system for adapting to a vehicle configuration an image displayed on a monitor, and vehicle using such system |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000272417A (en) * | 1999-03-24 | 2000-10-03 | Sony Corp | Rear monitoring device for vehicle |
JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
JP2004312523A (en) * | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
-
2005
- 2005-03-10 JP JP2005067873A patent/JP4699054B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000272417A (en) * | 1999-03-24 | 2000-10-03 | Sony Corp | Rear monitoring device for vehicle |
JP2004114709A (en) * | 2002-09-20 | 2004-04-15 | Equos Research Co Ltd | On-vehicular image display device |
JP2004312523A (en) * | 2003-04-09 | 2004-11-04 | Equos Research Co Ltd | On-vehicle image processor |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010521347A (en) * | 2007-03-05 | 2010-06-24 | ザ・ボーイング・カンパニー | Electrically dimmable combiner for head-up displays |
US7898434B2 (en) | 2007-06-15 | 2011-03-01 | Denso Corporation | Display system and program |
TWI398371B (en) * | 2008-06-06 | 2013-06-11 | Hon Hai Prec Ind Co Ltd | Rearview system and vehicle same |
JP2012068481A (en) * | 2010-09-24 | 2012-04-05 | Asia Air Survey Co Ltd | Augmented reality expression system and method |
JP5661788B2 (en) * | 2010-10-04 | 2015-01-28 | パナソニックIpマネジメント株式会社 | Transmission display device, moving body, and control device |
JP4909451B1 (en) * | 2011-03-28 | 2012-04-04 | パイオニア株式会社 | Information display apparatus and control method |
JP2012239550A (en) * | 2011-05-17 | 2012-12-10 | Fujitsu Ltd | Corneal reflection determining program, corneal reflection determining device, and method for determining corneal reflection |
KR101728964B1 (en) * | 2015-10-27 | 2017-04-20 | 엘지전자 주식회사 | Display Apparatus |
JP2017094983A (en) * | 2015-11-26 | 2017-06-01 | アルパイン株式会社 | Video display system |
WO2017130439A1 (en) * | 2016-01-28 | 2017-08-03 | 鴻海精密工業股▲ふん▼有限公司 | Vehicular image display system and vehicle having same image display system mounted therein |
WO2018198868A1 (en) * | 2017-04-27 | 2018-11-01 | パナソニックIpマネジメント株式会社 | Screen system, display system, method for controlling screen system, program, storage medium, and moving body equipped with display system |
WO2019049709A1 (en) * | 2017-09-07 | 2019-03-14 | ソニー株式会社 | Image processing device, image processing method, and image display system |
US11004226B2 (en) | 2017-09-07 | 2021-05-11 | Sony Corporation | Image processing device, image processing method, and image display system for grasping a distance from an obstacle with a smaller visual line shift |
CN109884793A (en) * | 2017-12-06 | 2019-06-14 | 三星电子株式会社 | Method and apparatus for estimating the parameter of virtual screen |
JP2019135816A (en) * | 2018-02-05 | 2019-08-15 | アルパイン株式会社 | Display control device, display control method, and camera monitoring system |
JP7076896B2 (en) | 2018-02-05 | 2022-05-30 | アルパイン株式会社 | Display control device, display control method and camera monitoring system |
KR101993447B1 (en) * | 2018-03-05 | 2019-09-30 | (주)시정 | Visibility meter for vehicles using artificial intelligence |
US11046183B2 (en) | 2018-04-03 | 2021-06-29 | Yazaki Corporation | Vehicle interior display system |
JP2019182398A (en) * | 2018-04-03 | 2019-10-24 | 矢崎総業株式会社 | Cabin display system |
KR102132532B1 (en) * | 2018-08-14 | 2020-07-10 | 대진대학교 산학협력단 | System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform |
KR20200019801A (en) * | 2018-08-14 | 2020-02-25 | 대진대학교 산학협력단 | System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform |
JP2020087050A (en) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | Display control device, display control method, and display control program |
JP7338146B2 (en) | 2018-11-27 | 2023-09-05 | ソニーグループ株式会社 | Display control device, display control method and display control program |
US20210300247A1 (en) * | 2020-03-27 | 2021-09-30 | Panasonic Intellectual Property Management Co., Ltd. | Display device and control circuit |
JP2021154930A (en) * | 2020-03-27 | 2021-10-07 | パナソニックIpマネジメント株式会社 | Display device and control circuit |
JP7411889B2 (en) | 2020-03-27 | 2024-01-12 | パナソニックIpマネジメント株式会社 | Display device and control circuit |
US11945369B2 (en) | 2020-03-27 | 2024-04-02 | Panasonic Intellectual Property Management Co., Ltd. | Display device and control circuit |
CN111781727A (en) * | 2020-07-08 | 2020-10-16 | 杜加价 | Vehicle head blind area perspective virtual display device and method based on convex lens/concave mirror |
EP3964395A1 (en) * | 2020-09-04 | 2022-03-09 | Volvo Truck Corporation | A method and system for adapting to a vehicle configuration an image displayed on a monitor, and vehicle using such system |
Also Published As
Publication number | Publication date |
---|---|
JP4699054B2 (en) | 2011-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4699054B2 (en) | Vehicle perimeter monitoring device | |
CN107444263B (en) | Display device for vehicle | |
CN108621944B (en) | Vehicle vision recognition device | |
JP6470335B2 (en) | Vehicle display system and method for controlling vehicle display system | |
JP4780385B2 (en) | Perimeter monitoring system | |
US10029621B2 (en) | Rear view camera system using rear view mirror location | |
JP4941760B2 (en) | Vehicle periphery monitoring device | |
JP6877311B2 (en) | Vehicle driving support system | |
US7379089B2 (en) | Apparatus and method for monitoring the immediate surroundings of a vehicle | |
CN107298050B (en) | Image display device | |
WO2010137684A1 (en) | Image generation device and image display system | |
CN108621938A (en) | Observation device for vehicle | |
JP5093611B2 (en) | Vehicle periphery confirmation device | |
JP2003081014A (en) | Vehicle periphery monitoring device | |
JP2015027852A (en) | Driving support equipment | |
JP2010130646A (en) | Vehicle periphery checking system | |
JP2014229997A (en) | Display device for vehicle | |
JP2017147505A (en) | Ambient image display device for vehicle | |
JP6361988B2 (en) | Vehicle display device | |
WO2018159017A1 (en) | Vehicle display control device, vehicle display system, vehicle display control method and program | |
JP4849333B2 (en) | Visual aids for vehicles | |
JP2007290570A (en) | Vehicular display device | |
WO2019039347A1 (en) | Vehicle visual confirmation device | |
JP5724470B2 (en) | Vehicle visibility assist device | |
JP4720979B2 (en) | Vehicle monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100820 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110302 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4699054 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |