JP2014177143A - Driving support device for vehicle - Google Patents
Driving support device for vehicle Download PDFInfo
- Publication number
- JP2014177143A JP2014177143A JP2013050711A JP2013050711A JP2014177143A JP 2014177143 A JP2014177143 A JP 2014177143A JP 2013050711 A JP2013050711 A JP 2013050711A JP 2013050711 A JP2013050711 A JP 2013050711A JP 2014177143 A JP2014177143 A JP 2014177143A
- Authority
- JP
- Japan
- Prior art keywords
- blind spot
- viewpoint
- driver
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
この発明は、車両のAピラー部に取り付けた表示ディスプレイに、Aピラーによって死角となる領域の映像を表示する機能を備えた車両用運転支援装置に関するものである。 The present invention relates to a vehicle driving support device having a function of displaying an image of a blind spot area by an A pillar on a display attached to an A pillar portion of a vehicle.
従来の車両用運転支援装置においては、例えば、特許文献1に開示されているように、ドライバー視点位置の3次元情報を取得可能な視点検知カメラを用いて、死角撮影カメラで撮影した画像におけるドライバーの死角領域を判別・抽出し、Aピラーに設置したディスプレイに表示する構成にしている。 In a conventional vehicle driving support device, for example, as disclosed in Patent Document 1, a driver in an image photographed by a blind spot photographing camera using a viewpoint detection camera capable of acquiring three-dimensional information of the driver viewpoint position. The blind spot area is discriminated / extracted and displayed on a display installed on the A pillar.
また、例えば、特許文献2に開示されているように、死角撮影カメラとディスプレイとの位置関係に基づき、ズレの少ない死角映像をディスプレイに表示するために、死角領域画像の切り出し、ディスプレイの向きおよびドライバーの視線方向に応じた画像の変形などの処理を行う構成にしている。 In addition, for example, as disclosed in Patent Document 2, in order to display a blind spot image with little deviation on the display based on the positional relationship between the blind spot photographing camera and the display, the blind spot area image is cut out, the orientation of the display and It is configured to perform processing such as image deformation according to the line-of-sight direction of the driver.
従来技術においては、死角領域以外の景色とディスプレイに表示する死角映像との見え方のずれを少なくするためには、ドライバー視点と死角撮影カメラの位置関係に基づいた、死角領域の切り出しや加工が必要であった。しかし、この過程で解像度の低下や画質の劣化が起こるという課題があった。 In the prior art, in order to reduce the deviation of the view between the scenery other than the blind spot area and the blind spot image displayed on the display, the blind spot area is cut out and processed based on the positional relationship between the driver viewpoint and the blind spot photographing camera. It was necessary. However, there is a problem that resolution and image quality deteriorate in this process.
この発明は、上記のような課題を解決するためになされたものであり、解像度や画質の高い死角映像を表示する装置を得ることを目的としている。 The present invention has been made to solve the above-described problems, and an object of the present invention is to obtain a device that displays a blind spot image with high resolution and image quality.
この発明に係る車両用運転支援装置は、死角映像を表示する表示ディスプレイと、前記表示ディスプレイの平面の法線方向に対して平行かつ逆向きに取り付けられ、前記死角映像を撮影する死角撮影カメラと、ドライバーの視点の位置および前記ドライバーの視点の位置への前記ドライバーの視点の方向を検知する視点検知装置とが一体的に固定され、自装置の姿勢を変更させる姿勢駆動部を介して車両のAピラー部に取り付けられ、前記表示ディスプレイと前記死角撮影カメラと前記姿勢駆動部を制御する制御部を有する車両用運転支援装置であって、前記制御部は、あらかじめ記憶しているドライバーの視点の基準方向と、前記視点検知装置が検知した前記ドライバーの視点の方向との角度差に基づき、自装置の姿勢を変更する角度を決定する駆動量決定部と、前記姿勢駆動部に、前記駆動量決定部が決定した角度だけ自装置の姿勢を変更させる駆動制御部とを備えたことを特徴とするものである。 A vehicle driving support apparatus according to the present invention includes a display that displays a blind spot image, and a blind spot camera that is mounted in parallel and opposite to the normal direction of the plane of the display display and captures the blind spot image. A viewpoint detection device that detects the position of the driver's viewpoint and the direction of the driver's viewpoint relative to the position of the driver's viewpoint, and is fixed to the vehicle via a posture drive unit that changes the posture of the own device. A driving support apparatus for a vehicle, which is attached to an A-pillar unit and has a control unit that controls the display display, the blind spot photographing camera, and the attitude driving unit, wherein the control unit is configured to store a driver's viewpoint stored in advance. Based on the angle difference between the reference direction and the direction of the driver's viewpoint detected by the viewpoint detection device, an angle for changing the posture of the device is determined. A driving amount determination unit that, in the position driving unit, is characterized in that a drive control unit for the driving amount determination unit to change the angular only attitude of the device itself determines.
この発明によれば、映像の切り出しや変形に伴う解像度の低下や画質の劣化のない死角映像を表示ディスプレイに映し出すことができる。 According to the present invention, it is possible to project a blind spot image on the display display without any reduction in resolution or image quality deterioration due to image clipping or deformation.
以下、この発明の実施の形態について添付の図面を参照しながら詳細に説明する。
実施の形態1.
図1は、この発明の実施の形態1に係る車両用運転支援装置1の構成図である。
図1に示すように、車両用運転支援装置1は、表示ディスプレイ101と、視点検知装置102と、死角撮影カメラ103と、姿勢制御部104と、制御部105とを備える。
表示ディスプレイ101は、車両のAピラー部に設置され、死角映像を表示する。
Embodiments of the present invention will be described below in detail with reference to the accompanying drawings.
Embodiment 1 FIG.
FIG. 1 is a configuration diagram of a vehicle driving support apparatus 1 according to Embodiment 1 of the present invention.
As shown in FIG. 1, the vehicle driving assistance device 1 includes a
The
視点検知装置102は、検知範囲の中心方向が車両内側を向くように設置され、ドライバーの視点の位置を検知する。また、視点検知装置102からドライバーの視点への方向(ドライバーの視点の方向)を検知する。視点検知装置102には、カメラ(カラー、モノクロ、赤外線など)、レンジセンサ、超音波など種々のセンサを利用することができる。視点の位置は、例えば、車室内に設置されたカメラ等によってドライバーの顔画像を撮影し、この顔画像を解析して検知するようにしてもよいし、超音波センサやレーザースキャナ等によりドライバーの頭部の位置を検出し、検出した頭部の位置からドライバーの視点の位置を推測するようにしてもよい。
ドライバーの視点の方向は、例えば、視点検知装置がカメラである場合、撮影画像中でドライバー視点がどの位置にあるかを検知することで、カメラの光学中心に対するドライバーの視点の方向が算出でき、この方向を視点検知装置からドライバーの視点の方向とみなすようにすればよい。
The
For example, if the viewpoint detection device is a camera, the direction of the driver's viewpoint can be calculated by detecting the position of the driver viewpoint in the captured image, and calculating the driver's viewpoint direction relative to the optical center of the camera. This direction may be regarded as the direction of the viewpoint of the driver from the viewpoint detection device.
死角撮影カメラ103は、表示ディスプレイ101の平面の法線方向に対して平行で車両外側を向くよう設置され、死角映像を撮影する。
姿勢駆動部104は、決められた角度だけ車両用運転支援装置1の姿勢を変更させる。また、表示ディスプレイ101の平面の法線方向を正面としてヨー、ピッチの2軸の回転運動が可能となっている。
なお、本明細書では、法線方向とは略法線方向も含まれるものとし、平行とは略平行も含まれ、表示ディスプレイ101へのドライバーの視線での死角映像を撮影することのできる角度のずれであれば平行とみなすものとする。
制御部105は、姿勢駆動部104を制御し、車両用運転支援装置1の姿勢を変更させる。
The blind
The
In this specification, the normal direction includes the substantially normal direction, and the parallel includes also substantially parallel, and an angle at which a blind spot image can be taken at the line of sight of the driver to the
The
図2は、ドライバーの視点から見た、この発明の実施の形態1に係る車両用運転支援装置1の設置状況の一例を示す図である。
図3は、車両の横方向の断面から見た、この発明の実施の形態1に係る車両用運転支援装置1の設置状況の一例を示す図である。
図2,図3のように、車両内側のAピラーに取付台が設けられ、車両用運転支援装置1を構成する表示ディスプレイ101、視点検知装置102、死角撮影カメラ103、姿勢駆動部104が設置されている(制御部105については図示しない)。
表示ディスプレイ101、視点検知装置102および死角撮影カメラ103は、姿勢駆動部104を介して取付台に設置されている。
FIG. 2 is a diagram illustrating an example of an installation state of the vehicle driving support device 1 according to the first embodiment of the present invention as seen from the viewpoint of the driver.
FIG. 3 is a diagram illustrating an example of an installation state of the vehicle driving support apparatus 1 according to the first embodiment of the present invention, as viewed from a cross section in the lateral direction of the vehicle.
As shown in FIGS. 2 and 3, a mounting base is provided on the A-pillar inside the vehicle, and a
The
視点検知装置102は、その検知範囲の中心方向が車両内側を向くように設置される。その位置は、表示ディスプレイ101の中央に近いほど好適である。
死角撮影カメラ103は、表示ディスプレイ101の平面の法線方向に対して平行で車両外側を向くよう設置する。その位置は、表示ディスプレイ101の中央に近いほど好適である。
姿勢駆動部104は、表示ディスプレイ101の平面の法線方向を正面としてヨー、ピッチの2軸の回転運動が可能となるように設置される。
表示ディスプレイ101、視点検知装置102および死角撮影カメラ103は、姿勢駆動部104を介して一体的かつ近接して配置されており、三者の方向は固定されている。
なお、図2,図3においては、運転席側のAピラーに車両用運転支援装置1を設置した例を示しているが、これに限らず、助手席側のAピラーに同様に設置することもできる。
The
The blind
The
The
2 and 3 show an example in which the vehicle driving support device 1 is installed on the A-pillar on the driver's seat side. However, the present invention is not limited to this, and it is similarly installed on the A-pillar on the passenger's seat side. You can also.
図4は、この発明の実施の形態1に係る制御部105の構成図である。
図4に示すように、制御部105は、視点検出部201と、駆動量決定部202と、駆動制御部203と、死角映像入力部204と、死角映像表示制御部205とを備える。
視点検出部201は、視点検知装置102から、ドライバーの視点の方向を取得する。
FIG. 4 is a configuration diagram of the
As illustrated in FIG. 4, the
The
駆動量決定部202は、あらかじめドライバーの視点の方向の基準方向を記憶しており、この基準方向と、視点検出部201で検出されたドライバーの視点の方向とに基づき、車両用運転支援装置1の姿勢を変更する角度(ヨー、ピッチ)を決定する。
なお、ここで、基準方向とは、所定のドライバーの視点の位置(例えば、車両の所有者の座高等に基づき、一番ドライバーの視点の位置となる確立の高い位置)を基準位置とし、その時の車両運転支援装置1の設置状態(表示ディスプレイ101の法線方向とドライバーの視線の方向が平行)での視点検知装置102からの方向とする。
The driving
Here, the reference direction is the position of the viewpoint of the predetermined driver (for example, the position where the position of the viewpoint of the driver is the most established based on the seat height of the vehicle owner, etc.) as the reference position. The direction from the
駆動制御部203は、姿勢駆動部104に、駆動量決定部202で決定された角度だけ、車両用運転支援装置1の姿勢を変更させる。また、死角撮影カメラ103に死角映像を撮影させる。
死角映像入力部204は、死角撮影カメラ103が撮影した死角映像を取得する。
死角映像表示制御部205は、表示ディスプレイ101に、死角映像入力部204が取得した死角映像を表示させる。
The
The blind spot
The blind spot video
図5は、この発明の実施の形態1に係る制御部105の動作を示すフローチャートである。
視点検出部201は、視点検知装置102よりドライバー視点の方向を取得する(ステップST1)。
駆動量決定部202は、ステップST1で取得されたドライバー視点の方向に基づき、車両用運転支援装置1の姿勢を変更する角度(ヨー、ピッチ)を決定する(ステップST2)。具体的には、駆動用決定部202は、あらかじめ記憶している基準方向を参照し、視点検出部201がステップST1で取得したドライバーの視点の方向との角度差を、車両用運転支援装置1の姿勢を変更する角度とする。このときの角度差とは、表示ディスプレイ101の平面の法線方向を正面としてヨー、ピッチの2軸に対しての基準方向との差をいう。
FIG. 5 is a flowchart showing the operation of the
The
The driving
表示ディスプレイ101と視点検知装置102と死角撮影カメラ103とは、姿勢駆動部104を介して一体的に設置されているので、ドライバーの視点の方向を基準方向にあわせることで、ドライバーの視線の方向と表示ディスプレイ101の法線方向、つまり、ドライバーの視線の方向と死角撮影カメラ103の光軸の向きとが平行となる。
Since the
駆動制御部203は、姿勢駆動部104に、ステップST2で決定された角度だけ車両用運転支援装置1を動かすよう指示する(ステップST3)。
ステップST3で、姿勢駆動部104が車両用運転支援装置1を動かすと、死角撮影カメラ103は、動かされた姿勢で死角映像を撮影する。
つまり、駆動量決定部202が決定した角度だけ車両用運転支援装置1の向きを変更させることで、死角撮影カメラ103に、ドライバーの視線の方向と死角撮影カメラの光軸の方向が平行となるような向きで死角映像を撮影させることができる。
The
When the
That is, by changing the direction of the vehicle driving support device 1 by the angle determined by the drive
死角映像入力部204は、死角撮影カメラ103が撮影した死角映像を取得する(ステップST4)。
死角映像表示制御部205は、ステップST4で死角映像入力部204が取得した死角映像を、表示ディスプレイ101に表示させる(ステップST5)。
以上の処理を繰り返すことで、ドライバー視点の変化に対応した高解像度かつ高画質の死角領域の映像を表示することが可能となる。
The blind spot
The blind spot image
By repeating the above processing, it becomes possible to display a high-resolution and high-quality image of the blind spot area corresponding to the change of the driver viewpoint.
以上のように、この発明の実施の形態1に係る車両用運転支援装置は、映像の切り出しや変形に伴う解像度の低下や画質の劣化のない死角映像を表示ディスプレイに映し出すことができる。 As described above, the vehicle driving support apparatus according to Embodiment 1 of the present invention can display a blind spot image on a display display that does not have a decrease in resolution or image quality due to image clipping or deformation.
従来のように、死角撮影カメラ103が固定されている場合、死角撮影カメラ103としては、ドライバー視点の移動に対応できるだけの広い視野を備えたカメラを使用する必要がある。例えば、固定して配置した死角撮影カメラ103の水平方向の視野角を80度、ドライバーから見たAピラーの幅を10cm、ドライバー視点からAピラーまでの距離を70cmとすると、発生するドライバーの死角は約8度となる。したがって、この例では、切り出された死角領域映像の解像度は、最大でもカメラの解像度の10分の1となる。
When the blind
これに対し、この実施の形態1によれば、姿勢駆動部104により死角撮影カメラ103の向きをドライバーの視線の方向と平行にする制御が可能である。さらに、死角撮影カメラ103を表示ディスプレイ101の中央に近接して配置することで、死角撮影カメラ103で撮影した映像をドライバー視点の死角映像とみなすことができる。これにより、死角領域と同程度の視野のカメラを使用することができ、死角撮影カメラ103で取得した映像をそのまま死角領域とすることができる。よって、映像の切り出しに伴う解像度の低下という問題を解決することができる。
On the other hand, according to the first embodiment, the
ただし、ドライバーの視点と死角撮影カメラ103の視点は完全には一致しないため、表示されない死角領域が存在する。ドライバーの実際の死角領域に対する、表示ディスプレイ101に表示される死角領域の割合は以下の式で算出される。
(Ds−Dd)/Ds
ここで、Dsはドライバー視点から撮影対象までの距離、Ddはドライバー視点から表示ディスプレイ101までの距離である。
例えば、Ddが70cmと仮定すると、14m先の死角領域はその95%が表示ディスプレイ101に表示される。また、Aピラーによる死角領域はAピラーからの距離が長くなるほどその幅が広がるのに対し、実施の形態1の構成において表示されない死角領域は、撮影対象までの距離によらず一定の幅である。死角撮影カメラ103を図3のように設置した場合、表示されない領域は最小で表示ディスプレイ101の横幅と等しい。この死角領域は車両とともに移動するため、走行経路上の歩行者の全身やその他の移動物体の全体が常に死角内に存在し続ける可能性は低いといえる。
However, since the viewpoint of the driver and the viewpoint of the blind
(D s −D d ) / D s
Here, D s is the distance from the driver viewpoint to the object to be photographed, and D d is the distance from the driver viewpoint to the
For example, if D d is assumed to 70cm, the blind spot region of 14m destination that 95% is displayed on the display displaying 101. In addition, the width of the blind spot area due to the A pillar increases as the distance from the A pillar increases, whereas the blind spot area that is not displayed in the configuration of the first embodiment has a constant width regardless of the distance to the imaging target. . When the blind
また、従来のように、表示ディスプレイ101が固定されている場合、同じ映像を表示していてもドライバーの視点と表示ディスプレイ101との位置関係の変化によって見え方が変化する。この課題を解決するためには、ドライバーの視点と表示ディスプレイ101との位置関係に基づき、死角映像を射影変換するなどの補正をする手段が必要であった。しかしこの補正には映像の伸縮を伴うため、画質が劣化するという課題があった。
これに対し、実施の形態1の構成によれば、制御部105により表示ディスプレイ101の平面の法線方向とドライバーの視線の方向を平行に保つことができるため、同じ映像を表示する場合、ドライバーの視点の位置に関わらず見え方は一定である。これにより、死角映像を補正する手段を必要としないため、映像の補正に伴う画質の劣化という課題も解決することができる。
Further, when the
On the other hand, according to the configuration of the first embodiment, the
また、従来では、視点検知装置102が固定されており、表示ディスプレイ101と死角撮影カメラ103を、姿勢駆動部104を介して一体的に配置する場合、検知したドライバーの視点の方向、および視点検知装置102と表示ディスプレイ101の平面の法線(もしくは死角撮影カメラ103)との位置関係に基づき、表示ディスプレイ101の平面の法線(もしくは死角撮影カメラ103)の方向とドライバーの視線方向が平行になるよう制御する必要がある。この機能を実現するためには、視点検知装置102と表示ディスプレイ101もしくは死角撮影カメラ103との位置関係をあらかじめキャリブレーションによって求めておく必要がある。この位置関係は姿勢制御部104によって変化するため、キャリブレーション処理が複雑になるという課題があった。
In addition, conventionally, the
これに対し、実施の形態1の構成によれば、表示ディスプレイ101と視点検知装置102および死角撮影カメラ103は、姿勢駆動部104を介して一体的かつ近接して配置されており、三者の方向は固定されている。つまり、姿勢駆動部104により、視点検知装置102からドライバーの視点への方向を常に一定に保つよう制御することで、視点検知装置102からドライバーの視点までの方向が一定であるなら、表示ディスプレイ101の平面の法線(もしくは死角撮影カメラ103)の方向に対するドライバーの視線の方向も一定に保たれる。したがって制御部105の制御としては、あらかじめ設定しておいた視点検知装置102からドライバー視点への基準方向と、視点検知装置102により検知された視点検知装置102からドライバーの視点への方向との角度差だけ回転させる制御でよい。以上のことから、実施の形態1における制御部105による制御には、視点検知装置102と表示ディスプレイ101(もしくは死角撮影カメラ103)との位置関係を必要としない。これにより、実施の形態1におけるキャリブレーションとしては、運転の開始前に運転者が手動で装置の向きを調整して基準方向を設定するだけでよく、キャリブレーションが簡便になるという効果がある。
On the other hand, according to the configuration of the first embodiment, the
なお、この実施の形態1では、制御部105を一体的に備える構成としたが、制御部105の各構成を、個別に別の装置に備える構成としてもよい。
In addition, in this Embodiment 1, although it was set as the structure provided with the
実施の形態2.
実施の形態1では、視点検知装置102に対するドライバーの視点の方向のみを考慮するようにしていた。しかし、視点検知装置102からドライバーの視点までの距離が大きく変化する場合、それに伴い死角領域の大きさも変化する。そのため、表示ディスプレイ101に映し出される映像と表示ディスプレイ101周囲との見え方のずれが大きくなる。
この実施の形態2では、視点検知装置102からドライバーの視点までの距離に応じて死角撮影カメラ103のズーム量を変えて死角映像を撮影する実施の形態について説明する。
Embodiment 2. FIG.
In the first embodiment, only the direction of the driver's viewpoint with respect to the
In the second embodiment, an embodiment in which a blind spot image is shot by changing the zoom amount of the blind
この実施の形態2に係る車両用運転支援装置1は、実施の形態1とは、制御部105の構成および動作が異なるのみである。
図6は、この発明の実施の形態2に係る制御部105の構成図である。
なお、図6において、図4で説明したものと同様の構成については、重複した説明を省略する。
図6に示すように、制御部105は、実施の形態1の図4で示したものから、視点位置計測部206と、ズーム量決定部207とをさらに備える。
The vehicle driving support apparatus 1 according to the second embodiment is different from the first embodiment only in the configuration and operation of the
FIG. 6 is a configuration diagram of the
In FIG. 6, the same description as that described in FIG. 4 will not be repeated.
As shown in FIG. 6, the
視点位置計測部206は、視点検知装置102からドライバーの視点までの距離を計測する。
ズーム量決定部207は、視点位置計測部206が計測した視点検知装置102からドライバーの視点までの距離に基づき、死角映像のズーム量を決定する。
The viewpoint
The zoom
図7は、この発明の実施の形態2に係る制御部105の動作を示すフローチャートである。
図7のステップST1〜ステップST5については、図5に示すステップST1〜ST5と同様であるため、ここでの詳細な説明は省略する。
視点位置計測部206は、視点検知装置102からドライバーの視点の位置を取得し、取得したドライバーの視点の位置に基づき、視点検知装置102からドライバーの視点までの距離を計測する(ステップST6)。視点検知装置102からドライバーの視点までの距離は、絶対的な距離を計測してもよいし、あらかじめドライバー視点の初期位置を設定し、それに対する相対的な距離を計測するようにしてもよい。ただし、相対的な距離を計測する場合は、ドライバーの初期位置および初期位置におけるズーム量を、ドライバーがあらかじめ設定するようにしておく。
FIG. 7 is a flowchart showing the operation of the
Since steps ST1 to ST5 in FIG. 7 are the same as steps ST1 to ST5 shown in FIG. 5, detailed description thereof is omitted here.
The viewpoint
ズーム量決定部207は、ステップST6において、視点位置計測部206が計測した視点検知装置102からドライバーの視点までの距離に基づき、死角撮影カメラ103のズーム量を決定し、駆動制御部203は、決定したズーム量を死角撮影カメラ103に送信する(ステップST7)。例えば、視点検知装置102からドライバーの視点までの距離が大きければ、死角は狭いと判断して撮影範囲を狭めたり、視点検知装置102からドライバーの視点までの距離が小さければ、死角が広いと判断して撮影範囲を広角にとるようにする。
駆動制御部203は、姿勢駆動部104に車両用運転支援装置1の姿勢角度を変更させ(ステップST3)、死角撮影カメラ103は、指示されたズーム量で、ズームイン・ズームアウト等を行い、死角映像を撮影する。なお、死角撮影カメラ103によるズームは、レンズ系を動かすことによる光学ズームとしてもよいし、画像処理によるデジタルズームとしてもよい。
In step ST6, the zoom
The
死角映像入力部204は、死角撮影カメラ103が撮影した死角映像を取得し(ステップST4)、死角映像表示制御部205が表示ディスプレイ101に死角映像を表示させる(ステップST5)。
The blind spot
以上のように、この発明の実施の形態2に係る車両用運転支援装置1は、視点検知装置102からドライバーの視点までの距離に応じて死角撮影カメラ103のズーム量を変えて死角映像を撮影するようにしたので、表示ディスプレイ101周囲との見え方のずれが少ない死角映像を得ることができる。
As described above, the vehicle driving assistance device 1 according to the second embodiment of the present invention captures a blind spot image by changing the zoom amount of the blind
実施の形態3.
実施の形態1,2では、車両用運転支援装置1の姿勢を、制御部105の制御により姿勢駆動部104が変更することでドライバー視点の死角映像を得るようにしていた。しかし、ドライバー視点の移動速度が速い場合、制御部105によるハードウェア的なドライバー視点の追従が間に合わず、ドライバーにとってずれが大きく不自然な映像が表示される可能性がある。
この実施の形態3では、画像処理によりソフトウェア的にドライバー視点を追従して死角映像を表示する実施の形態について説明する。
Embodiment 3 FIG.
In the first and second embodiments, the
In the third embodiment, an embodiment in which a blind spot image is displayed by following the driver viewpoint in software by image processing will be described.
この実施の形態3に係る車両用運転支援装置1は、実施の形態1,2とは、制御部105の構成および動作が異なるのみである。
図8は、この発明の実施の形態3に係る制御部105の構成図である。
なお、図8において、図6で説明したものと同様の構成については、重複した説明を省略する。
図8に示すように、制御部105は、実施の形態2の図6で示したものから、追従遅延検知部208と、死角領域決定部209と、死角映像加工部210と、死角映像補正部211とをさらに備える。
The vehicle driving support apparatus 1 according to the third embodiment is different from the first and second embodiments only in the configuration and operation of the
FIG. 8 is a configuration diagram of the
In FIG. 8, the same description as that described in FIG. 6 is omitted.
As shown in FIG. 8, the
追従遅延検知部208は、ドライバーの視点の方向の時間変化と、駆動量決定部202が決定した角度、つまり、姿勢駆動部104に車両用運転支援装置1の姿勢を変更させた駆動量の時間変化を記憶しており、ドライバーの視点の追従の遅れが発生しているかどうかを判定する。
死角領域決定部209は、死角映像を撮影する範囲を決定する。
死角映像加工部210は、死角映像入力部204が取得した死角映像を表示ディスプレイ101のアスペクト比にあわせて、表示ディスプレイ101におさまるように変形させる。
死角映像補正部211は、死角映像加工部210が変形させた死角映像を見やすい画像へと補正する。
The tracking
The blind spot
The blind spot
The blind spot
図9、この発明の実施の形態3に係る制御部105の動作を示すフローチャートである。
図9のステップST1〜ステップST7については、図7に示すステップST1〜ST7と同様であるため、ここでの詳細な説明は省略する。
ステップST3において、姿勢駆動部104に車両用運転支援装置1の姿勢を変更させると、追従遅延検知部208は、視点検出部201がステップST1で取得したドライバーの視点への方向の時間変化と、駆動量決定部202がステップST2で決定した車両用運転支援装置1の姿勢を変更する角度の時間変化とに基づき、ドライバー視点の追従に遅れが発生しているかどうかを判定する(ステップST8)。例えば、視点検出部201が検出したドライバー視点の方向の時間変化が、駆動量決定部202が決定した角度の時間変化よりも大きければ、ドライバー視点の追従に遅れが発生していると判断する。
FIG. 9 is a flowchart showing the operation of the
Since steps ST1 to ST7 in FIG. 9 are the same as steps ST1 to ST7 shown in FIG. 7, detailed description thereof is omitted here.
In step ST3, when the
ステップST8において、ドライバー視点の追従に遅れが発生していないと判断された場合(ステップST8の“NO”の場合)、ステップST4へ進む。以降、ステップST4〜ステップST5までの処理は、実施の形態1,2で説明したものと同様であるためここでの説明は省略する。
ステップST8において、ドライバー視点の追従に遅れが発生していると判断された場合(ステップST8の“YES”の場合)、死角領域決定部209は、所定の角度だけ広げた撮影範囲を死角撮影カメラ103の撮影範囲に決定し、駆動制御部203は、決定した撮影範囲を死角撮影カメラ103に送信する(ステップST9)。ここで所定の範囲とはあらかじめユーザによって指定しておくものとする。
If it is determined in step ST8 that there is no delay in following the driver viewpoint (in the case of “NO” in step ST8), the process proceeds to step ST4. Since the processes from step ST4 to step ST5 are the same as those described in the first and second embodiments, the description thereof is omitted here.
In step ST8, when it is determined that there is a delay in following the driver viewpoint (in the case of “YES” in step ST8), the blind spot
死角映像入力部204は、ステップST9で決定した撮影範囲で死角撮影カメラ103が撮影した死角映像を取得する(ステップST10)。
死角映像加工部210は、ステップST10で死角映像入力部204が取得した死角映像を、表示ディスプレイ101のアスペクト比にあわせて、表示ディスプレイ101におさまるように変形させる(ステップST11)。
死角映像補正部211は、ステップST11で死角映像加工部210が変形させた死角映像を、ドライバーからみて自然な映像となるよう補正する(ステップST12)。具体的には、射影変換などの画像変形を施すことによって、画像処理を行う。
死角映像表示制御部205は、ステップST14において補正された死角映像を表示ディスプレイ101に表示する(ステップST5)。
The blind spot
The blind spot
The blind spot
The blind spot image
以上のように、この発明の実施の形態3に係る車両用運転支援装置1は、画像処理によるソフトウェア的なドライバー視点の追従により、ドライバー視点の移動速度が速いためハードウェア的なドライバー視点の追従が間に合わない場合にもドライバーにとって自然な死角映像を表示することができる。 As described above, the vehicle driving support apparatus 1 according to the third embodiment of the present invention follows the hardware driver viewpoint because the moving speed of the driver viewpoint is fast due to the tracking of the software driver viewpoint by image processing. Even if the time is not in time, a natural blind spot image can be displayed for the driver.
なお、ここでは、実施の形態2の構成に加え、追従遅延検知部208と、死角領域決定部209と、死角映像加工部210と、死角映像補正部211とをさらに備える構成について説明したが、視点位置計測部206,ズーム量決定部207を備えない構成、つまり、実施の形態1の構成に加え、追従遅延検知部208と、死角領域決定部209と、死角映像加工部210と、死角映像補正部211とをさらに備える構成としてもよい。
その場合、駆動制御部104の動作は、図9のようになり、ズーム量の変更されていない、ドライバー視点の方向のみを考慮した死角映像に対してステップST8〜ステップST12の処理を行う。
Here, in addition to the configuration of the second embodiment, a configuration has been described in which a follow-up
In that case, the operation of the
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1 車両用運転支援装置、101 表示ディスプレイ、102 視点検知装置、103 死角撮影カメラ、104 姿勢駆動部、201 視点検出部、202 駆動量決定部、203 駆動制御部、204 死角映像入力部、205 死角映像表示制御部、206 視点位置計測部、207 ズーム量決定部、208 追従遅延検知部、209 死角領域決定部、210 死角映像加工部、211 死角映像補正部。 DESCRIPTION OF SYMBOLS 1 Vehicle drive assistance device, 101 Display display, 102 Viewpoint detection apparatus, 103 Blind spot photographing camera, 104 Posture drive part, 201 Viewpoint detection part, 202 Drive amount determination part, 203 Drive control part, 204 Blind spot image input part, 205 Dead angle Image display control unit, 206 viewpoint position measurement unit, 207 zoom amount determination unit, 208 tracking delay detection unit, 209 blind spot area determination unit, 210 blind spot image processing unit, 211 blind spot image correction unit.
Claims (4)
前記制御部は、
前記視点検知装置が検知した前記ドライバーの視点の方向に基づき、自装置の姿勢角度を決定する駆動量決定部と、
前記姿勢駆動部に、前記駆動量決定部が決定した姿勢角度となるよう自装置の姿勢を変更させる駆動制御部とを備えた
ことを特徴とする車両用運転支援装置。 A display that displays a blind spot image, a blind spot camera that is attached in parallel to the normal direction of the plane of the display display, and that captures the blind spot image, and a viewpoint detection device that detects the direction of the driver's viewpoint. A vehicle driving support apparatus having a control unit that is fixed integrally and attached to the A-pillar portion of the vehicle via a posture driving unit that changes the posture of the device, and controls the posture driving unit,
The controller is
A drive amount determination unit that determines an attitude angle of the own device based on the direction of the viewpoint of the driver detected by the viewpoint detection device;
A driving support apparatus for a vehicle, comprising: a driving control unit that changes the attitude of the apparatus so that the attitude driving unit has the attitude angle determined by the driving amount determining unit.
前記制御部は、
前記視点検知装置が検知した前記ドライバーの視点の位置に基づき前記視点検知装置から前記ドライバーの視点までの距離を計測する視点位置計測部と、
前記距離に基づき、前記死角映像のズーム量を決定するズーム量決定部とをさらに備えた
ことを特徴とする請求項1記載の車両用運転支援装置。 The viewpoint detection device further detects the position of the driver's viewpoint,
The controller is
A viewpoint position measurement unit that measures a distance from the viewpoint detection apparatus to the driver's viewpoint based on the position of the driver's viewpoint detected by the viewpoint detection apparatus;
The vehicle driving support apparatus according to claim 1, further comprising a zoom amount determination unit that determines a zoom amount of the blind spot image based on the distance.
前記ドライバーの視点の追従の遅れが発生しているかどうかを判定する追従遅延検知部と、
前記追従の遅れが発生している場合に、
前記死角映像を撮影する範囲を決定する死角領域決定部と、
前記死角領域決定部が決定した前記範囲で前記死角撮影カメラが撮影した前記死角映像を、前記表示ディスプレイのサイズにあわせて変形させる死角映像加工部と、
前記死角映像加工部が変形させた前記死角映像を射影変換によって補正する死角映像補正部とをさらに備えた
ことを特徴とする請求項1または請求項2記載の車両用運転支援置。 The controller is
A tracking delay detection unit that determines whether or not a tracking delay of the driver's viewpoint has occurred;
When the follow-up delay occurs,
A blind spot area determining unit that determines a range in which the blind spot image is captured;
A blind spot image processing unit that deforms the blind spot image captured by the blind spot photographing camera in the range determined by the blind spot region determining unit according to the size of the display;
The vehicle driving support apparatus according to claim 1, further comprising a blind spot image correcting unit that corrects the blind spot image deformed by the blind spot image processing unit by projective transformation.
ことを特徴とする請求項3記載の車両用運転支援装置。 The tracking delay detection unit is based on a time change of the direction of the driver toward the viewpoint detected by the viewpoint detection device and a time change of an angle at which the posture of the own device determined by the drive amount determination unit is changed. The vehicle driving support device according to claim 3, wherein it is determined whether or not a delay occurs in tracking the viewpoint.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050711A JP5907914B2 (en) | 2013-03-13 | 2013-03-13 | Vehicle driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013050711A JP5907914B2 (en) | 2013-03-13 | 2013-03-13 | Vehicle driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014177143A true JP2014177143A (en) | 2014-09-25 |
JP5907914B2 JP5907914B2 (en) | 2016-04-26 |
Family
ID=51697556
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013050711A Active JP5907914B2 (en) | 2013-03-13 | 2013-03-13 | Vehicle driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5907914B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015071335A (en) * | 2013-10-02 | 2015-04-16 | トヨタ自動車株式会社 | Drive support device |
WO2016152572A1 (en) * | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | Indirect-view presentation device |
WO2017141431A1 (en) * | 2016-02-19 | 2017-08-24 | 三菱電機株式会社 | Display system, display device and control device |
JP2018188049A (en) * | 2017-05-10 | 2018-11-29 | 国立大学法人東京工業大学 | Vehicle Information Display Device |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000201289A (en) * | 1999-01-07 | 2000-07-18 | Sony Corp | Image input-output device and image acquiring method |
JP3092719U (en) * | 2002-09-11 | 2003-03-28 | 英雄 堀田 | Vehicle safety confirmation device |
JP2008213649A (en) * | 2007-03-02 | 2008-09-18 | Toyota Motor Corp | Vehicle periphery monitoring device |
JP2010118935A (en) * | 2008-11-13 | 2010-05-27 | Mitsubishi Electric Corp | Vehicle body transmission display device |
-
2013
- 2013-03-13 JP JP2013050711A patent/JP5907914B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000201289A (en) * | 1999-01-07 | 2000-07-18 | Sony Corp | Image input-output device and image acquiring method |
JP3092719U (en) * | 2002-09-11 | 2003-03-28 | 英雄 堀田 | Vehicle safety confirmation device |
JP2008213649A (en) * | 2007-03-02 | 2008-09-18 | Toyota Motor Corp | Vehicle periphery monitoring device |
JP2010118935A (en) * | 2008-11-13 | 2010-05-27 | Mitsubishi Electric Corp | Vehicle body transmission display device |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015071335A (en) * | 2013-10-02 | 2015-04-16 | トヨタ自動車株式会社 | Drive support device |
WO2016152572A1 (en) * | 2015-03-20 | 2016-09-29 | 日産自動車株式会社 | Indirect-view presentation device |
WO2017141431A1 (en) * | 2016-02-19 | 2017-08-24 | 三菱電機株式会社 | Display system, display device and control device |
JPWO2017141431A1 (en) * | 2016-02-19 | 2018-05-24 | 三菱電機株式会社 | Display system, display device and control device |
JP2018188049A (en) * | 2017-05-10 | 2018-11-29 | 国立大学法人東京工業大学 | Vehicle Information Display Device |
Also Published As
Publication number | Publication date |
---|---|
JP5907914B2 (en) | 2016-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5222597B2 (en) | Image processing apparatus and method, driving support system, and vehicle | |
JP4810953B2 (en) | Blind spot image display device for vehicles | |
JP5316805B2 (en) | In-vehicle camera device image adjustment device and in-vehicle camera device | |
JP5503660B2 (en) | Driving support display device | |
US20190100156A1 (en) | System and method for controlling a display | |
JP4975592B2 (en) | Imaging device | |
US20100066832A1 (en) | Head up display | |
JP2001218197A (en) | Peripheral display device for vehicles | |
JP2006287892A (en) | Driving support system | |
WO2005079060A1 (en) | Operation support device | |
JP2012156672A (en) | Vehicle periphery monitoring device | |
JP7150709B2 (en) | Image processing device, image processing method, and program | |
JP5907914B2 (en) | Vehicle driving support device | |
JP2022047522A5 (en) | ||
JP4927514B2 (en) | Driving assistance device | |
JP2016149613A (en) | Camera parameter adjustment device | |
CN110798655A (en) | Driving image system for eliminating pillar A blind area of mobile carrier and image processing method thereof | |
CN109074480B (en) | Method, computing device, driver assistance system, and motor vehicle for detecting a rolling shutter effect in an image of an environmental region of a motor vehicle | |
JPWO2015129280A1 (en) | Image processing apparatus and image processing method | |
JP5173551B2 (en) | Vehicle perimeter monitoring apparatus and camera mounting position / posture information setting correction method applied thereto | |
US11987182B2 (en) | Image processing apparatus, image processing method, and image processing system | |
US20060268006A1 (en) | Display device for vehicle | |
JP2019026198A (en) | Head-up display device, and driver viewpoint detection method therefor | |
JP2009006968A (en) | Vehicular display device | |
WO2016157666A1 (en) | Camera attitude estimating device, operation supporting device and camera attitude estimating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141009 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160223 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5907914 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |