JP2002087191A - Driving supporting system - Google Patents
Driving supporting systemInfo
- Publication number
- JP2002087191A JP2002087191A JP2001197042A JP2001197042A JP2002087191A JP 2002087191 A JP2002087191 A JP 2002087191A JP 2001197042 A JP2001197042 A JP 2001197042A JP 2001197042 A JP2001197042 A JP 2001197042A JP 2002087191 A JP2002087191 A JP 2002087191A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- display
- model
- predicted trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、描画装置に関し、
より特定的には、車両の運転を支援する運転支援装置に
組み込むことが可能な描画装置に関する。さらに詳しく
述べると、車両に固定される撮像装置からの撮影画像を
基礎として、車両の周囲を表す表示画像を作成する描画
装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a drawing apparatus,
More specifically, the present invention relates to a drawing device that can be incorporated in a driving support device that supports driving of a vehicle. More specifically, the present invention relates to a drawing device that creates a display image representing the periphery of a vehicle based on a captured image from an imaging device fixed to the vehicle.
【０００２】[0002]
【従来の技術】上述のような運転支援システムとして、
従来、以下のようなものが知られている。すなわち、運
転支援システムは、車両に設置され、ステアリングの舵
角を検出する蛇角センサと、ステアリングの舵角に対応
する車両の移動軌跡を求めるプロセッサと、車両の後方
または側後方を撮影する撮像装置と、表示画像を表示す
る表示装置とを備えている。以上の運転支援システムに
おいて、車両の後退時には、撮像装置によって得られる
後方または側後方の状況を表す画像が表示装置に表示さ
れる。さらに、ステアリングが操作されると、表示装置
に、その舵角に基づいて予測された車両の移動軌跡が、
上述の表示画像が表す後方または側後方の状況に重ねて
表示される。以上のような運転支援システムの処理によ
って、運転者は、例えば、現在のステアリング操作で駐
車スペースへ車両が納まるか否かを把握することができ
る。なお、上記のような運転支援システムは、例えば特
開昭６４−１４７００号公報に開示されている。2. Description of the Related Art As a driving support system as described above,
Conventionally, the following is known. That is, the driving support system is installed in a vehicle, and a steering angle sensor for detecting a steering angle of a steering, a processor for obtaining a movement locus of the vehicle corresponding to the steering angle of the steering, and an imaging for photographing the rear or side rear of the vehicle. The display device includes a device and a display device that displays a display image. In the above-described driving support system, when the vehicle is moving backward, an image representing the rear or side rear situation obtained by the imaging device is displayed on the display device. Further, when the steering is operated, the display device displays the movement locus of the vehicle predicted based on the steering angle,
The display is superimposed on the rear or side rear situation represented by the display image described above. By the processing of the driving support system as described above, the driver can grasp, for example, whether or not the vehicle can be accommodated in the parking space by the current steering operation. Note that such a driving support system as described above is disclosed in, for example, Japanese Patent Application Laid-Open No. 64-14700.
【０００３】また、従来の運転支援システムの中には、
例えば特開平１１−７８６９２号公報に開示されている
ように、複数の撮像装置から得られる複数の撮影画像か
ら合成画像を生成して表示するものがある。かかる運転
支援システムでは、高速に合成画像を生成するために、
まず、上記複数の撮影画像の各画素を、例えば、車両が
移動する路面にマッピングし、次に、各画素がマッピン
グされた路面を所定の仮想視点から見た画像を、その視
点からの車両の周辺状況を表す合成画像として生成す
る。この場合、車両周辺の各物体は高さ成分を持たず路
面に投影されることとなる。[0003] Some conventional driving support systems include:
For example, as disclosed in Japanese Patent Application Laid-Open No. H11-78692, there is an image display apparatus that generates and displays a composite image from a plurality of captured images obtained from a plurality of image capturing apparatuses. In such a driving support system, in order to generate a composite image at high speed,
First, each pixel of the plurality of captured images is mapped to, for example, a road surface on which the vehicle moves, and then an image of the road surface on which each pixel is mapped is viewed from a predetermined virtual viewpoint, and the vehicle is viewed from that viewpoint. It is generated as a composite image representing the surrounding situation. In this case, each object around the vehicle has no height component and is projected on the road surface.
【０００４】[0004]
【発明が解決しようとする課題】上記従来の運転支援シ
ステムには、以下のような問題があった。すなわち、上
記のような従来の運転支援システムを駐車の際に使用し
ても、車両１台毎の駐車スペースを示す白線等、駐車位
置の目安となるマークが無い駐車場では、自車両を駐車
させるべき位置を運転者が正確に把握することが困難で
あるという問題点があった。The above-mentioned conventional driving support system has the following problems. That is, even if the conventional driving support system as described above is used for parking, the vehicle is parked in a parking lot without a mark indicating the parking position such as a white line indicating a parking space for each vehicle. There is a problem that it is difficult for the driver to accurately grasp the position to be made.
【０００５】また、従来の運転支援システムにおいて、
特に、複数の撮影画像から合成画像を生成するもので
は、撮影画像に現れる物体の高さ成分が無視されるの
で、生成された合成画像には各物体が歪んで現れる。こ
のため、図７に示すように、例えば、その後方に存在す
る２台の車両の間に運転手が自車両を駐車させようとし
たとき、運転支援システムが表示する合成画像において
それら２台の車両も歪んで現れる。その結果、合成画像
上に車両の予測軌跡Ｌが示されていても、運転者がそれ
ら２台の車両の間隔などを正確に把握するのが困難とな
る。つまり、従来の運転支援システムでは、自車両が障
害物に接触させることなく目的位置に納まるか否かを運
転者が判断することが困難であるという問題点があっ
た。[0005] In a conventional driving support system,
In particular, when a composite image is generated from a plurality of captured images, the height component of the object appearing in the captured image is ignored, and thus each object appears distorted in the generated composite image. For this reason, as shown in FIG. 7, for example, when the driver tries to park the own vehicle between two vehicles existing behind the two vehicles, the two images are displayed in the composite image displayed by the driving support system. Vehicles also appear distorted. As a result, even if the predicted trajectory L of the vehicle is shown on the composite image, it is difficult for the driver to accurately grasp the distance between the two vehicles and the like. That is, the conventional driving support system has a problem that it is difficult for the driver to determine whether or not the host vehicle can be located at the target position without making contact with the obstacle.
【０００６】それ故に、本発明の目的は、車両の駐車位
置を運転者が確実に把握できる表示画像を作成できる描
画装置を提供することである。また、本発明の他の目的
は、自車両が障害物に接触することなく駐車位置に納ま
るか否かを運転者が視認可能な表示画像を生成できる描
画装置を提供することである。[0006] Therefore, an object of the present invention is to provide a drawing apparatus capable of creating a display image that allows a driver to reliably grasp the parking position of a vehicle. Further, another object of the present invention is to provide a drawing device capable of generating a display image that allows a driver to visually recognize whether or not the host vehicle can be parked without contacting an obstacle.
【０００７】[0007]
【課題を解決するための手段および発明の効果】第１の
発明は、車両の運転を支援するために、当該車両の周辺
を表す表示画像を生成する描画装置であって、車両を表
す車両モデルを格納する車両モデル保持部と、車両の設
置される舵角検出部から得られる当該車両の蛇角に基づ
いて、車両の予測軌跡を算出する軌跡演算部と、車両に
設置される撮像部から、当該車両の周辺を表す撮影画像
を取得する取得部と、撮影画像と予測軌跡と車両モデル
とに基づいて、表示画像を作成する画像処理部とを備
え、画像処理部で作成される表示画像は、車両に設置さ
れる表示部で表示され、予測軌跡上に配置された車両モ
デルを含む。Means for Solving the Problems and Effects of the Invention A first invention is a drawing apparatus for generating a display image representing the periphery of a vehicle in order to assist driving of the vehicle, and a vehicle model representing the vehicle. From a vehicle model holding unit that stores the vehicle, a trajectory calculation unit that calculates a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from a steering angle detection unit where the vehicle is installed, and an imaging unit that is installed in the vehicle. An acquisition unit that acquires a captured image representing the periphery of the vehicle, and an image processing unit that creates a display image based on the captured image, the predicted trajectory, and the vehicle model, and a display image created by the image processing unit. Includes a vehicle model displayed on a display unit installed in the vehicle and arranged on the predicted trajectory.
【０００８】第２の発明は、第１の発明に従属してお
り、車両モデルは３次元モデルであって、画像処理部
は、車両モデルを配置すべき予測軌跡上の位置を決定す
る車両位置決定部と、車両モデル保持部に格納される車
両モデルに基づいて、撮像部の視点から見た自車両モデ
ル画像を生成する自車両モデル画像作成部と、自車両モ
デル画像を、取得部により取得された撮影画像に合成し
て、自車両合成画像を生成する自車両合成画像生成部と
を含み、自車両合成画像に基づいて、表示画像を作成す
る。[0008] A second invention is according to the first invention, wherein the vehicle model is a three-dimensional model, and the image processing unit determines a position on the predicted trajectory where the vehicle model is to be placed. A determining unit, an own vehicle model image creating unit that generates an own vehicle model image viewed from the viewpoint of the imaging unit based on the vehicle model stored in the vehicle model holding unit, and an own vehicle model image acquired by the acquiring unit And a host-vehicle composite image generating unit that generates a host-vehicle composite image by synthesizing with the captured image thus obtained, and creates a display image based on the host-vehicle composite image.
【０００９】以上のように、第１および第２の発明によ
れば、表示画像は、予測軌跡上の車両モデルを含むの
で、典型的には、当該予測軌跡上に存在する駐車位置に
車両モデルを表示するすることができる。かかる表示画
像を見ることにより、運転者は駐車位置に対する車両の
関係を把握することができる。さらに、運転者は、予測
軌跡に沿って自車両が移動する過程において、当該予測
軌跡の近傍に存在する障害物と自車両が接触するか否か
を容易に判断することができる。As described above, according to the first and second aspects of the present invention, since the display image includes the vehicle model on the predicted trajectory, the vehicle model is typically located at a parking position existing on the predicted trajectory. Can be displayed. By viewing such a display image, the driver can grasp the relationship of the vehicle to the parking position. Furthermore, the driver can easily determine whether or not the own vehicle comes into contact with an obstacle existing near the predicted trajectory in the process of the vehicle moving along the predicted trajectory.
【００１０】第３の発明は、第２の発明に従属してお
り、撮像部は、それぞれの視点から車両の周辺を撮影し
て、当該周辺を表す撮影画像を生成する複数台のカメラ
を含み、画像処理部は、予め定められた仮想視点から車
両の周辺を見た視点変換画像を生成する視点変換画像生
成部をさらに含み、自車両合成画像生成部は、複数台の
カメラから取得部が取得した撮影画像に基づいて、自車
両合成画像を生成し、視点変換画像生成部は、自車両合
成画像生成部で生成された自車両合成画像に基づいて、
視点変換画像を生成し、視点変換画像に基づいて、表示
画像が作成される。A third invention is according to the second invention, and the imaging section includes a plurality of cameras for photographing the periphery of the vehicle from each viewpoint and generating a photographed image representing the periphery. The image processing unit further includes a viewpoint conversion image generation unit that generates a viewpoint conversion image that looks at the periphery of the vehicle from a predetermined virtual viewpoint, and the own vehicle composite image generation unit includes an acquisition unit from a plurality of cameras. Based on the acquired captured image, generates a host vehicle composite image, the viewpoint conversion image generation unit, based on the host vehicle composite image generated by the host vehicle composite image generation unit,
A viewpoint conversion image is generated, and a display image is created based on the viewpoint conversion image.
【００１１】以上のように、第３の発明によれば、自車
両合成画像に基づいて、視点変換画像が作成される。そ
れ故、視点変換画像に含まれる障害物が歪んでいても、
自車両モデルも同じ歪み方をするので、運転者は、予測
軌跡に沿って自車両が移動するする過程において、当該
予測軌跡の近傍に存在する障害物と自車両が接触するか
否かを容易に判断することができる。As described above, according to the third aspect, a viewpoint-converted image is created based on the host vehicle composite image. Therefore, even if the obstacle included in the viewpoint conversion image is distorted,
Since the own vehicle model is distorted in the same manner, the driver can easily determine whether or not the own vehicle comes into contact with an obstacle existing near the predicted trajectory in the process of the vehicle moving along the predicted trajectory. Can be determined.
【００１２】第４の発明は、第３の発明に従属してお
り、画像処理部は、視点変換画像に予測軌跡を重畳し
て、表示画像を生成する表示画像生成部をさらに含む。A fourth invention is according to the third invention, and the image processing unit further includes a display image generation unit for generating a display image by superimposing a predicted trajectory on the viewpoint-converted image.
【００１３】第５の発明は、第１の発明に従属してお
り、描画装置は、撮影画像に基づいて、車両の駐車位置
を示す特定パターンがあるかないかを判断する特定パタ
ーン判断部をさらに備え、画像処理部は、パターン判断
部により特定パターンが存在すると判断された場合に
は、車両モデルを含まない表示画像を生成する。A fifth invention is according to the first invention, and the drawing apparatus further includes a specific pattern determining section for determining whether or not there is a specific pattern indicating the parking position of the vehicle based on the captured image. In addition, when the pattern determination unit determines that the specific pattern exists, the image processing unit generates a display image that does not include the vehicle model.
【００１４】第６の発明は、第２の発明に従属してお
り、自車両合成画像生成手段は、前記取得手段により取
得された撮影画像に、半透明の前記自車両モデル画像を
合成して、自車両合成画像を生成する。第７の発明は、
第２の発明に従属しており、自車両合成画像生成手段
は、前記取得手段により取得された撮影画像に、ワイヤ
ーフレームの前記自車両モデル画像を合成して、自車両
合成画像を生成する。A sixth invention is according to the second invention, wherein the own-vehicle composite image generating means combines the translucent own-vehicle model image with the photographed image obtained by the obtaining means. , And generates a host vehicle composite image. The seventh invention is
According to a second aspect, the own-vehicle composite image generating means generates the own-vehicle composite image by synthesizing the own-vehicle model image of the wire frame with the captured image obtained by the obtaining means.
【００１５】以上の第６および第７の発明によれば、自
車両合成画像生成手段は、自車両モデルで車両の周辺の
様子が隠れない、つまり死角領域のない自車両合成画像
を生成することができ、これによって、ドライバは、表
示画像を通じて、車両の前方または後方の状況を広い範
囲にわたって、確認することができる。また、特に、第
７の発明によれば、ワイヤーフレームで自車両モデルが
描画されるため、少ない演算量で自車両合成画像を生成
することができる。According to the sixth and seventh inventions described above, the own-vehicle composite image generating means generates the own-vehicle composite image in which the surroundings of the vehicle are not hidden by the own-vehicle model, that is, there is no blind spot area. Accordingly, the driver can confirm the situation in front of or behind the vehicle over a wide range through the display image. Further, in particular, according to the seventh aspect, since the own vehicle model is drawn in the wire frame, the own vehicle composite image can be generated with a small amount of calculation.
【００１６】第８の発明は、車両の運転を支援するため
に、当該車両の周辺を表す表示画像を生成する描画方法
であって、車両を表す車両モデルが予め格納されてお
り、車両の設置される舵角検出部から得られる当該車両
の蛇角に基づいて、車両の予測軌跡を算出する軌跡演算
ステップと、車両に設置される撮像部から、当該車両の
周辺を表す撮影画像を取得する取得ステップと、撮影画
像と予測軌跡と車両モデルとに基づいて、表示画像を作
成する画像処理ステップとを備え、画像処理ステップで
作成される表示画像は、車両に設置される表示部で表示
され、予測軌跡上に配置された車両モデルを含む。According to an eighth aspect of the present invention, there is provided a drawing method for generating a display image representing the periphery of a vehicle in order to assist driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance, and the vehicle is installed. A trajectory calculation step of calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the detected steering angle detection unit, and obtaining a captured image representing the periphery of the vehicle from an imaging unit installed in the vehicle An acquisition step, comprising an image processing step of creating a display image based on the captured image, the predicted trajectory, and the vehicle model, the display image created in the image processing step is displayed on a display unit installed in the vehicle. , A vehicle model arranged on the predicted trajectory.
【００１７】第９の発明は、車両の運転を支援するため
に、当該車両の周辺を表す表示画像を生成するプログラ
ムを記録した記録媒体であって、車両を表す車両モデル
が予め格納されており、車両の設置される舵角検出部か
ら得られる当該車両の蛇角に基づいて、車両の予測軌跡
を算出する軌跡演算ステップと、車両に設置される撮像
部から、当該車両の周辺を表す撮影画像を取得する取得
ステップと、撮影画像と予測軌跡と車両モデルとに基づ
いて、表示画像を作成する画像処理ステップとを備え、
画像処理ステップで作成される表示画像は、車両に設置
される表示部で表示され、予測軌跡上に配置された車両
モデルを含む。A ninth aspect of the present invention is a recording medium storing a program for generating a display image representing the periphery of the vehicle in order to assist driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance. A trajectory calculating step of calculating a predicted trajectory of the vehicle based on a steering angle of the vehicle obtained from a steering angle detection unit provided with the vehicle, and photographing representing the periphery of the vehicle from an imaging unit provided in the vehicle An acquisition step of acquiring an image, and an image processing step of creating a display image based on the captured image, the predicted trajectory, and the vehicle model,
The display image created in the image processing step is displayed on the display unit installed on the vehicle, and includes the vehicle model arranged on the predicted trajectory.
【００１８】第１０の発明は、車両の運転を支援するた
めに、当該車両の周辺を表す表示画像を生成するプログ
ラムであって、車両を表す車両モデルが予め格納されて
おり、車両の設置される舵角検出部から得られる当該車
両の蛇角に基づいて、車両の予測軌跡を算出する軌跡演
算ステップと、車両に設置される撮像部から、当該車両
の周辺を表す撮影画像を取得する取得ステップと、撮影
画像と予測軌跡と車両モデルとに基づいて、表示画像を
作成する画像処理ステップとを備え、画像処理ステップ
で作成される表示画像は、車両に設置される表示部で表
示され、予測軌跡上に配置された車両モデルを含む。[0018] A tenth invention is a program for generating a display image representing the periphery of the vehicle in order to assist driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance and the vehicle is installed. A trajectory calculation step of calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the steering angle detection unit, and obtaining a captured image representing the periphery of the vehicle from an imaging unit installed in the vehicle Step, based on the captured image, the predicted trajectory and the vehicle model, comprising an image processing step of creating a display image, the display image created in the image processing step is displayed on a display unit installed in the vehicle, Includes vehicle models located on the predicted trajectory.
【００１９】[0019]
【発明の実施の形態】以下、添付図面を参照しつつ本発
明の実施形態について説明する。図１は、本発明の実施
形態に係る運転支援システム１００のハードウェア構成
を示すブロック図である。この運転支援システム１００
は、入力装置１と、Ｎ台（Ｎは１以上の自然数）のカメ
ラ２1 〜２N と、舵角センサ３と、ＲＯＭ４、ＲＡＭ５
およびＣＰＵ６からなる描画装置１０と、表示装置８と
を備えている。Embodiments of the present invention will be described below with reference to the accompanying drawings. FIG. 1 is a block diagram showing a hardware configuration of a driving support system 100 according to the embodiment of the present invention. This driving support system 100
Includes an input device 1, a camera 2 1 to 2 N for N units (N is a natural number of 1 or more), the steering angle sensor 3, ROM 4, RAM 5
And a drawing device 10 including a CPU 6 and a display device 8.
【００２０】入力装置１は、運転者による操作が可能な
位置に配置されており、リモートコントローラ、タッチ
パネル、操作ボタン等で構成される。カメラ２1 〜２N
は、車両の前後左右の所定位置に固定されていおり、当
該車両の周辺状況を示す画像を、撮影画像として取り込
む。また、各カメラ２1 〜２ N には、それぞれを特定す
るための識別値が割り当てられている。以下、説明の便
宜のため、本実施形態では、識別値として、各カメラの
参照符号“２”に振られている添え字を用いる。舵角セ
ンサ３は、車両の所定位置に取り付けられており、ステ
アリングの舵角量を検出する。The input device 1 can be operated by a driver.
Position, remote control, touch
It is composed of a panel, operation buttons and the like. Camera 21~ 2N
Are fixed at predetermined positions on the front, rear, left and right sides of the vehicle.
Captures an image showing the situation around the vehicle as a captured image
No. In addition, each camera 21~ 2 NIdentify each
Identification value is assigned. Below, the explanation service
For the sake of convenience, in the present embodiment, the identification value of each camera is used as the identification value.
The suffix assigned to reference numeral “2” is used. Steering angle
The sensor 3 is attached to a predetermined position of the vehicle.
Detects the steering angle of the ring.
【００２１】ＣＰＵ６は、ＲＯＭ４内のプログラムに従
って動作する。これによって、ＣＰＵ６は、車両の予測
軌跡を算出するための軌跡演算手段、および画像処理を
行う画像処理手段として機能し、請求項における表示画
像を生成する。また、この動作中、ＲＡＭ５は、ＣＰＵ
６の作業領域として使用される。このＲＡＭ５内には、
カメラ２1 〜２N による撮影画像のデータを格納するた
めの領域として、各カメラ２1 〜２N につき少なくとも
１フレーム分の領域（以下、フレームバッファと称す）
が確保されている。さらに、ＲＡＭ５には、表示画像が
作成される領域として、フレームメモリが確保されてい
る。The CPU 6 operates according to a program in the ROM 4. Thus, the CPU 6 functions as a trajectory calculation unit for calculating a predicted trajectory of the vehicle and an image processing unit for performing image processing, and generates a display image in claims. During this operation, the RAM 5 stores the CPU
6 is used as a work area. In this RAM 5,
As an area for storing data of the image captured by the camera 2 1 to 2 N, at least one frame area per each camera 2 1 to 2 N (hereinafter, referred to as frame buffer)
Is secured. Further, a frame memory is secured in the RAM 5 as an area where a display image is created.
【００２２】さらに、ＲＯＭ４には、自車両の３次元モ
デルを表すデータも格納されている。なお、この自車両
モデルのサイズは、原則として自車両のサイズと同一で
あるが、他の車両等の障害物との接触を確実に防止する
ために、自車両のサイズよりも所定量だけ大きなサイズ
としてもよい。Further, the ROM 4 also stores data representing a three-dimensional model of the vehicle. The size of the own vehicle model is, in principle, the same as the size of the own vehicle. However, in order to reliably prevent contact with an obstacle such as another vehicle, the size of the own vehicle model is larger than the size of the own vehicle by a predetermined amount. It is good also as size.
【００２３】表示装置８は、液晶ディスプレイ等の画面
を有しており、ＣＰＵ６が生成した表示画像を表示す
る。The display device 8 has a screen such as a liquid crystal display, and displays a display image generated by the CPU 6.
【００２４】上記構成のシステム１００による支援を運
転者が必要とするのは、並列駐車時または縦列駐車時が
典型的である。運転者は、例えば並列駐車の時のように
本システム１００の支援が必要な時、入力装置１を操作
する。The driver typically needs the assistance of the system 100 having the above-described structure during parallel parking or parallel parking. The driver operates the input device 1 when assistance of the present system 100 is required, for example, in parallel parking.
【００２５】入力装置１は、運転者が並列駐車をする旨
を入力した場合、並列駐車用の動作を行うようにＣＰＵ
６に指示する。ＣＰＵ６は、入力装置１からの指示に応
答して、ＲＯＭ４内のプログラムに従って、図２に示す
処理手順を開始する。The input device 1 controls the CPU to perform an operation for parallel parking when the driver inputs that parking is to be performed.
Instruct 6 The CPU 6 starts the processing procedure shown in FIG. 2 according to the program in the ROM 4 in response to the instruction from the input device 1.
【００２６】図２の処理には車両の周辺状況を示す撮影
画像が必要となる。より具体的には、車両の前方または
後方を撮影した画像が必要となる。そのため、ＣＰＵ６
は、該当する位置にある少なくとも１台のカメラ２
i （ｉ＝１，２，…Ｎ）に画像を取り込むように指示す
る（ステップＳ１０）。該当するカメラ２i は、ＣＰＵ
６から取り込み指示を受け取ると、車両の周辺状況を示
す撮影画像を１フレーム分生成して、ＲＡＭ５に転送す
る。以下では、Ｎ台のカメラ２1 〜２N が画像取り込み
の指示を受けて、それぞれのために確保されたフレーム
バッファに転送するものとして説明する。The process shown in FIG. 2 requires a photographed image showing the situation around the vehicle. More specifically, an image of the front or rear of the vehicle is required. Therefore, CPU6
Represents at least one camera 2 at the corresponding position
i (i = 1, 2,... N) is instructed to capture an image (step S10). The corresponding camera 2 i is a CPU
When receiving the capture instruction from the CPU 6, the CPU 10 generates one frame of a captured image indicating the surroundings of the vehicle and transfers the captured image to the RAM 5. Hereinafter, N cameras 2 1 to 2 N receives the instruction of the image capture will be described as being transferred to the frame buffer that is reserved for each.
【００２７】ＣＰＵ６は、各カメラに画像取り込みを指
示した後、各カメラによる画像取り込みの動作と並行し
て、下記の動作を行う。After instructing each camera to capture an image, the CPU 6 performs the following operation in parallel with the operation of capturing an image by each camera.
【００２８】まず、ＣＰＵ６は、車両の軌跡を予測する
ために、舵角センサ３に舵角量を検出するように指示す
る（ステップＳ１２）。舵角センサ３は、ＣＰＵ６から
検出指示を受け取ると、現在の舵角量を検出して、その
検出結果をＣＰＵ６に送信する。First, the CPU 6 instructs the steering angle sensor 3 to detect the steering angle amount in order to predict the trajectory of the vehicle (step S12). When receiving the detection instruction from the CPU 6, the steering angle sensor 3 detects the current steering angle amount and transmits the detection result to the CPU 6.
【００２９】次に、ＣＰＵ６は、舵角センサ３から受け
取った検出結果に基づいて、現在の舵角量から予測され
る車両の軌跡Ｌを算出する（ステップＳ１４）。この予
測軌跡Ｌは、典型的には、車両がこれから移動する路面
上の軌跡である。Next, the CPU 6 calculates a trajectory L of the vehicle predicted from the current steering angle amount based on the detection result received from the steering angle sensor 3 (step S14). The predicted trajectory L is typically a trajectory on a road surface on which the vehicle will move.
【００３０】本実施形態は、予測軌跡Ｌに沿って自車両
が移動する過程において、当該自車両が他の車両等の障
害物と接触しないか否か等を運転者が容易に判断できる
ようにすることを目的として、運転支援システム１００
は、予測軌跡Ｌ上に自車両モデルを配置した周辺画像を
表示画像として表示する。このとき、自車両モデルは、
表示画像の構成要素として、自車両から離れる方向に予
測軌跡Ｌ上を所定量（以下、単位移動量と称す）ずつ移
動していくように表示され（図６参照）、自車両モデル
が所定の最大距離だけ移動すると、予め決められた初期
距離の位置に戻る。このような自車両モデルの表示を実
現するために、ＣＰＵ６は、ステップＳ１４の後、ステ
ップＳ１５で示される画像処理を行う。画像処理におい
て、ＣＰＵ６は、まず、図３に示す計算手順で、表示画
像の構成要素として表示すべき自車両モデルの予測軌跡
Ｌ上の位置（以下「表示自車両位置」という）を決定す
る（ステップＳ１６）。The present embodiment enables the driver to easily determine whether or not the own vehicle is in contact with an obstacle such as another vehicle while the own vehicle moves along the predicted trajectory L. Driving support system 100
Displays a surrounding image in which the own vehicle model is arranged on the predicted trajectory L as a display image. At this time, the vehicle model is
As a component of the display image, it is displayed so as to move on the predicted trajectory L by a predetermined amount (hereinafter, referred to as a unit movement amount) in a direction away from the own vehicle (refer to FIG. 6), and the own vehicle model is determined by a predetermined amount. After moving by the maximum distance, it returns to the position of the predetermined initial distance. In order to realize such display of the vehicle model, the CPU 6 performs the image processing shown in step S15 after step S14. In the image processing, the CPU 6 first determines a position on the predicted trajectory L of the own vehicle model to be displayed as a component of the display image (hereinafter, referred to as a “display own vehicle position”) in a calculation procedure shown in FIG. Step S16).
【００３１】以下、この計算手順を図３を参照して説明
する。なお、以下において、単位移動量は、自車両モデ
ルの１回分の移動量であり、例えば、０．５ｍに設定さ
れる。また、上記最大距離は、上述の通りであり、例え
ば、３ｍに設定される。さらに、「表示距離」は、表示
画像の構成要素として表示すべき自車両モデルが予測軌
跡Ｌに沿って移動した距離（現実の空間における距離）
であり、最初は初期距離に設定されているものとする。
ここで、初期距離は、自車両の直近に相当する距離であ
る。以上の単位移動量、最大距離および初期距離は、典
型的には、本運転支援システム１００の製造時等に、上
述のような適切な値に設定されるが、運転者の好みに応
じて変更できることが好ましい。Hereinafter, the calculation procedure will be described with reference to FIG. In the following, the unit movement amount is a movement amount of one time of the own vehicle model, and is set to, for example, 0.5 m. The maximum distance is as described above, and is set to, for example, 3 m. Further, the “display distance” is a distance (distance in a real space) that the own vehicle model to be displayed as a component of the display image has moved along the predicted trajectory L.
It is assumed that the initial distance is initially set.
Here, the initial distance is a distance corresponding to the immediate vicinity of the host vehicle. The above-described unit movement amount, maximum distance, and initial distance are typically set to appropriate values as described above at the time of manufacturing the driving support system 100, but are changed according to the driver's preference. Preferably it is possible.
【００３２】図２のステップＳ１６へ進むと、図３の計
算手順が呼び出され、ＣＰＵ６は、下記のように動作す
る。まず、前回に図３の計算手順を実行して得られた表
示距離を、前回表示距離として取り込む（ステップＳ１
００）。最初にこの計算手順が呼び出されたときには、
初期距離（自車両の直近に相当する距離）が前回の表示
距離となる。次に、この前回表示距離と単位移動量との
加算値を、今回の表示距離として算出し（ステップＳ１
０２）、今回の表示距離が、最大距離を越えているか否
かを判定する（ステップＳ１０４）。その判定の結果、
表示距離が最大距離を越えていれば、今回の表示距離を
初期距離に設定して（ステップＳ１０６）、ステップＳ
１０８へ進み、一方、今回の表示距離が最大距離以下で
あれば、無処理でステップＳ１０８に進む。ステップＳ
１０８では、ステップＳ１４で算出された予測軌跡Ｌか
ら、その開始点から今回の表示距離までに相当する部分
（以下、部分予測軌跡と称す）を選択する。以上の表示
予測軌跡から、表示距離に対応する予測軌跡Ｌ上の位置
（つまり、部分予測軌跡の終端位置）と、当該終端位置
における予測軌跡Ｌの方向とが得られるので、これらを
表示すべき自車両モデルの位置および方向（現実の空間
における位置および方向）に設定する（ステップＳ１１
０）（図６参照）。ここで、以下では、自車両モデルの
位置および方向を包括して自車両情報と称する。その
後、今回の表示距離を、次回にこの計算手順が呼び出さ
れたときに使用するために（ステップＳ１００参照）、
ＲＡＭ５に保存する（ステップＳ１１２）。When the process proceeds to step S16 of FIG. 2, the calculation procedure of FIG. 3 is called, and the CPU 6 operates as follows. First, the display distance obtained by executing the calculation procedure of FIG. 3 last time is taken in as the previous display distance (step S1).
00). When this calculation procedure is called for the first time,
The initial distance (the distance corresponding to the closest distance to the host vehicle) is the previous display distance. Next, the sum of the previous display distance and the unit movement amount is calculated as the current display distance (step S1).
02) It is determined whether or not the current display distance exceeds the maximum distance (step S104). As a result of the judgment,
If the display distance exceeds the maximum distance, the current display distance is set as the initial distance (step S106), and step S106 is performed.
If the current display distance is equal to or less than the maximum distance, the process proceeds to step S108 without any processing. Step S
At 108, a portion corresponding to the distance from the start point to the current display distance (hereinafter, referred to as a partial predicted trajectory) is selected from the predicted trajectory L calculated at step S14. The position on the predicted trajectory L corresponding to the display distance (that is, the end position of the partial predicted trajectory) and the direction of the predicted trajectory L at the ending position are obtained from the display predicted trajectory described above. Set to the position and direction of the vehicle model (the position and direction in the real space) (step S11)
0) (see FIG. 6). Here, the position and direction of the host vehicle model will be collectively referred to as host vehicle information. Then, in order to use this display distance the next time this calculation procedure is called (see step S100),
It is stored in the RAM 5 (step S112).
【００３３】以上のステップＳ１１２の終了後、ＣＰＵ
６は、ステップＳ１１０で設定された表示自車両情報に
基づき、図４に示す生成手順を呼び出して実行し、自車
両合成画像を生成する（図２のステップＳ１８）。図４
の生成手順に従って、ＣＰＵ６は、下記のように動作す
る。After the end of step S112, the CPU
6 calls and executes the generation procedure shown in FIG. 4 based on the displayed own-vehicle information set in step S110, and generates the own-vehicle composite image (step S18 in FIG. 2). FIG.
CPU 6 operates as follows according to the generation procedure of.
【００３４】まず、ステップＳ１１０で設定された位置
および方向に配置され、表示画像の構成要素となる自車
両モデルが実空間において占有する範囲を、ＣＰＵ６は
計算する（ステップＳ２００）。次に、各カメラの識別
値（前述）を特定する変数ｊを“１”に初期化し（ステ
ップＳ２０２）、上記の占有範囲を有する自車両モデル
がカメラ２j の視野に入るか否かを判定する（ステップ
Ｓ２０４）。その判定の結果、自車両モデルが視野に入
らなければ、変数ｊを１だけ増加させて再びステップＳ
２０４を実行する。その判定の結果、自車両モデルが視
野に入れば、カメラ２j から見たときの自車両モデル
を、自車両モデル画像として生成する（ステップＳ２０
６）。First, the CPU 6 calculates a range occupied in the real space by the own vehicle model which is arranged in the position and the direction set in step S110 and is a constituent element of the display image (step S200). Next, a variable j for specifying the identification value (described above) of each camera is initialized to "1" (step S202), and it is determined whether or not the own vehicle model having the above occupation range is within the field of view of the camera 2j. (Step S204). As a result of the determination, if the own vehicle model does not enter the field of view, the variable j is increased by 1 and step S
Step 204 is executed. A result of the determination, the vehicle model when placed in a field of view, the vehicle model as viewed from the camera 2 j, to generate a vehicle model image (step S20
6).
【００３５】次に、ＣＰＵ６は、カメラ２j から撮影画
像を取得できるまで待機する（ステップＳ２０８）。か
かる画像取得が終了すると、ＲＡＭ５におけるカメラ２
j 用のフレームバッファ（以下、処理対象のフレームバ
ッファと称す）には、当該カメラ２j によって生成され
た撮影画像が格納されていることになる。ステップＳ２
０８の次に、ＣＰＵ６は、処理対象のフレームバッファ
上で、それに格納されている撮影画像に、ステップ２０
６で生成された自車両モデル画像を合成して、自車両合
成画像を１フレーム分作成する（ステップＳ２１０）。
その後、ｊ≧Ｎか否か、すなわち、全てのカメラ２1 〜
２N について上記ステップＳ２０４の判定を行ったか否
かを判定する（ステップＳ２１２）。その判定の結果、
ｊ＜Ｎであれば、変数ｊを１だけ増加させてステップＳ
２０４へ戻る。[0035] Next, CPU 6 waits from camera 2 j until it can acquire a captured image (step S208). When the image acquisition is completed, the camera 2 in the RAM 5
The captured image generated by the camera 2 j is stored in the frame buffer for j (hereinafter, referred to as a frame buffer to be processed). Step S2
After step 08, the CPU 6 adds the photographed image stored in the frame buffer to be processed to step 20 in the frame buffer to be processed.
The self-vehicle model image generated in step 6 is synthesized to create a self-vehicle composite image for one frame (step S210).
Then, j ≧ N or not, that is, all the cameras 2 1 to
It is determined whether 2N has been determined in step S204 (step S212). As a result of the judgment,
If j <N, the variable j is increased by 1 and step S
Return to 204.
【００３６】ステップＳ２０４に戻って以降、他のカメ
ラについて同様の処理が実行され、表示画像の生成のた
めに使用すべき全てのカメラ２1 〜２N について、上記
の処理が終了すれば（ｊ＝Ｎとなれば）、必要な自車両
合成画像の生成が終了したと判断し、図２のステップＳ
２０へ進む。[0036] Thereafter the process returns to step S204, the same processing for the other camera is performed for all of the camera 2 1 to 2 N to be used for the generation of the display image, if the above processing is finished (j = N), it is determined that the generation of the necessary host vehicle composite image has been completed, and step S in FIG.
Proceed to 20.
【００３７】そして、ＣＰＵ６は、各カメラ２1 〜２N
にそれぞれ対応するＲＡＭ５内の各フレームバッファに
格納されている撮影画像または自車両合成画像に対し、
所定の合成マップにしたがって視点変換処理を行って、
前述のフレームメモリに視点変換画像を生成する（ステ
ップＳ２０）。ここで、視点変換画像とは、予め定めら
れた仮想視点から自車両の周辺を見た画像である。ま
た、仮想視点とは、各カメラ２1 〜２N の視点とは相違
し、自車両位置と駐車位置との間の周辺状況を運転手が
把握するのに適した視点が選ばれる。好ましくは、仮想
視点は、自車両の天井近傍または、天井上方に設定され
る。Then, the CPU 6 determines whether each of the cameras 2 1 to 2 N
With respect to the captured image or the host vehicle composite image stored in each frame buffer in the RAM 5 corresponding to
Perform a viewpoint conversion process according to a predetermined composite map,
A viewpoint conversion image is generated in the above-mentioned frame memory (step S20). Here, the viewpoint conversion image is an image of the periphery of the own vehicle viewed from a predetermined virtual viewpoint. In addition, the virtual viewpoint, different from the point of view of the camera 2 1 to 2 N, viewpoint of the driver near situation suitable for grasping between the parking position and the vehicle position is selected. Preferably, the virtual viewpoint is set near the ceiling of the own vehicle or above the ceiling.
【００３８】ここで、上述から明らかなように、いずれ
かのフレームバッファには、自車両合成画像が格納され
ている。このため、視点変換画像は、上述の仮想視点か
ら見た時の自車両モデルの画像を含むことになる。な
お、本実施形態においても、従来と同様に、フレームバ
ッファ内の画像（撮影画像および自車両合成画像）の各
画素が路面にマッピングされ、各画素がマッピングされ
た路面を仮想視点から見た画像が生成される。このた
め、視点変換画像に現れる物体の高さ成分を無視される
ので、各物体（他の車両、配置自車両モデル、障害物）
は歪んで現れる。Here, as is clear from the above, one of the frame buffers stores the own vehicle composite image. For this reason, the viewpoint conversion image includes the image of the own vehicle model when viewed from the virtual viewpoint. In the present embodiment, as in the related art, each pixel of the image (the captured image and the host vehicle composite image) in the frame buffer is mapped to the road surface, and an image obtained by viewing the road surface to which each pixel is mapped from a virtual viewpoint. Is generated. For this reason, since the height component of the object appearing in the viewpoint conversion image is ignored, each object (other vehicle, own vehicle model, obstacle, etc.)
Appears distorted.
【００３９】次に、ＣＰＵ６は、ステップＳ１４で算出
された予測軌跡Ｌを上記の視点変換画像に重畳すること
により、表示画像を生成する（ステップＳ２２）。そし
て、ＣＰＵ６は、作成した表示画像を表示装置８へと転
送し、当該表示装置８に表示画像を表示させる（ステッ
プＳ２４）。この表示画像は、図５（ｂ）に示すよう
に、予測軌跡Ｌ上に配置された自車両モデルＩmdを含ん
でいる。また、以上のようにして表示画像の構成要素と
なる自車両モデルＩmdは、図２に示した処理が繰り返さ
れることにより、予測軌跡上を自車両から遠ざかる方向
に単位移動量ずつ移動し、所定距離だけ移動すると初期
距離に戻る。Next, the CPU 6 generates a display image by superimposing the predicted trajectory L calculated in step S14 on the viewpoint-converted image (step S22). Then, the CPU 6 transfers the created display image to the display device 8 and causes the display device 8 to display the display image (step S24). This display image includes the own vehicle model Imd arranged on the predicted trajectory L as shown in FIG. As described above, the own vehicle model Imd, which is a component of the display image, moves on the predicted trajectory by a unit movement amount in a direction away from the own vehicle by repeating the processing shown in FIG. After moving the distance, it returns to the initial distance.
【００４０】以上のように本実施形態によれば、表示画
像には、自車両の予測軌跡上に配置された自車両モデル
が、自車両から離れる方向の周辺状況を表す画像に合成
される。しかも、自車両モデルＩmdは、自車両から離れ
る方向に予測軌跡上を所定量ずつ移動していくように表
示される。そのため、運転者は、予測軌跡上にある駐車
位置を正確に把握することができ、さらに、当該駐車位
置に自車両が入るか否かを正確に判断することができ
る。さらに、運転者は、表示画像上で、予測軌跡Ｌ上を
移動する自車両モデルＩmdが他の車両に代表される障害
物と接触しないか否か等を容易に判断することができ
る。As described above, according to the present embodiment, the own vehicle model arranged on the predicted trajectory of the own vehicle is combined with the image representing the surrounding situation in the direction away from the own vehicle in the display image. Moreover, the host vehicle model Imd is displayed so as to move on the predicted trajectory by a predetermined amount in a direction away from the host vehicle. Therefore, the driver can accurately grasp the parking position on the predicted trajectory, and can accurately determine whether or not the own vehicle enters the parking position. Further, the driver can easily determine whether or not the own vehicle model Imd moving on the predicted trajectory L does not contact an obstacle represented by another vehicle on the display image.
【００４１】上述したように、視点変換画像を作成する
場合には、それに現れる物体の高さ成分が無視されるの
で、当該各物体は歪んだ状態で表示される。しかし、本
実施形態によれば、図４に示すように、各カメラの撮影
画像にそのカメラ位置から見た自車両モデルが合成さ
れ、自車両合成画像が作成される。以上のような自車両
合成画像に基づいて視点変換画像が作成される。このた
め、表示画像を構成する各物体（他の車両を含む障害物
等）が合成マップに応じて歪んでも、自車両モデルも同
じように歪んで表示画像に現れる。そのため、運転者
は、表示画像上で自車両モデルと障害物とを見ることに
より、自車両が障害物と接触しないか否か等を正しく判
断することができる。ここで、もし、自車両モデルを歪
ませないとすると、当該自車両モデルと歪んでいる障害
物との位置関係が正しく表示させなくなるので、運転者
は上述の接触判断を正確に行えなくなる。As described above, when a viewpoint-converted image is created, since the height component of the object appearing in the image is ignored, each object is displayed in a distorted state. However, according to the present embodiment, as shown in FIG. 4, the own vehicle model viewed from the camera position is synthesized with the captured image of each camera, and an own vehicle composite image is created. A viewpoint conversion image is created based on the host vehicle composite image as described above. For this reason, even if each object (an obstacle including another vehicle, etc.) constituting the display image is distorted in accordance with the composite map, the own vehicle model also appears distorted in the display image. Therefore, the driver can correctly determine whether or not the own vehicle is in contact with the obstacle by looking at the own vehicle model and the obstacle on the display image. Here, if the host vehicle model is not distorted, the positional relationship between the host vehicle model and the distorted obstacle cannot be displayed correctly, so that the driver cannot perform the above-described contact determination accurately.
【００４２】さらに、以上のような表示画像により、自
車両モデルが予測軌跡Ｌ上を動くように表示されるの
で、運転者は、駐車位置までに存在する障害物に自車両
が接触するか否かを判断できるので、たとえ、駐車スペ
ースを示す白線等の目印が無くても、駐車位置に車両が
入るかどうかを運転者は判断することが可能となる。Further, since the own vehicle model is displayed so as to move on the predicted trajectory L by the display image as described above, the driver can determine whether or not the own vehicle comes into contact with an obstacle existing up to the parking position. Therefore, even if there is no mark such as a white line indicating the parking space, the driver can determine whether or not the vehicle enters the parking position.
【００４３】ところで、上記実施形態では、駐車位置に
車両を入れる際には自車両モデルを含む表示画像が表示
されるが、駐車場においては、車両１台毎の駐車スペー
スを示す目印として白線等による特定パターン（通常は
矩形パターン）が路面に付されている場合がある。この
場合には、その特定パターンによって、自車両が駐車す
べき位置を正確に運転者は認識することができる。以上
のことから、表示画像には、予測軌跡が構成要素として
表示されていれば十分であり、自車両モデルは必ずしも
必要ではない。したがって、カメラによって得られた撮
影画像に基づき、上述の特定パターンが車両の進行方向
に存在するか否かを検出する処理を、ＣＰＵ６が行っ
て、そのような特定パターンが検出された場合には、自
車両モデルが表示画像に現れないようにしてもよい。な
お、車両周辺の撮影画像等から駐車位置を示す白線等に
よる特定パターンを検出する技術は、当該技術分野にお
いて公知である。また、自車両モデルの画像が表示画像
に現れないようにするには、例えば、図４におけるステ
ップＳ２１０を実行しないようにすればよい。In the above embodiment, a display image including the own vehicle model is displayed when the vehicle is parked at the parking position. However, in the parking lot, a white line or the like is used as a mark indicating the parking space for each vehicle. There is a case where a specific pattern (usually a rectangular pattern) is attached to the road surface. In this case, the driver can accurately recognize the position where the host vehicle should park based on the specific pattern. From the above, it is sufficient that the predicted locus is displayed as a component in the display image, and the own vehicle model is not necessarily required. Therefore, based on the captured image obtained by the camera, the CPU 6 performs a process of detecting whether or not the above-described specific pattern exists in the traveling direction of the vehicle, and when such a specific pattern is detected, Alternatively, the host vehicle model may not appear in the display image. A technique for detecting a specific pattern based on a white line or the like indicating a parking position from a captured image around a vehicle or the like is known in the art. In order to prevent the image of the own vehicle model from appearing in the display image, for example, step S210 in FIG. 4 may not be performed.
【００４４】なお、既述のように、自車両モデルのサイ
ズを自車両の実際のサイズよりも適切な量だけ大きなサ
イズ（大きめのサイズ）とすると、他の車両等の障害物
との接触防止を図る上で有効である。As described above, if the size of the own vehicle model is set to a size larger than the actual size of the own vehicle by a suitable amount (larger size), contact with an obstacle such as another vehicle is prevented. It is effective in aiming at.
【００４５】また、以上の実施形態では、ＲＯＭ５にプ
ログラムが格納されていた。しかし、これに限らず、プ
ログラムは、ＣＤ−ＲＯＭに代表される記録媒体に記録
された状態で頒布されてもよいし、インターネットに代
表される通信ネットワークを通じて頒布されてもよい。Further, in the above embodiment, the program is stored in the ROM 5. However, the present invention is not limited thereto, and the program may be distributed in a state recorded on a recording medium represented by a CD-ROM, or may be distributed through a communication network represented by the Internet.
【００４６】また、上述のステップＳ２１０のように、
自車両モデルが単純に合成されてしまうと、表示画像に
映る車両の前方または後方の状況が部分的に、当該自車
両モデルで隠れてしまう。そのため、ステップＳ２１０
において、自車両モデルは、半透明で合成されてもよい
し、ワイヤーフレームで合成されてもよい。これによっ
て、描画装置１０は、死角領域のない表示画像を生成す
ることができ、ドライバは、車両の前方または後方の状
況を広い範囲にわたって、確認することができる。ま
た、特に、ワイヤーフレームで自車両モデルが描画され
る場合には、自車両モデルを単純に描画する場合と比較
して演算量を減らすことができる。Also, as in step S210 described above,
If the own vehicle model is simply synthesized, the situation in front of or behind the vehicle shown in the display image is partially hidden by the own vehicle model. Therefore, step S210
In, the own vehicle model may be synthesized translucently or may be synthesized with a wire frame. Thereby, the drawing device 10 can generate a display image without a blind spot area, and the driver can check the situation in front of or behind the vehicle over a wide range. In particular, when the own vehicle model is drawn in the wire frame, the amount of calculation can be reduced as compared with the case where the own vehicle model is simply drawn.
【００４７】また、以上の実施形態では、図５等から明
らかなように、並列駐車の場合を想定していた。しか
し、描画装置１０の処理は、縦列駐車の場合にも、同様
に適用することができる。Further, in the above embodiment, as apparent from FIG. 5 and the like, the case of parallel parking was assumed. However, the processing of the drawing device 10 can be similarly applied to parallel parking.
【図１】本発明の実施形態に係る運転支援システムのハ
ードウェア構成を示すブロック図。FIG. 1 is a block diagram showing a hardware configuration of a driving support system according to an embodiment of the present invention.
【図２】図１のＣＰＵ６の処理手順を示すフローチャー
ト。FIG. 2 is a flowchart showing a processing procedure of a CPU 6 of FIG. 1;
【図３】本発明の実施形態において表示すべき自車両モ
デルの位置（表示自車両位置）を計算するための手順を
示すフローチャート。FIG. 3 is a flowchart showing a procedure for calculating a position of a host vehicle model to be displayed (display host vehicle position) in the embodiment of the present invention.
【図４】本発明の実施形態において自車両合成画像を生
成するための手順を示すフローチャート。FIG. 4 is a flowchart showing a procedure for generating a host vehicle composite image in the embodiment of the present invention.
【図５】本発明の実施形態に係る表示装置８の表示画像
の一例を示す図。FIG. 5 is a view showing an example of a display image of the display device 8 according to the embodiment of the present invention.
【図６】図３のステップＳ１１０で設定される自車両モ
デルの位置（表示自車両位置）の計算を説明するための
図。FIG. 6 is a view for explaining calculation of a position of a host vehicle model (display host vehicle position) set in step S110 in FIG. 3;
【図７】従来の運転支援システムにおいて表示される表
示画像を示す図。FIG. 7 is a diagram showing a display image displayed in a conventional driving support system.
１…入力装置 ２1 〜２N …カメラ ３…舵角センサ ４…ＲＯＭ ５…ＲＡＭ ６…ＣＰＵ ８…表示装置 １０…描画装置 １００…運転支援システム1 ... Input device 2 1 to 2 N ... camera 3 ... steering angle sensor 4 ... ROM 5 ... RAM 6 ... CPU 8 ... display 10 ... drawing device 100 ... driving support system
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２６ Ｂ６０Ｒ 21/00 ６２６Ｇ Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ｂ 3/00 ３００ 3/00 ３００ 17/40 17/40 Ａ (72)発明者 石田 明 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 吉田 崇 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5B050 AA00 BA06 BA09 EA17 5B057 AA16 BA02 CA13 CA16 CB13 CB16 CC01 CE08 CH01 CH11 CH14 DA07 DA16 DB03 DB09 DC08 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) B60R 21/00 626 B60R 21/00 626G G06T 1/00 330 G06T 1/00 330B 3/00 300 3/00 300 17/40 17/40 A (72) Inventor Akira Ishida 1006 Kadoma Kadoma, Osaka Prefecture Matsushita Electric Industrial Co., Ltd. (72) Takashi Yoshida 1006 Odaka Kadoma Kadoma City, Osaka Matsushita Electric Industrial Co., Ltd. F term (reference) 5B050 AA00 BA06 BA09 EA17 5B057 AA16 BA02 CA13 CA16 CB13 CB16 CC01 CE08 CH01 CH11 CH14 DA07 DA16 DB03 DB09 DC08
Claims (10)
の周辺を表す表示画像を生成する描画装置であって、 前記車両を表す車両モデルを格納する車両モデル保持手
段と、 前記車両の設置される舵角検出手段から得られる当該車
両の蛇角に基づいて、当該車両の予測軌跡を算出する軌
跡演算手段と、 前記車両に設置される撮像手段から、当該車両の周辺を
表す撮影画像を取得する取得手段と、 前記撮影画像と前記予測軌跡と前記車両モデルとに基づ
いて、表示画像を作成する画像処理手段とを備え、 前記画像処理手段で作成される表示画像は、前記車両に
設置される表示手段で表示され、前記予測軌跡上に配置
された前記車両モデルを含む、描画装置。1. A drawing device for generating a display image representing the periphery of a vehicle in order to assist driving of the vehicle, a vehicle model holding unit storing a vehicle model representing the vehicle, and installation of the vehicle. A trajectory calculation means for calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the steering angle detection means, and a photographed image representing the periphery of the vehicle from an imaging means installed in the vehicle. Acquiring means for acquiring, and image processing means for creating a display image based on the photographed image, the predicted trajectory, and the vehicle model, wherein the display image created by the image processing means is installed in the vehicle. A drawing device that includes the vehicle model displayed on the display unit and displayed on the predicted trajectory.
て、 前記画像処理手段は、 前記車両モデルを配置すべき前記予測軌跡上の位置を決
定する車両位置決定手段と、 前記車両モデル保持手段に格納される車両モデルに基づ
いて、前記撮像手段の視点から見た自車両モデル画像を
生成する自車両モデル画像作成手段と、 前記自車両モデル画像を、前記取得手段により取得され
た撮影画像に合成して、自車両合成画像を生成する自車
両合成画像生成手段とを含み、 前記自車両合成画像に基づいて、前記表示画像を作成す
る、請求項１に記載の描画装置。2. The vehicle model is a three-dimensional model, wherein the image processing means includes: a vehicle position determining means for determining a position on the predicted trajectory where the vehicle model is to be arranged; Own vehicle model image creating means for generating an own vehicle model image viewed from the viewpoint of the imaging means based on the stored vehicle model; and synthesizing the own vehicle model image with the captured image acquired by the acquiring means. The drawing apparatus according to claim 1, further comprising: a host vehicle composite image generating unit configured to generate a host vehicle composite image, wherein the display image is created based on the host vehicle composite image.
記車両の周辺を撮影して、当該周辺を表す撮影画像を生
成する複数台のカメラを含み、 前記画像処理手段は、予め定められた仮想視点から前記
車両の周辺を見た視点変換画像を生成する視点変換画像
生成手段をさらに含み、 前記自車両合成画像生成手段は、前記複数台のカメラか
ら前記取得手段が取得した撮影画像に基づいて、自車両
合成画像を生成し、 前記視点変換画像生成手段は、前記自車両合成画像生成
手段で生成された自車両合成画像に基づいて、前記視点
変換画像を生成し、 前記視点変換画像に基づいて、前記表示画像が作成され
る、請求項２に記載の描画装置。3. The image pickup means includes a plurality of cameras for photographing the periphery of the vehicle from each viewpoint and generating a photographed image representing the periphery, and wherein the image processing means includes a predetermined virtual camera. The image processing apparatus further includes a viewpoint conversion image generation unit that generates a viewpoint conversion image that looks at the periphery of the vehicle from a viewpoint, and the own vehicle composite image generation unit is based on a captured image acquired by the acquisition unit from the plurality of cameras. Generating a host vehicle composite image, the viewpoint conversion image generation unit generates the viewpoint conversion image based on the host vehicle composite image generated by the host vehicle synthesis image generation unit, and based on the viewpoint conversion image. 3. The drawing apparatus according to claim 2, wherein the display image is created.
に前記予測軌跡を重畳して、表示画像を生成する表示画
像生成手段をさらに含む、請求項３に記載の描画装置。4. The drawing apparatus according to claim 3, wherein the image processing unit further includes a display image generating unit configured to generate a display image by superimposing the predicted trajectory on the viewpoint-converted image.
車位置を示す特定パターンがあるかないかを判断する特
定パターン判断手段をさらに備え、 前記画像処理手段は、前記パターン判断部により前記特
定パターンが存在すると判断された場合には、前記車両
モデルを含まない表示画像を生成する、請求項１に記載
の描画装置。5. The apparatus according to claim 1, further comprising: a specific pattern determining unit configured to determine whether there is a specific pattern indicating a parking position of the vehicle based on the captured image. The drawing device according to claim 1, wherein when it is determined that there is a display image, a display image not including the vehicle model is generated.
段により取得された撮影画像に、半透明の前記自車両モ
デル画像を合成して、自車両合成画像を生成する、請求
項２に記載の描画装置。6. The own-vehicle composite image generating unit generates the own-vehicle composite image by synthesizing the translucent own-vehicle model image with the captured image acquired by the acquiring unit. Drawing equipment.
段により取得された撮影画像に、ワイヤーフレームの前
記自車両モデル画像を合成して、自車両合成画像を生成
する、請求項２に記載の描画装置。7. The host-vehicle composite image generation unit generates the host-vehicle composite image by synthesizing the host-vehicle model image of a wire frame with the captured image acquired by the acquisition unit. Drawing equipment.
の周辺を表す表示画像を生成する描画方法であって、 前記車両を表す車両モデルが予め格納されており、 前記車両の設置される舵角検出手段から得られる当該車
両の蛇角に基づいて、当該車両の予測軌跡を算出する軌
跡演算ステップと、 前記車両に設置される撮像手段から、当該車両の周辺を
表す撮影画像を取得する取得ステップと、 前記撮影画像と前記予測軌跡と前記車両モデルとに基づ
いて、表示画像を作成する画像処理ステップとを備え、 前記画像処理ステップで作成される表示画像は、前記車
両に設置される表示手段で表示され、前記予測軌跡上に
配置された前記車両モデルを含む、描画方法。8. A drawing method for generating a display image representing a periphery of the vehicle in order to assist driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance, and the vehicle is installed. A trajectory calculating step of calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the steering angle detection means; and obtaining a captured image representing the periphery of the vehicle from the imaging means installed in the vehicle. An acquiring step; and an image processing step of creating a display image based on the photographed image, the predicted trajectory, and the vehicle model, wherein the display image created in the image processing step is installed in the vehicle. A drawing method, comprising: the vehicle model displayed on display means and arranged on the predicted trajectory.
の周辺を表す表示画像を生成するプログラムを記録した
記録媒体であって、 前記車両を表す車両モデルが予め格納されており、 前記車両の設置される舵角検出手段から得られる当該車
両の蛇角に基づいて、当該車両の予測軌跡を算出する軌
跡演算ステップと、 前記車両に設置される撮像手段から、当該車両の周辺を
表す撮影画像を取得する取得ステップと、 前記撮影画像と前記予測軌跡と前記車両モデルとに基づ
いて、表示画像を作成する画像処理ステップとを備え、 前記画像処理ステップで作成される表示画像は、前記車
両に設置される表示手段で表示され、前記予測軌跡上に
配置された前記車両モデルを含む、プログラムを記録し
た記録媒体。9. A recording medium for recording a program for generating a display image representing the periphery of the vehicle in order to support driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance, and A trajectory calculating step of calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the steering angle detection means installed in the vehicle; and photographing the periphery of the vehicle from the imaging means installed in the vehicle. An image acquisition step of acquiring an image, and an image processing step of creating a display image based on the photographed image, the predicted trajectory, and the vehicle model, wherein the display image created in the image processing step is the vehicle A recording medium on which a program is recorded, the program including the vehicle model displayed on the display unit and displayed on the predicted trajectory.
両の周辺を表す表示画像を生成するプログラムであっ
て、 前記車両を表す車両モデルが予め格納されており、 前記車両の設置される舵角検出手段から得られる当該車
両の蛇角に基づいて、当該車両の予測軌跡を算出する軌
跡演算ステップと、 前記車両に設置される撮像手段から、当該車両の周辺を
表す撮影画像を取得する取得ステップと、 前記撮影画像と前記予測軌跡と前記車両モデルとに基づ
いて、表示画像を作成する画像処理ステップとを備え、 前記画像処理ステップで作成される表示画像は、前記車
両に設置される表示手段で表示され、前記予測軌跡上に
配置された前記車両モデルを含む、プログラム。10. A program for generating a display image representing the periphery of a vehicle in order to support driving of the vehicle, wherein a vehicle model representing the vehicle is stored in advance, and a rudder on which the vehicle is installed A trajectory calculating step of calculating a predicted trajectory of the vehicle based on the steering angle of the vehicle obtained from the angle detecting means; and obtaining a photographic image representing the periphery of the vehicle from the imaging means installed in the vehicle. And an image processing step of creating a display image based on the captured image, the predicted trajectory, and the vehicle model. The display image created in the image processing step is a display installed in the vehicle. A program including the vehicle model displayed by the means and arranged on the predicted trajectory.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001197042A JP4493885B2 (en) | 2000-06-30 | 2001-06-28 | Driving support system |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000199516 | 2000-06-30 | ||
| JP2000-199516 | 2000-06-30 | ||
| JP2001197042A JP4493885B2 (en) | 2000-06-30 | 2001-06-28 | Driving support system |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002087191A true JP2002087191A (en) | 2002-03-26 |
| JP2002087191A5 JP2002087191A5 (en) | 2007-07-26 |
| JP4493885B2 JP4493885B2 (en) | 2010-06-30 |
Family
ID=26595169
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001197042A Expired - Fee Related JP4493885B2 (en) | 2000-06-30 | 2001-06-28 | Driving support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4493885B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030001289A (en) * | 2001-06-22 | 2003-01-06 | 가부시키가이샤 도요다 지도숏키 | Parking assisting device |
| JP2005142657A (en) * | 2003-11-04 | 2005-06-02 | Denso Corp | Apparatus for controlling display of surrounding of vehicle |
| JP2005186758A (en) * | 2003-12-25 | 2005-07-14 | Equos Research Co Ltd | Parking assist device |
| JP2010212857A (en) * | 2009-03-09 | 2010-09-24 | Denso Corp | Image display device for vehicle |
| KR101251729B1 (en) * | 2009-02-25 | 2013-04-05 | 주식회사 만도 | Method and Apparatus for Controlling Parking |
| JP2017224881A (en) * | 2016-06-13 | 2017-12-21 | 株式会社デンソー | Image generating apparatus and program |
| JP2018041176A (en) * | 2016-09-05 | 2018-03-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Parking position identifying method, parking position learning method, parking position identification system, parking position learning device and program |
| WO2018220912A1 (en) * | 2017-06-02 | 2018-12-06 | アイシン精機株式会社 | Periphery monitoring device |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6414700A (en) * | 1987-07-08 | 1989-01-18 | Aisin Aw Co | Device for displaying prospective track of vehicle |
| JPH0399952A (en) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | Surrounding situation monitor for vehicle |
| JPH04163249A (en) * | 1990-10-26 | 1992-06-08 | Nissan Motor Co Ltd | Obstruction detecting device for vehicle |
| JPH0717328A (en) * | 1993-06-30 | 1995-01-20 | Mitsubishi Motors Corp | Circumference recognition auxiliary device for vehicle |
| JPH1178692A (en) * | 1997-09-03 | 1999-03-23 | Nissan Motor Co Ltd | Image display device for vehicle |
| JPH11157404A (en) * | 1997-11-26 | 1999-06-15 | Toyota Motor Corp | Parking support device |
| JPH11208420A (en) * | 1998-01-27 | 1999-08-03 | Nissan Motor Co Ltd | Parking guiding device and automatic parking device |
| JPH11339194A (en) * | 1998-05-28 | 1999-12-10 | Aisin Seiki Co Ltd | Parking aiding device |
| JP2000078566A (en) * | 1998-08-31 | 2000-03-14 | Aisin Seiki Co Ltd | Parking auxiliary device |
| JP2000127874A (en) * | 1998-10-20 | 2000-05-09 | Nissan Motor Co Ltd | Rear confirming device for vehicle |
| JP2000168475A (en) * | 1998-12-03 | 2000-06-20 | Aisin Aw Co Ltd | Parking support device |
-
2001
- 2001-06-28 JP JP2001197042A patent/JP4493885B2/en not_active Expired - Fee Related
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6414700A (en) * | 1987-07-08 | 1989-01-18 | Aisin Aw Co | Device for displaying prospective track of vehicle |
| JPH0399952A (en) * | 1989-09-12 | 1991-04-25 | Nissan Motor Co Ltd | Surrounding situation monitor for vehicle |
| JPH04163249A (en) * | 1990-10-26 | 1992-06-08 | Nissan Motor Co Ltd | Obstruction detecting device for vehicle |
| JPH0717328A (en) * | 1993-06-30 | 1995-01-20 | Mitsubishi Motors Corp | Circumference recognition auxiliary device for vehicle |
| JPH1178692A (en) * | 1997-09-03 | 1999-03-23 | Nissan Motor Co Ltd | Image display device for vehicle |
| JPH11157404A (en) * | 1997-11-26 | 1999-06-15 | Toyota Motor Corp | Parking support device |
| JPH11208420A (en) * | 1998-01-27 | 1999-08-03 | Nissan Motor Co Ltd | Parking guiding device and automatic parking device |
| JPH11339194A (en) * | 1998-05-28 | 1999-12-10 | Aisin Seiki Co Ltd | Parking aiding device |
| JP2000078566A (en) * | 1998-08-31 | 2000-03-14 | Aisin Seiki Co Ltd | Parking auxiliary device |
| JP2000127874A (en) * | 1998-10-20 | 2000-05-09 | Nissan Motor Co Ltd | Rear confirming device for vehicle |
| JP2000168475A (en) * | 1998-12-03 | 2000-06-20 | Aisin Aw Co Ltd | Parking support device |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030001289A (en) * | 2001-06-22 | 2003-01-06 | 가부시키가이샤 도요다 지도숏키 | Parking assisting device |
| JP2005142657A (en) * | 2003-11-04 | 2005-06-02 | Denso Corp | Apparatus for controlling display of surrounding of vehicle |
| JP4679816B2 (en) * | 2003-11-04 | 2011-05-11 | 株式会社デンソー | Vehicle periphery display control device |
| JP2005186758A (en) * | 2003-12-25 | 2005-07-14 | Equos Research Co Ltd | Parking assist device |
| KR101251729B1 (en) * | 2009-02-25 | 2013-04-05 | 주식회사 만도 | Method and Apparatus for Controlling Parking |
| JP2010212857A (en) * | 2009-03-09 | 2010-09-24 | Denso Corp | Image display device for vehicle |
| JP2017224881A (en) * | 2016-06-13 | 2017-12-21 | 株式会社デンソー | Image generating apparatus and program |
| WO2017217422A1 (en) * | 2016-06-13 | 2017-12-21 | 株式会社デンソー | Image generation device and program |
| CN109314766A (en) * | 2016-06-13 | 2019-02-05 | 株式会社电装 | Video generation device and program |
| JP2018041176A (en) * | 2016-09-05 | 2018-03-15 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Parking position identifying method, parking position learning method, parking position identification system, parking position learning device and program |
| WO2018220912A1 (en) * | 2017-06-02 | 2018-12-06 | アイシン精機株式会社 | Periphery monitoring device |
| JP2018203031A (en) * | 2017-06-02 | 2018-12-27 | アイシン精機株式会社 | Surroundings monitoring device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4493885B2 (en) | 2010-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4412380B2 (en) | Driving support device, driving support method, and computer program | |
| JP4863791B2 (en) | Vehicle peripheral image generation apparatus and image switching method | |
| JP4844323B2 (en) | Parking assistance device and parking assistance method | |
| JP6451840B2 (en) | Information presentation system | |
| US6366221B1 (en) | Rendering device | |
| JP2005112004A (en) | Vehicle reversing motion assisting device and vehicle reversing motion assisting method | |
| JP2002166802A (en) | Device for monitoring around vehicle | |
| JP2012071635A5 (en) | ||
| JP2007325166A (en) | Parking support program, parking supporting apparatus, and parking supporting screen | |
| JP2005001570A (en) | Parking support device | |
| JP2012071635A (en) | Parking assistance device | |
| JP2001218197A (en) | Device for displaying periphery of vehicle | |
| JP5471141B2 (en) | Parking assistance device and parking assistance method | |
| JP2003182489A (en) | Parking support device | |
| JP2012176748A (en) | Parking assisting system | |
| JP2005038225A (en) | Lane follow-up device | |
| JPH10117340A (en) | Vehicle periphery monitoring device, alarm display method to be used for device and medium-storing display method | |
| JP2008030705A (en) | Display system for vehicle circumference image display system | |
| JP2002087191A (en) | Driving supporting system | |
| JP2008080959A (en) | Parking assistant device and parking assistant method | |
| JP2005057536A (en) | Video presentation apparatus | |
| JP4857159B2 (en) | Vehicle driving support device | |
| JP6148848B2 (en) | In-vehicle image processing device | |
| KR101861523B1 (en) | Apparatus and method for supporting driving of vehicle | |
| JP4545485B2 (en) | Stop position detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090901 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091028 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100407 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |