JP4901287B2 - Driving support device - Google Patents
Driving support device Download PDFInfo
- Publication number
- JP4901287B2 JP4901287B2 JP2006120732A JP2006120732A JP4901287B2 JP 4901287 B2 JP4901287 B2 JP 4901287B2 JP 2006120732 A JP2006120732 A JP 2006120732A JP 2006120732 A JP2006120732 A JP 2006120732A JP 4901287 B2 JP4901287 B2 JP 4901287B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- vehicle
- information
- collision
- past
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、走行支援装置に係り、特に車両の走行中に事故が発生しやすい状況を検出して運転者に注意を促す等の操作を行う走行支援装置に関する。 The present invention relates to a driving support device, and more particularly to a driving support device that detects a situation in which an accident is likely to occur during driving of a vehicle and performs an operation such as urging a driver to pay attention.
自動車やトラック等の車両を運転する際の状況判断や危険要因の確認は、もっぱら運転者自身の注意力や観察力に依存している。そのため、運転者の体調や心理状態によって注意力が散漫になるなどして歩行者や自転車、他の車両の見落とし等が発生し、最悪の場合には、歩行者等との衝突事故の発生につながる場合がある。 Situation judgments and confirmation of risk factors when driving a vehicle such as an automobile or a truck depend solely on the driver's own attention and observation. For this reason, attention may be distracted depending on the physical condition and psychological state of the driver, resulting in oversight of pedestrians, bicycles, and other vehicles. In the worst case, collisions with pedestrians may occur. May lead to a connection.
このような歩行者等の見落としや衝突事故の発生を回避するために、歩行者等との衝突可能性を判断して安全走行を支援する走行支援装置が種々開発されている。 In order to avoid such oversight of pedestrians and the occurrence of collision accidents, various driving support devices that support safe driving by judging the possibility of collision with pedestrians and the like have been developed.
例えば、いわゆるカーナビゲーションシステムを活用して、その地図データ等に基づいて交差点の幅員や種別、交差点における道路の接続関係等からその交差点が運転ミスを犯しやすい交差点であるか否かを評価し、要注意と判定された交差点の手前で警報音声を発するように構成した運転支援装置が知られている(特許文献1参照)。 For example, using a so-called car navigation system, based on the map data etc., evaluate whether the intersection is likely to make a driving mistake from the width and type of the intersection, the connection relationship of the road at the intersection, etc. There is known a driving support device configured to emit an alarm sound before an intersection determined to be important (see Patent Document 1).
また、警察や情報センタ等から提供された事故が多発する箇所の緯度、経度を表す位置情報や事故の種類等に関する情報を記憶した事故多発ポイントデータベースを備え、車両が事故多発ポイントに接近すると、データベースから注意コードを読み出して特徴的な警報音を発する走行支援装置が提案されている(特許文献2参照)。 In addition, it is equipped with an accident frequent occurrence point database that stores information on the latitude and longitude of locations where accidents frequently occur from the police and information centers, etc., and information on the type of accident, etc., when the vehicle approaches the accident frequent occurrence point, A driving support device that reads out a caution code from a database and emits a characteristic alarm sound has been proposed (see Patent Document 2).
さらに、運転者が運転中にヒヤリとしたりハッとしたような場合の危険情報を、その危険な状態が発生した場所や危険の種類等を含む情報として運転者や住民から自動収集して蓄積し、車載の端末からの要求に応じて危険情報を配信する危険情報集配信装置が提案されている(特許文献3参照)。車載の端末は、危険地区の直前や危険地区の通過中に警告音を発するなどする。
しかしながら、これらの走行支援装置や危険情報集配信装置では、交差点自体の形状等から要注意と判定された交差点や事故多発ポイント、危険地区においては、運転者が十分に注意をし確認をしている場合にも警報音等が発せられ、しかもそれが危険地区等ごとに行われることになる。 However, in these driving support devices and danger information collection and distribution devices, the driver pays sufficient attention and checks at intersections, accident-prone points, and dangerous areas that are determined to be cautioned based on the shape of the intersection itself. Even if there is a warning sound, etc., it is performed for each dangerous area.
そのため、運転者は煩わしさを感じて装置を操作して警報音を発声しないようにしてしまったり、或いは、運転者が警報音に慣れてしまい注意を喚起できなくなったりして、警報が意味をなさなくなってしまうおそれがある。 For this reason, the driver feels bothered to operate the device so that the warning sound is not produced, or the driver gets used to the warning sound and cannot draw attention, and the warning is meaningful. There is a risk that it will disappear.
歩行者等との衝突を効果的に回避し、安全走行を有効に支援するためには、前記のような一般的な事故多発ポイント等に基づくよりは、むしろ運転者自身に着目して衝突回避等を行うことが必要である。つまり、現在の自車両の走行状態や自車両の周囲環境が、運転者が過去に事故を起こし或いは事故を起こしそうになったときと同じような走行状態等であるにもかかわらず、運転者が以前と同様の操作を行っている場合には注意を喚起し、或いは衝突回避措置をとるようにする方が効果的であると考えられる。 In order to effectively avoid collisions with pedestrians and effectively support safe driving, avoid collisions by focusing on the drivers themselves rather than on the basis of frequent accidents such as those described above. Etc. are necessary. That is, although the current driving state of the host vehicle and the surrounding environment of the host vehicle are the same driving state as when the driver had caused an accident in the past or is about to cause an accident, the driver It is considered that it is more effective to call attention or take a collision avoidance measure when performing the same operation as before.
本発明は、前記事情に鑑みてなされたものであり、運転者が過去に事故を起こし或いは事故を起こしそうになった状況と同様の状況で同様の操作を行っている場合に的確に走行支援を行うことができる走行支援装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and accurately supports driving when the driver performs the same operation in a situation similar to the situation in which the accident has occurred or is likely to cause an accident in the past. An object of the present invention is to provide a driving support device capable of performing the above.
前記の問題を解決するために、請求項1に記載の発明は、
自車両の衝突の可能性を判断して車両の走行支援を行う走行支援装置において、
自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータを検出する検出装置と、
前記検出装置で検出された前記データに基づいて、衝突の可能性が高い走行状態および周囲環境であるか否かを判定する判定する判定手段と、
前記判定手段が衝突の可能性が高い走行状態および周囲環境であるであると判断した場合に、それより所定時間遡った時点における自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータを所定手順で計算して得られたデータを、自車両における過去の危険情報のデータとして記憶する記憶装置と、
前記検出装置により検出された現サンプリング時における自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータと前記記憶装置に記憶された前記過去の危険情報のデータとの相関状態を示す相関値を算出し、算出された相関値が予め設定された閾値を超えたか否かにより現サンプリング時における衝突の可能性の有無を判断する判断手段と
を備えることを特徴とする。
In order to solve the above-mentioned problem, the invention according to claim 1
In a driving support device that determines the possibility of a collision of the host vehicle and supports driving of the vehicle,
A detection device for detecting data relating to the running state of the host vehicle and data relating to the surrounding environment of the host vehicle ;
Determination means for determining whether or not the driving state and the surrounding environment have a high possibility of collision based on the data detected by the detection device;
When the determination unit determines that the driving state and the surrounding environment have a high possibility of a collision, the data on the driving state of the own vehicle and the data on the surrounding environment of the own vehicle at a time point that is a predetermined time later than the predetermined state the data obtained from Step a storage device for storing the data of the past danger information in the vehicle,
A correlation value indicating a correlation state between the data relating to the traveling state of the own vehicle at the time of the current sampling detected by the detection device and the data relating to the surrounding environment of the own vehicle and the data of the past danger information stored in the storage device; calculated, the correlation value calculated is equal to or obtaining Bei a determination means for determining whether the possibility of collision at the time of the current sampling by whether exceeds a preset threshold.
請求項1に記載の発明によれば、走行支援装置の検出装置はステアリングホイールの舵角や車速、アクセル開度、ブレーキ油圧等の自車両の走行状態に関するデータを検出し、記憶装置は自車両において過去に急ブレーキを踏む等の事象が生じ衝突の可能性があった場合のステアリングホイールの舵角等の自車両の走行状態に関するデータを記憶する。また、判断手段は、現在検出手段から入力されるそれらのデータを、記憶装置に記憶された過去の危険情報のデータと照合してそれらの相関値を算出し、その相関の度合が高く相関値が予め設定された閾値を超えた場合には衝突の可能性があると判断する。また、走行支援装置で検出され判定や判断に用いられるデータとして、自車両の走行状態を表すデータだけでなく、交差点であるか否か、直進かカーブか等の道路形状の情報や市街地か郊外か等のエリアの情報等を含む自車両の周囲の環境に関するデータも用いられる。 According to the first aspect of the present invention, the detection device of the driving support device detects data related to the traveling state of the host vehicle such as the steering angle of the steering wheel, the vehicle speed, the accelerator opening, and the brake hydraulic pressure, and the storage device stores the host vehicle. In this case, data relating to the traveling state of the host vehicle such as the steering angle of the steering wheel when an event such as sudden braking has occurred in the past and there is a possibility of a collision is stored. In addition, the judging means collates the data input from the current detecting means with the data of past danger information stored in the storage device, calculates their correlation value, and the correlation value is high. If it exceeds a preset threshold value, it is determined that there is a possibility of collision. In addition to data indicating the driving state of the host vehicle, the data detected by the driving support device and used for determination and judgment, road shape information such as whether the vehicle is an intersection, whether it is straight or curved, and urban or suburban Data relating to the environment around the host vehicle including information on such areas is also used.
請求項2に記載の発明は、請求項1に記載の走行支援装置において、前記判断手段は、前記相関値に基づいて衝突の可能性があると判断した場合に、自車両の所定の応動部を作動させることを特徴とする。 According to a second aspect of the present invention, in the driving support apparatus according to the first aspect, when the determination unit determines that there is a possibility of a collision based on the correlation value, a predetermined response unit of the host vehicle is provided. Is operated.
請求項2に記載の発明によれば、判断手段は、相関値が大きく現在のデータと過去の危険情報のデータとの相関の度合が高いと判断した場合には、自車両の警報装置やアシスト制御装置等の応動部を作動させて走行支援を行う。 According to the second aspect of the present invention, when the determining means determines that the correlation value is large and the degree of correlation between the current data and the past risk information data is high, an alarm device or assist device for the own vehicle is provided. Driving support is performed by operating a response unit such as a control device.
請求項3に記載の発明は、請求項1に記載の走行支援装置において、
前記判定手段は、衝突の可能性が高い走行状態であると判定した場合に前記検出装置により検出されたデータから特徴量を算出し、前記特徴量を前記自車両における過去の危険情報のデータとして前記記憶装置に記憶させ、
前記判断手段は、前記検出装置により検出されたデータから特徴量を算出し、算出した特徴量と前記記憶装置に記憶された前記過去の危険情報のデータとしての特徴量との相関値を算出することを特徴とする。
The invention according to claim 3 is the driving support device according to claim 1 ,
The determination means calculates a feature amount from data detected by the detection device when it is determined that the traveling state has a high possibility of a collision, and the feature amount is used as past risk information data in the host vehicle. Storing in the storage device;
The determination unit calculates a feature amount from data detected by the detection device, and calculates a correlation value between the calculated feature amount and the feature amount as data of the past danger information stored in the storage device. It is characterized by that.
請求項3に記載の発明によれば、判定手段は、前記自車両における過去の危険情報のデータを記憶させる際に、検出装置が検出したそのままのデータではなく、データの傾向を反映した特徴量に圧縮して記憶させる。また、判断手段は、現在のデータから特徴量を算出し、過去の特徴量としての危険情報のデータとの相関値を算出してその相関の度合が高く相関値が予め設定された閾値を超えた場合には衝突の可能性があると判断する。 According to a third aspect of the present invention, the determination means stores feature data that reflects a tendency of data instead of the raw data detected by the detection device when storing past risk information data in the host vehicle. Compressed into memory. In addition, the judging means calculates a feature amount from the current data, calculates a correlation value with risk information data as a past feature amount, the degree of the correlation is high, and the correlation value exceeds a preset threshold value. If there is a collision, it is determined that there is a possibility of a collision.
請求項1に記載の発明によれば、相関値が最大値に近い値であり、相関の度合が高い場合は、自車両における現在の走行状態が過去に事故を起こし或いは事故を起こしそうになった状況と同様の状況であり、運転者が過去と同じような操作を行っていることが分かるから、前記相関値を算出して判断することで効果的かつ的確に走行支援を行うことが可能となる。 According to the first aspect of the present invention, when the correlation value is a value close to the maximum value and the degree of correlation is high, the current running state of the host vehicle is likely to cause an accident or an accident in the past. The situation is similar to the situation described above, and it can be seen that the driver is performing the same operation as in the past, so it is possible to provide driving assistance effectively and accurately by calculating and determining the correlation value. It becomes.
また、過去の危険情報のデータを衝突の可能性があった事象の例えば数秒前までのデータとして蓄積し、それと現在のデータとの相関をとることで、衝突の可能性がある事象が生じる数秒前に衝突の可能性が高いか否かの判断を行うことが可能となる。そのため、十分に余裕をもって走行支援を行うことが可能となる。
また、走行支援装置で検出され判定や判断に用いられるデータとして、自車両の走行状態を表すデータだけでなく、道路形状の情報やエリアの情報等を含む自車両の周囲環境に関するデータを用いることで、衝突の可能性があった過去の事象がいかなる周囲環境においてどのような走行状態で生じたかを把握できる。しかも、現在の走行状態と周囲環境がその過去の状況と似ているか否かを的確に判断することが可能となり、前記各請求項に記載の発明の効果がより確実に発揮されるとともに、装置の信頼性をより向上させることが可能となる。
また、判定手段が、例えば急ブレーキが踏まれた際に衝突の可能性が高い走行状態であったと判定して、その際の各データを記憶装置に蓄積していくため、地図上の一般的な事故多発ポイントとしてではなく、自車両における過去の危険情報としてデータが蓄積される。そのため、障害物や歩行者等に対する運転者の見落としの癖や傾向にあわせて的確な衝突回避等の走行支援を行うことが可能となる。
In addition, past dangerous information data is accumulated as data up to several seconds before an event that may have caused a collision, and by correlating it with the current data, several seconds when an event that has the possibility of a collision occurs. It becomes possible to determine whether or not there is a high possibility of collision before. Therefore, it is possible to provide driving support with a sufficient margin.
Also, as data used for determination and judgment detected by the driving support device, not only data indicating the driving state of the host vehicle but also data related to the surrounding environment of the host vehicle including road shape information, area information, and the like are used. Thus, it is possible to grasp in what surrounding environment and in what running state a past event that may have caused a collision. Moreover, it is possible to accurately determine whether or not the current running state and the surrounding environment are similar to the past situation, and the effects of the invention described in the above claims can be more reliably exhibited, and the device It becomes possible to further improve the reliability of.
In addition, the determination means determines that the traveling state has a high possibility of a collision when, for example, sudden braking is performed, and accumulates each data at that time in a storage device. Data is accumulated not as a frequent accident point, but as past danger information in the vehicle. Therefore, it is possible to perform driving support such as accurate collision avoidance according to the tendency or tendency of the driver to overlook obstacles and pedestrians.
請求項2に記載の発明によれば、相関値が大きく、現在の走行状態では過去の事象と同様に障害物や歩行者等と衝突して事故を起こし或いは衝突しそうになると判断される場合には、走行支援装置は、例えば自車両の警報装置を作動させて運転者に注意を喚起し、或いはアシスト制御装置を作動させて衝突回避のための動作を行わせる。そのため、前記請求項1に記載の効果がより的確に発揮される。 According to the second aspect of the present invention, when it is determined that the correlation value is large and the current running state collides with an obstacle, a pedestrian, or the like as in the past event, causes an accident or is likely to collide. For example, the driving support device activates an alarm device of the own vehicle to alert the driver, or operates the assist control device to perform an operation for avoiding a collision. Therefore, the effect of the said Claim 1 is exhibited more correctly.
請求項3に記載の発明によれば、走行状態を表すステアリングホイールの舵角や速度、アクセル開度、ブレーキ油圧等の情報については、現時点のみのデータではなく、それ以前からの一定時間の時系列的なデータを用いた方がより的確な走行支援を行うことができる。 According to the invention described in claim 3 , the information such as the steering angle and speed of the steering wheel, the accelerator opening degree, and the brake hydraulic pressure representing the running state is not data only at the present time, but at a certain time from before. More accurate driving support can be performed by using sequential data.
その際、現在の時系列的なデータと過去の危険情報としての時系列的なデータとのそれぞれの時系列的データから特徴量を抽出してその相関を求めることで、現在の状況が、衝突の可能性があった過去の状況と似ているか否か、またどの程度似ているかを明確にすることが可能となり、装置の信頼性やロバスト性を向上させることができる。 At that time, by extracting feature values from the respective time-series data of the current time-series data and the time-series data as past danger information, the current situation is determined as a collision. Therefore, it is possible to clarify whether and how much the situation is similar to the past situation, and it is possible to improve the reliability and robustness of the apparatus.
また、本実施形態のように特徴量を抽出するように構成すれば、データ量を軽減させ、検索や計算をより短時間で行うことが可能となり、前記各請求項に記載の発明の効果をより効果的に発揮させることができる。 Further, if the feature amount is extracted as in the present embodiment, the data amount can be reduced, and the search and calculation can be performed in a shorter time, and the effects of the invention described in the above claims can be achieved. It can be exhibited more effectively.
以下、本発明に係る走行支援装置の実施の形態について、図面を参照して説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, an embodiment of a driving support apparatus according to the present invention will be described with reference to the drawings.
本実施形態に係る走行支援装置は、図示しないCPUやROM、RAM、入出力インターフェース等がバスにより接続されたコンピュータにより構成されている。なお、本実施形態の走行支援装置を、例えば、ECU(Electric Control UnitまたはEngine Control Unit)に内蔵させてECUと一体的に構成することも可能である。 The driving support apparatus according to the present embodiment is configured by a computer in which a CPU, a ROM, a RAM, an input / output interface and the like (not shown) are connected by a bus. In addition, it is also possible to integrate the driving assistance apparatus of this embodiment into ECU (Electric Control Unit or Engine Control Unit), for example, and to be integrated with ECU.
走行支援装置1は、図1に示すように、検出装置2と、判定手段3と、記憶装置4と、判断手段5とを備えている。本実施形態では、検出装置2は、各種センサ類6、ナビゲーション装置7および周囲環境認識装置8で構成されている。
As illustrated in FIG. 1, the travel support device 1 includes a
本実施形態の走行支援装置1には、各種センサ類6として車速を検出する車速センサ、ブレーキ操作を検出する油圧センサ、ステアリング角度を検出する舵角センサ、アクセル操作を検出するアクセル開度センサ、自車両の加速度を検出する加速度センサが備えられており、さらにライトスイッチ操作情報、ウインカスイッチ操作情報、ワイパスイッチ操作情報、ブレーキ操作情報、サイドブレーキ操作情報、時間情報が入力されるようになっている。
The travel support apparatus 1 of the present embodiment includes a vehicle speed sensor that detects a vehicle speed as
これらの測定値や情報は、各種センサ類6から判定手段3に送信されるようになっている。なお、時間情報としては、日付、時刻、季節、昼夜が入力される。なお、これら以外のセンサによる測定値や情報が入力されるように構成されることも可能である。
These measurement values and information are transmitted from the
また、ナビゲーション装置7には、GPS(Global Positioning System)レシーバ等を有していて自車両の位置情報を取得可能であり、交差点、直進またはカーブ、車線数、一般道か高速道路かの道路形状を判別可能で、市街地、郊外、山岳を判別可能な地図情報を備える公知の装置が用いられている。これらの情報は、ナビゲーション装置7から判定手段3に送信されるようになっている。
In addition, the
周囲環境認識装置8は、車両の周囲環境をCCD(Charge Coupled Device)カメラ等の撮像装置で撮像して、道路面の白線までの距離や信号の有無、壁の有無を検出し、自車両から他の車両等の障害物までの距離、歩行者までの距離を検出するための装置である。なお、本実施形態で道路面の白線とは、区画線や車両通行帯境界線等の車線を区画する白色や黄色等の直線や破線で表される標示のことをいう。
The surrounding
本実施形態では、周囲環境認識装置8には、本出願人の出願に係る特願2004−252521に記載された立体物監視装置が用いられている。ここで、立体物監視装置について簡単に説明する。
In the present embodiment, the surrounding
立体物監視装置9は、図2に示すように距離計測装置10と画像処理装置14とを備えている。
The three-dimensional
距離計測装置10には、CCDカメラ等の水平方向に一定距離離れた2台の撮像装置11a、11bと、イメージプロセッサ12と、メモリ13が備えられている。イメージプロセッサ12では撮像装置11a、11bで撮像された図3に例示されるような一対の撮像画像Pに基づいて同一の立体物に対する視差が算出され、算出された視差よりなる図4に示されるような距離画像Dがメモリ13に送られて記憶されるようになっている。なお、図3では一対の撮像画像のうち撮像装置11aで撮像された基準となる撮像画像が例示されている。
The
画像処理装置14の道路形状検出部15および立体検出部16には、インターフェース回路17を介して距離計測装置10のメモリ13から距離画像Dが入力されるようになっており、また、I/Oインターフェース回路18を介して前述した車速センサ21や舵角センサ22から測定値が入力されるようになっている。また、画像処理装置14には、処理中のデータを一時保存するためのメモリ19および処理済みのデータを判定手段3に出力するための出力部20が備えられている。
A distance image D is input from the
画像処理装置14では、前記視差を用いることで、下記(1)〜(3)式に従って自車両からその立体物までの実空間上の距離を求めるようになっている。
In the
すなわち、図3に示すように距離画像Dの左下隅を原点として横方向をi座標軸、縦方向をj座標軸とし、距離画像D上の点(i,j)に対応する視差をdpijと表す。また、実空間上の3次元座標系を自車両に固定の座標系とし、X軸を車両の進行方向に向かって横方向(右方向が正)、Y軸を車両の上下方向(上方向が正)、Z軸を車両の前後方向(前方向が正)とし、原点を2台の撮像装置11a、11bの中央真下の道路面上の点とする。
That is, as shown in FIG. 3, the horizontal axis is the i coordinate axis and the vertical direction is the j coordinate axis with the lower left corner of the distance image D as the origin, and the parallax corresponding to the point (i, j) on the distance image D is expressed as dpij. Further, the three-dimensional coordinate system in the real space is a coordinate system fixed to the host vehicle, the X axis is the lateral direction (right direction is positive) toward the traveling direction of the vehicle, and the Y axis is the vertical direction of the vehicle (up direction is Positive), the Z-axis is the front-rear direction of the vehicle (the forward direction is positive), and the origin is a point on the road surface directly below the center of the two
この場合、画像処理装置14では、距離画像上の点(i,j)および視差dpijから実空間上の点(x,y,z)への座標変換は、下記(1)〜(3)式に基づいて行われるようになっている。
x=CD/2+z×PW×(i−IV) …(1)
y=CH+z×PW×(j−JV) …(2)
z=CD/(PW×dpij) …(3)
In this case, in the
x = CD / 2 + z * PW * (i-IV) (1)
y = CH + z * PW * (j-JV) (2)
z = CD / (PW × dpij) (3)
ここで、CDは2台の撮像装置11a、11bの間隔、PWは1画素当たりの視野角、CHは2台の撮像装置11a、11bの取り付け高さ、IVおよびJVは車両の正面の無限遠点の距離画像上のi座標およびj座標を表す。
Here, CD is the distance between the two
道路形状検出部15は、前記距離画像D上の点(i,j)および視差dpijを実空間上の点(x,y,z)に座標変換し、その中から道路上の白線を抽出し、抽出した道路上の白線を下記の(4)式および(5)式で表される直線の折れ線で近似して道路形状を認識するように構成されている。得られた直線式の道路形状パラメータa、b、c、dは、メモリ19に送信されて保存されるようになっている。
x=a×z+b …(4)
y=c×z+d …(5)
The road
x = a × z + b (4)
y = c × z + d (5)
また、道路形状検出部15は、前記(4)、(5)式に基づいて、自車両の車体中心から右側の白線までの距離および左側の白線までの距離を算出し、算出したそれぞれの距離の情報を判定手段3に送信するようになっている。
Further, the road
立体物検出部16では、距離画像Dが図5に示されるように水平方向に所定間隔で各区分Cに分割され、各区分Cに含まれる点のうち道路形状検出部15で検出された道路形状の道路表面より上側にある点について実空間上の距離のヒストグラムが作成され、その最頻値が算出されて、各区分Cにつきその最頻値を自車両からの距離として有する立体物が抽出されるようになっている。
In the three-dimensional
また、立体物検出部16では、各区分毎に検出された立体物の位置が互いに近接する点が1つのグループにまとめられ、図6に示されるように、各グループに属する点が車幅方向にほぼ平行に並ぶ場合には物体Oとして、また、点が進行方向にほぼ平行に並ぶ場合には側壁Wとして立体物が検出されるようになっている。
Further, in the three-dimensional
立体物検出部16は、検出した物体Oおよび側壁Wの形状や大きさ、道路面に対する速度等から、物体Oおよび側壁Wについて信号の有無および自車両の右側、左側または両側に壁があるか否かを分類して抽出し、判定手段3に送信するようになっている。
The three-dimensional
また、立体物検出部16は、検出した物体Oおよび側壁Wに基づいて他の車両等の障害物および人物を分類して抽出し、自車両に対して進行方向すなわち前記z軸方向の距離が最も近い障害物や人物について、障害物までの進行方向距離および横方向すなわち前記x方向の距離、および人物までの進行方向距離および横方向距離をそれぞれ算出してその情報を判定手段3に送信するようになっている。
Further, the three-dimensional
判定手段3には、前記検出装置2としての前記各種センサ類6、ナビゲーション装置7および周囲環境認識装置8から下記表1に示される各データが入力されるようになっている。本実施形態では、判定手段3には、図示しないリングバッファが設けられており、書き込みポインタをシフトさせながら所定の時間間隔で送信されてくるこれらのデータを順次リングバッファに記録するようになっている。
Each data shown in the following Table 1 is input to the determination means 3 from the
なお、前記表1において、右白線距離または左白線距離が10m以上の場合は右白線距離Drまたは左白線距離Dlはそれぞれ10mとされ、対人進行方向距離または対物進行方向距離が100m以上の場合は対人進行方向距離Mzまたは対物進行方向距離Ozはそれぞれ100mとされ、対人横方向距離または対物横方向距離が20m以上または−20m以下の場合は対人横方向距離Mxまたは対物横方向距離Oxはそれぞれ20mまたは−20mとされる。なお、各横方向距離Mx、Oxは、自車両位置を基準に右方向を正値、左方向を負値として表している。 In Table 1, when the right white line distance or the left white line distance is 10 m or more, the right white line distance Dr or the left white line distance Dl is 10 m, respectively. When the interpersonal traveling direction distance or the objective traveling direction distance is 100 m or more, The interpersonal travel direction distance Mz or the objective travel direction distance Oz is 100 m. When the interpersonal lateral distance or the objective lateral direction distance is 20 m or more and −20 m or less, the interpersonal lateral distance Mx or the objective lateral direction distance Ox is 20 m, respectively. Or -20 m. The lateral distances Mx and Ox are expressed with a positive value for the right direction and a negative value for the left direction based on the vehicle position.
判定手段3は、検出装置2により検出されたデータに基づいて衝突の可能性が高い走行状態および周囲環境であるか否かを判定し、衝突の可能性が高い走行状態および周囲環境であると判定した場合に、検出装置2により検出されたデータを自車両における過去の危険情報のデータとして記憶装置4に記憶させるようになっている。
Based on the data detected by the
本実施形態では、判定手段3は、急ブレーキが踏まれたときや自車両に大きな加速度が生じたときに衝突の可能性が高い走行状態および周囲環境であると判定するようになっている。すなわち、判定手段3は、ブレーキ油圧Bpの測定値の変化量が予め設定された閾値を超えた場合、または加速度センサによる加速度aの測定値の絶対値が予め設定された閾値を超えた場合に、衝突の可能性が高い走行状態および周囲環境であると判定するようになっている。 In the present embodiment, the determination means 3 determines that the vehicle is in a traveling state and the surrounding environment where the possibility of a collision is high when a sudden brake is stepped on or when a large acceleration is generated in the host vehicle. That is, the determination means 3 is used when the amount of change in the measured value of the brake hydraulic pressure Bp exceeds a preset threshold value, or when the absolute value of the measured value of acceleration a by the acceleration sensor exceeds a preset threshold value. It is determined that the driving state and the surrounding environment have a high possibility of collision.
検出装置2により検出されたデータを自車両における過去の危険情報のデータとして記憶装置4に記憶させる際、判定手段3は、リングバッファに記録されたその事象が生じる2秒前の表1記載の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報の各データを読み出して、下記(6)〜(10)式に従って各データを正規化されたベクトルの形に変換して自車両における過去の危険情報のデータとして記憶装置4に記憶させるようになっている。
When the data detected by the
さらに、判定手段3は、表1のステアリング情報、速度情報、アクセル情報およびブレーキ情報については、その事象が生じる7秒前から2秒前までの5秒間のデータをそれぞれリングバッファから読み出し、各データから特徴量を算出してそれらの特徴量を自車両における過去の危険情報のデータとして記憶装置4に記憶させるようになっている。 Further, for the steering information, speed information, accelerator information, and brake information in Table 1, the determination means 3 reads out data for 5 seconds from 7 seconds to 2 seconds before the occurrence of the event from the ring buffer. Thus, the feature amounts are calculated and stored in the storage device 4 as past risk information data in the host vehicle.
本実施形態では、判定手段3は、リングバッファからステアリング情報である舵角δのデータを前記5秒間分読み出して正規化してメモリ上に一列に配列し、その配列された時系列データに高速フーリエ変換(FFT:Fast Fourier Transform)を施し、下記(11)式に基づいて離散的フーリエ変換を行って周波数スペクトルXb(i)を求める。 In this embodiment, the determination means 3 reads the steering angle δ data, which is steering information, from the ring buffer for 5 seconds, normalizes it, arranges it in a line on the memory, and fast Fourier transforms the arranged time series data. Transform (FFT: Fast Fourier Transform) is performed, and discrete Fourier transform is performed based on the following equation (11) to obtain a frequency spectrum X b (i).
ここで、xb(i)は前記5秒間分の舵角δのデータ列、Nは5秒間の全サンプル数、Tsはサンプリング間隔を表し、iは0〜N−1の各値をとり周波数成分番号を表す。また、添字bは、自車両における過去の危険情報のデータであることを示す。 Here, x b (i) is a data string of the steering angle δ for 5 seconds, N is the total number of samples for 5 seconds, Ts is a sampling interval, and i is a value between 0 and N−1. Indicates the component number. The subscript b indicates data of past danger information in the host vehicle.
判定手段3は、続いて、下記(12)式に基づいてXb(i)からパワースペクトルΦb(i)を算出する。 Subsequently, the determination unit 3 calculates the power spectrum Φ b (i) from X b (i) based on the following equation (12).
そして、本実施形態では、周波数成分番号i=0、1、…、N/2−1の中からパワースペクトルΦb(i)のピーク値として4番目まで大きい4つの周波数成分番号max1、max2、max3、max4を舵角δの特徴量として抽出するようになっている。 In this embodiment, the frequency component numbers i = 0, 1,..., N / 2-1 have the four largest frequency component numbers max1, max2, up to the fourth peak value of the power spectrum Φ b (i). max3 and max4 are extracted as characteristic amounts of the steering angle δ.
判定手段3は、同様にして、速度情報、アクセル情報およびブレーキ情報である車速V、アクセル開度Aおよびブレーキ油圧Bpについてもそれぞれ4個の特徴量を算出するようになっている。 Similarly, the determination unit 3 calculates four feature amounts for the vehicle speed V, the accelerator opening A, and the brake hydraulic pressure Bp, which are speed information, accelerator information, and brake information.
判定手段3は、このようにして、衝突の可能性が高い走行状態および周囲環境であると判定した1つの事象に対して、表1記載の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報について変換してベクトル化された各データと、ステアリング情報、速度情報、アクセル情報およびブレーキ情報についてそれぞれ算出した4個の特徴量max1、max2、max3、max4とを記憶装置4に記憶させるようになっている。 In this way, the determination means 3 performs the road shape, area information, time information, obstacle information, and obstacle information described in Table 1 for one event determined to be a traveling state and a surrounding environment with a high possibility of collision. Each data converted and vectorized with respect to vehicle switch information and four feature amounts max1, max2, max3, and max4 calculated for steering information, speed information, accelerator information, and brake information are stored in the storage device 4. It is like that.
また、本実施形態では、それらのデータおよび特徴量と、4個の特徴量にそれぞれ対応する周波数スペクトルXb(max1)、Xb(max2)、Xb(max3)、Xb(max4)をあわせて1組の自車両における過去の危険情報のデータとして記憶させるようになっている。そして、判定手段3は、衝突の可能性が高い事象が生じるごとに、1組の自車両における過去の危険情報のデータを記憶装置4に記憶させていくように構成されている。 Further, in the present embodiment, and their data and the feature, the frequency spectrum X b (max1) which correspond to the four characteristic quantity, X b (max2), X b (max3), X b and (max4) In addition, it is stored as past risk information data for a set of the vehicle. And the determination means 3 is comprised so that the data of the past danger information in one set of own vehicles may be memorize | stored in the memory | storage device 4 whenever the event with high possibility of a collision arises.
判定手段3には、記憶装置4と判断手段5とが接続されている。
A storage device 4 and a
記憶装置4は、例えば、HDD(Hard Disk Drive)等で構成されており、判定手段3から送信されてきた前記各データおよび周波数スペクトルとともに送信されてきた特徴量の組を、図7に示すように1つの事例として記憶するようになっている。なお、図7において、road、area、time、obj、sw、st、v、acc、brkはそれぞれ表1記載の道路形状、エリア情報、時間情報、障害物情報、車両スイッチ情報、ステアリング情報、速度情報、アクセル情報およびブレーキ情報を表す。 The storage device 4 is composed of, for example, an HDD (Hard Disk Drive) or the like, and a set of feature values transmitted together with the data and frequency spectrum transmitted from the determination means 3 is shown in FIG. Are stored as one case. In FIG. 7, road, area, time, obj, sw, st, v, acc, and brk are the road shape, area information, time information, obstacle information, vehicle switch information, steering information, and speed described in Table 1, respectively. Information, accelerator information and brake information.
また、記憶装置4は、判断手段5にも接続されており、記憶装置4は、判断手段5からの指示に応じて必要なデータを各事例ごとに読み出して判断手段5に送信するようになっている。
Further, the storage device 4 is also connected to the
判断手段5は、現在のデータと、記憶装置4に記憶された前記自車両における過去の危険情報のデータとを比較して、現在の自車両の走行状態や周囲環境が衝突の可能性が高い状態にあるか否かを判断するようになっている。現在のデータと自車両における過去の危険情報のデータとの比較は、それらの相関値を算出することにより行われるようになっている。 The judging means 5 compares the current data with the past risk information data of the host vehicle stored in the storage device 4, and the current running state of the host vehicle and the surrounding environment are highly likely to collide. It is determined whether or not it is in a state. The comparison between the current data and the past risk information data of the host vehicle is performed by calculating their correlation values.
判断手段5には、前記検出装置2で検出されて判定手段3に入力された表1記載の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報の現時点における各データが入力されるようになっている。判断手段5は、それらのデータに基づいて前記(6)〜(10)式に従って各データを正規化されたベクトルの形に変換するようになっている。
The determination means 5 receives the current data of the road shape, area information, time information, obstacle information, and vehicle switch information shown in Table 1 detected by the
そして、このようにしてベクトル化した各データと、記憶装置4に記憶されている複数組の自車両における過去の危険情報のデータのそれぞれとの相関値rroad、rarea、rtime、robj、rswを下記(13)〜(17)式に従ってそれぞれ算出するようになっている。なお、下記各式で添字a、bはそれぞれ現在のデータおよび自車両における過去の危険情報のデータであることを示す。 Then, correlation values r road , r area , r time , r obj between each data vectorized in this way and each of past risk information data in a plurality of sets of own vehicles stored in the storage device 4. , R sw are calculated according to the following equations (13) to (17). In the following formulas, the subscripts a and b indicate current data and past danger information data of the host vehicle, respectively.
ここで、ベクトル差の絶対値はベクトル間のユークリッド距離を表す。また、相関値rroad、rarea、rtime、robj、rswはそれぞれ最大値1に近い値であるほど相関が強いことを表す。また、相関値rroad、rarea、rtime、robj、rswは自車両における過去の危険情報のデータの各組についてそれぞれ算出される。 Here, the absolute value of the vector difference represents the Euclidean distance between the vectors. In addition, the correlation values r road , r area , r time , r obj , and r sw are closer to the maximum value 1, and the correlation is stronger. Correlation values r road , r area , r time , r obj , and r sw are calculated for each set of past risk information data in the vehicle.
また、判断手段5は、ステアリング情報、速度情報、アクセル情報およびブレーキ情報についても相関値rst、rv、racc、rbrkを算出するようになっている。 The determination means 5 calculates correlation values r st , r v , r acc , r brk for steering information, speed information, accelerator information, and brake information.
すなわち、判断手段5は、判定手段3のリングバッファに記録されている現時点から5秒前までの5秒間の舵角δ、車速V、アクセル開度Aおよびブレーキ油圧Bpの各データを読み出して、それぞれ下記(18)、(19)式に従って周波数スペクトルXa(i) とパワースペクトルΦa(i)を求めるようになっている。なお、下記(18)式でxa(i)は前記現時点から5秒前までの5秒間分の各データ列を表す。 That is, the determination means 5 reads each data of the steering angle δ, the vehicle speed V, the accelerator opening A, and the brake hydraulic pressure Bp for 5 seconds from the present time recorded in the ring buffer of the determination means 3 to 5 seconds before, The frequency spectrum X a (i) and the power spectrum Φ a (i) are obtained according to the following equations (18) and (19), respectively. In the following formula (18), x a (i) represents each data string for 5 seconds from the present time to 5 seconds before.
実際には、舵角δ等についてそれぞれ周波数成分番号i=0、1、…、N−1の全番号について前記計算を行うと時間がかかるので、本実施形態では、判断手段5は、記憶装置4に記憶されている自車両における過去の危険情報のデータの各組を順次読み出して、その組の特徴量max1、max2、max3、max4についてだけ前記(18)、(19)式の計算を行うようになっている。 Actually, since it takes time to perform the calculation for all the numbers of frequency component numbers i = 0, 1,..., N−1 for the steering angle δ and the like, in this embodiment, the judging means 5 is a storage device. 4 sequentially reads each set of past risk information data stored in the host vehicle, and calculates the formulas (18) and (19) only for the feature amounts max1, max2, max3, and max4 of the set. It is like that.
また、判断手段5は、特徴量max1、max2、max3、max4について前記(18)式で算出されたXa(maxn)の共役複素数と記憶装置4に記憶されている特徴量maxnに対応する周波数スペクトルXb(maxn)とから下記(20)式に従ってクロスパワースペクトルΦab(maxn)を算出するようになっている。 Further, the determination means 5 uses the conjugate complex number of X a (maxn) calculated by the equation (18) for the feature amounts max1, max2, max3, and max4 and the frequency corresponding to the feature amount maxn stored in the storage device 4. The cross power spectrum Φ ab (maxn) is calculated from the spectrum X b (maxn) according to the following equation (20).
そして、下記(22)式に表されるように、下記(21)式で表されるコヒーレンスCohab (maxn)の振幅値の2乗値rnをn=1〜4すなわち特徴量max1、max2、max3、max4についてそれぞれ算出し、下記(23)式に従ってそれらの平均を求め、相関値rpを算出するようになっている。 Then, as represented by the following equation (22) below (21) the square value r n n = 1 to 4 i.e. feature amount of the amplitude value of the coherence Coh ab (maxn) of formula max1, max2 , respectively calculated for max3, max4, obtains an average of them in accordance with the following equation (23) is adapted to calculate a correlation value r p.
なお、相関値rpは、舵角δについての特徴量max1、max2、max3、max4を用いて求めたものであれば相関値rstであり、車速V、アクセル開度A、ブレーキ油圧Bpについて求めたものであれば相関値rv、racc、rbrkである。また、相関値rst、rv、racc、rbrkはそれぞれ0以上1以下の値をとり、最大値1に近い値であるほど相関が強いことを表す。また、相関値rst、rv、racc、rbrkは自車両における過去の危険情報のデータの各組についてそれぞれ算出される。 The correlation value r p is the correlation value r st if it is obtained using the feature amounts max1, max2, max3, and max4 with respect to the steering angle δ, and the vehicle speed V, the accelerator opening A, and the brake hydraulic pressure Bp. If found, the correlation values are r v , r acc , and r brk . Further, the correlation values r st , r v , r acc , and r brk each take a value of 0 or more and 1 or less, and the closer to the maximum value 1, the stronger the correlation. The correlation values r st , r v , r acc , and r brk are calculated for each set of past risk information data in the host vehicle.
判断手段5は、このようにして算出した相関値rroad、rarea、rtime、robj、rsw、rst、rv、racc、rbrkに基づき、予め設定された重みwroad、warea、wtime、wobj、wsw、wst、wv、wacc、wbrkを用い、下記(24)式に従ってそれらの重み付け平均をとって、それを相関値rとして算出するようになっている。 The judging means 5 uses the weights w road , preset weights based on the correlation values r road , r area , r time , r obj , r sw , r st , r v , r acc , r brk calculated in this way. Using w area , w time , w obj , w sw , w st , w v , w acc , w brk , take their weighted average according to the following equation (24), and calculate it as the correlation value r: It has become.
相関値rは最大値1に近い値であるほど現在のデータと自車両における過去の危険情報のデータとの相関が強いことを表す。 The closer the correlation value r is to the maximum value 1, the stronger the correlation between the current data and the past risk information data in the host vehicle.
また、相関値rroad、rarea、rtime、robj、rsw、rst、rv、racc、rbrkは、自車両における過去の危険情報のデータの各組についてそれぞれ算出されたものであるから、相関値rも前記各組についてそれぞれ算出される。すなわち、検出装置2で検出され判定手段3や判断手段5に入力される現在の各データについて自車両における過去の危険情報のデータの組数分の相関値rが算出されるようになっている。本実施形態では、例えば100ミリ秒間隔で相関値rの算出を行うようになっている。
Correlation values r road , r area , r time , r obj , r sw , r st , r v , r acc , and r brk are calculated for each set of past risk information data in the vehicle. Therefore, the correlation value r is also calculated for each set. That is, correlation values r corresponding to the number of sets of past danger information data in the host vehicle are calculated for each current data detected by the
判断手段5には、相関値rについて2つの閾値rth1、rth2(rth1>rth2)が予め設定されており、判断手段5は、自車両の走行状態および周囲環境と過去の各事例との算出された相関値rのうち最も大きい相関値rが閾値rth1以上であれば自車両の走行状態および周囲環境を衝突の可能性が高いレベル1に分類し、最も大きい相関値rが閾値rth2以上で閾値rth2より小さければ自車両の走行状態および周囲環境を衝突の可能性があるレベル2に分類するようになっている。
Two threshold values rth1 and rth2 (rth1> rth2) are set in advance in the determination means 5 for the correlation value r, and the determination means 5 calculates the running state and surrounding environment of the host vehicle and each past case. If the largest correlation value r among the correlation values r is equal to or greater than the threshold value rth1, the traveling state of the host vehicle and the surrounding environment are classified into level 1 where the possibility of a collision is high. If it is smaller than rth2, the traveling state of the host vehicle and the surrounding environment are classified into
判断手段5は、自車両の走行状態および周囲環境がレベル1またはレベル2にあると判断すると、図1に示した応動部23を作動させて運転者に注意を喚起し、或いは衝突回避のための動作を行わせるようになっている。
If the judging means 5 judges that the traveling state of the host vehicle and the surrounding environment are at level 1 or
本実施形態では、判断手段5は、自車両の走行状態および周囲環境がレベル2にある場合、応動部23である警報装置24のスピーカから衝突する旨の警報音声を発声させるようになっている。この他にも、例えば、ブザーを鳴動させたり、障害物情報に基づいて運転者が注意すべき方向を音声によって知らせ或いはその方向のAピラー部等をランプで照らしたりボンネットのその方向部分を光らせるなどして運転者に注意を喚起するようにしてもよい。
In the present embodiment, when the traveling state of the host vehicle and the surrounding environment are at
また、判断手段5は、自車両の走行状態および周囲環境がレベル1にある場合には、上記警報音声を発声させると同時に応動部23であるアシスト制御装置25を作動させ、自動的にブレーキをかけて衝突回避を回避するようになっている。この他にも、例えば、エンジンへのガソリン等の燃料の供給を停止する等の措置を行うように構成することも可能である。
Further, when the traveling state of the host vehicle and the surrounding environment are at level 1, the judging means 5 activates the
次に、本実施形態に係る走行支援装置1の作用について説明する。 Next, the operation of the driving support device 1 according to this embodiment will be described.
走行支援装置1の各構成要素の機能については前述したとおりであり、ここでは、全体的な処理の流れについて述べる。 The functions of the components of the driving support device 1 are as described above, and the overall processing flow will be described here.
走行支援装置1の検出装置2から、所定のサンプリング間隔で、表1記載の道路形状、エリア情報、時間情報、障害物情報、車両スイッチ情報、ステアリング情報、速度情報、アクセル情報およびブレーキ情報の各データが判定手段3に送信される。それらのデータは判定手段3のリングバッファに順次記録され、また判定手段3を介して判断手段5にも送信される。
Each of the road shape, area information, time information, obstacle information, vehicle switch information, steering information, speed information, accelerator information, and brake information described in Table 1 from the
判定手段3では、送信されてきたデータのうちブレーキ油圧Bpの変化量や加速度aの絶対値が予め設定された閾値を超えた場合、すなわち急ブレーキが踏まれたような場合に、自車両の走行状態および周囲環境が衝突の可能性が高い状態であったと判定する。 In the determination means 3, when the change amount of the brake hydraulic pressure Bp or the absolute value of the acceleration a exceeds the preset threshold value among the transmitted data, that is, when the sudden braking is stepped on, It is determined that the traveling state and the surrounding environment are in a state where the possibility of collision is high.
そして、その時点から2秒前の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報の各データをリングバッファから読み出してベクトル化する。また、ステアリング情報、速度情報、アクセル情報およびブレーキ情報については7秒前から2秒前までの5秒間のデータに基づいてそれぞれ周波数成分番号である4個の特徴量max1、max2、max3、max4およびそれらの周波数成分番号における周波数スペクトルXb(max1)、Xb(max2)、Xb(max3)、Xb(max4)を算出する。そして、それらをあわせて1組として記憶装置4に記憶させる。 Then, the road shape, area information, time information, obstacle information, and vehicle switch information two seconds before that point are read from the ring buffer and vectorized. For steering information, speed information, accelerator information, and brake information, four feature values max1, max2, max3, max4, which are frequency component numbers, respectively, based on data for 5 seconds from 7 seconds to 2 seconds ago. frequency spectra at those frequency components number X b (max1), X b (max2), X b (max3), calculates a X b (max4). These are combined and stored in the storage device 4 as a set.
判定手段3は、このようにして、衝突の可能性が高い事例が生じるごとに、自車両における過去の危険情報のデータ、すなわち自車両に生じたいわゆるヒヤリハット情報を記憶装置4に記憶させていく。 In this way, every time a case with a high possibility of a collision occurs, the determination unit 3 stores the past danger information data in the own vehicle, that is, the so-called near-miss information generated in the own vehicle in the storage device 4. .
一方、判断手段5は、送信されてきた現在のデータのベクトル化や判定手段3のリングバッファに記録された現在から5秒前までの5秒間のデータに基づく特徴量等の算出を所定の時間間隔で絶えず行う。そして、そのつど、記憶装置4に記憶された自車両における過去の危険情報のデータと比較して相関値rを算出する。 On the other hand, the determination means 5 calculates the feature amount based on the vectorization of the transmitted current data and the data for 5 seconds from the present recorded in the ring buffer of the determination means 3 for 5 seconds. Do it constantly at intervals. Then, each time, the correlation value r is calculated by comparing with the past risk information data of the host vehicle stored in the storage device 4.
そして、相関値rを閾値rth1、rth2と比較して、自車両の現在の走行状態および周囲環境が衝突の可能性がある状態や環境であるか否か、或いは、衝突の可能性があるとするとどの程度の可能性かを判断する。 Then, comparing the correlation value r with the threshold values rth1 and rth2, whether or not the current running state of the host vehicle and the surrounding environment are in a state or environment where there is a possibility of a collision, or if there is a possibility of a collision Then it is judged how much possibility.
さらに、判断手段5は、自車両の走行状態および周囲環境が衝突の可能性がある状態や環境である場合には、警報装置24やアシスト制御装置25等の応動部23を作動させて運転者に注意を喚起し、或いは衝突回避のための動作を行わせる。
Furthermore, when the traveling state of the host vehicle and the surrounding environment are a state or environment where there is a possibility of collision, the
以上のように、本実施形態に係る走行支援装置1によれば、自車両における現在の走行状態および周囲環境と、過去に実際に急ブレーキを踏むなどして衝突の可能性が高かった場合の走行状態および周囲環境と相関を相関値rとして算出し、その相関値rを閾値で分類して衝突の可能性の有無やその程度を判断する。 As described above, according to the driving support device 1 according to the present embodiment, the current driving state and the surrounding environment of the host vehicle and the case where there is a high possibility of a collision by actually stepping on the brake in the past. The correlation between the running state and the surrounding environment is calculated as a correlation value r, and the correlation value r is classified by a threshold value to determine whether or not there is a possibility of a collision.
そのため、相関値rが最大値1に近い値であれば、自車両における現在の走行状態および周囲環境が過去に事故を起こし或いは事故を起こしそうになった状況と同様の状況であり、運転者が過去と同じような操作を行っていることが分かるから、例えば、運転者に注意を喚起し、或いは衝突回避のための動作を行わせることで効果的かつ的確に走行支援を行うことが可能となる。 Therefore, if the correlation value r is a value close to the maximum value 1, the current running state and the surrounding environment of the host vehicle are the same as the situation where an accident or an accident is likely to occur in the past. It is possible to provide driving assistance effectively and accurately by, for example, alerting the driver or performing an action to avoid a collision. It becomes.
また、本実施形態のように、過去の危険情報のデータを衝突の可能性があった事象の2秒前のデータまたは2秒前までのデータとして蓄積し、それと現在のデータとの相関をとることで、衝突の可能性がある事象が生じる2秒前に衝突の可能性が高いか否かの判断を行うことが可能となる。そのため、十分に余裕をもって走行支援を行うことが可能となる。なお、過去の危険情報として事象が生じる何秒前のデータを蓄積するかは適宜決められる。
Further, as in the present embodiment, past risk information data is accumulated as
さらに、判定手段3により、例えば急ブレーキが踏まれた際に衝突の可能性が高い走行状態や周囲環境であったと判定して、その際の各データを記憶装置4に蓄積していくことができる。そのため、地図上の一般的な事故多発ポイントとしてではなく、自車両における過去の危険情報としてデータが蓄積されるため、障害物や歩行者等に対する運転者の見落としの癖や傾向にあわせて的確な衝突回避等の走行支援を行うことが可能となる。 Further, the determination means 3 determines that the driving state or the surrounding environment has a high possibility of a collision when, for example, sudden braking is performed, and accumulates each data at that time in the storage device 4. it can. Therefore, since data is accumulated as past hazard information on the vehicle, not as a general accident point on the map, it is accurate according to the driver's oversight and tendency to overlook obstacles and pedestrians. It is possible to perform driving support such as collision avoidance.
また、衝突回避等を行うための情報として必要となるステアリング情報や速度情報、アクセル情報、ブレーキ情報については、現時点のみのデータではなく、それ以前からの一定時間の時系列的なデータを用いた方がより的確な走行支援を行うことができる。 In addition, for steering information, speed information, accelerator information, and brake information necessary as information for performing collision avoidance etc., time-series data for a certain period of time before that was used, not just data at the present time. Can provide more accurate driving support.
その際、本実施形態のようにそれらの特徴量を抽出せずに、現在の時系列的なデータと過去の危険情報としての時系列的なデータとに基づいて直接相関値rst、rv、racc、rbrkを算出するように構成することも可能である。しかし、本実施形態のように特徴量を抽出してその相関を求めることで、現在の状況が、衝突の可能性があった過去の状況と似ているか否か、またどの程度似ているかを明確にすることが可能となり、装置の信頼性やロバスト性を向上させることができる。 At this time, the direct correlation values r st , r v are directly extracted based on the current time-series data and the time-series data as past risk information without extracting the feature values as in the present embodiment. , R acc , r brk may be calculated. However, by extracting feature values and calculating their correlation as in this embodiment, it is possible to determine whether and how much the current situation is similar to the past situation where there was a possibility of a collision. It becomes possible to clarify, and the reliability and robustness of the apparatus can be improved.
また、本実施形態のように特徴量を抽出するように構成すれば、データ量を軽減させ、検索や計算をより短時間で行うことが可能となる。 In addition, when configured to extract feature amounts as in the present embodiment, the amount of data can be reduced, and searches and calculations can be performed in a shorter time.
なお、本実施形態に係る走行支援装置1において、ブレーキ油圧Bpの測定値等から運転者が明らかに回避措置をとっていると判断できる場合には、例えば、前記レベルを1段階下げたり、警報の発声や走行支援を行わないように構成することも可能である。このように構成すれば、衝突回避行動をとっている運転者が意に反して走行支援を作動されて煩わしさを感じることを防止することができる。 In the driving support device 1 according to the present embodiment, when it can be determined from the measured value of the brake hydraulic pressure Bp that the driver is clearly taking an avoidance measure, for example, the level is lowered by one step, or an alarm is issued. It is also possible to configure so as not to utter and support driving. If comprised in this way, it can prevent that the driver | operator who is taking the collision avoidance action feels bothersome because driving assistance is act | operated contrary to will.
また、判定手段3による自車両における過去の危険情報のデータの蓄積において、例えば、実際に事故が発生した場合のデータにはフラグを立てるなどして蓄積し、判断手段5では、現在の走行状態や周囲環境がフラグを立てられた過去のデータと最も相関性が高い場合には走行支援のレベルを1段階繰り上げるように構成することも可能である。 In addition, in the accumulation of past risk information data in the host vehicle by the determination means 3, for example, the data when an accident actually occurs is accumulated by setting a flag or the like, and the determination means 5 Alternatively, the driving support level can be increased by one step when the surrounding environment has the highest correlation with the past data flagged.
さらに、本発明の技術を、例えば前記特許文献1〜3に記載されている従来の技術と併用することも可能である。また、ITS(高度道路交通システム)等の情報を走行支援装置1に取り込むように構成することも可能であり、例えば、それらの情報を周囲環境認識装置8からの情報の代わりに用いるように構成することも可能である。
また、事故が起こり得る一般的な事例については、危険情報の初期情報として予め記憶装置4に記憶させることも可能である。
Furthermore, the technique of the present invention can be used in combination with the conventional techniques described in Patent Documents 1 to 3, for example. In addition, it is possible to configure so that information such as ITS (Intelligent Road Traffic System) is taken into the driving support device 1. For example, such information is used instead of the information from the surrounding
Further, general cases that may cause accidents can be stored in the storage device 4 in advance as initial information of danger information.
さらに、特徴量の抽出を、本実施形態のように離散的フーリエ変換による周波数スペクトル解析の手法で行う代わりに、例えば、共分散行列の主成分分析の手法により求めた固有値を特徴量として抽出するように構成することも可能である。 Further, instead of performing feature amount extraction by a frequency spectrum analysis method using discrete Fourier transform as in this embodiment, for example, eigenvalues obtained by a principal component analysis method of a covariance matrix are extracted as feature amounts. It is also possible to configure as described above.
この場合、舵角δ、車速V、アクセル開度A、ブレーキ油圧Bpのそれぞれについて共分散行列の主成分分析の手法により固有値を求め、特徴量として抽出することも可能であるが、計算時間等の観点から、それらをまとめて特徴量を抽出する場合について説明する。 In this case, for each of the steering angle δ, the vehicle speed V, the accelerator opening A, and the brake hydraulic pressure Bp, eigenvalues can be obtained by the principal component analysis method of the covariance matrix and extracted as feature amounts. From this point of view, a case where feature values are extracted collectively will be described.
まず、舵角δ、車速V、アクセル開度A、ブレーキ油圧Bpについて、過去に衝突の可能性があった事象の7秒前から2秒前までの5秒間のデータ、或いは5秒前から現在までの5秒間のデータのデータ数がそれぞれn個であるとした場合、各サイクルごとのデータの正規化値を成分とする4次元ベクトルXk=(δ、V、A、Bp)をn個生成する。 First, for the steering angle δ, the vehicle speed V, the accelerator opening A, and the brake hydraulic pressure Bp, the data for 5 seconds from 7 seconds to 2 seconds before the event where there was a possibility of a collision in the past, or from 5 seconds before the present Assuming that the number of data of the data for 5 seconds until is n, respectively, n four-dimensional vectors X k = (δ, V, A, Bp) whose components are normalized values of data for each cycle Generate.
そして、下記(25)式に基づいて4次元ベクトルXkの標本平均ベクトルμを算出し、前記各4次元ベクトルXkとこの標本平均ベクトルμから下記(26)式に基づいて共分散行列Rを求める。 Then, the following (25) the covariance matrix based calculates the sample mean vector μ of four-dimensional vectors X k, said each four-dimensional vectors X k from the sample mean vector μ below (26) on the basis of the formula R Ask for.
そして、主成分分析により下記(27)式を満たす固有値行列Λおよび固有ベクトル行列Φを求める。 Then, an eigenvalue matrix Λ and an eigenvector matrix Φ satisfying the following equation (27) are obtained by principal component analysis.
ここで、固有値行列Λは、Rの固有値をλ1、λ2、λ3、λ4(λ1≧λ2≧λ3≧λ4)とした場合に下記(28)式のように表され、固有ベクトル行列Φは、Rの固有値λ1、λ2、λ3、λ4に対応する固有ベクトルをφ1、φ2、φ3、φ4とした場合に下記(29)式のように表される。 Here, the eigenvalue matrix Λ is expressed as the following equation (28) when the eigenvalues of R are λ 1 , λ 2 , λ 3 , λ 4 (λ 1 ≧ λ 2 ≧ λ 3 ≧ λ 4 ). The eigenvector matrix Φ is expressed as the following equation (29) when the eigenvectors corresponding to the eigenvalues λ 1 , λ 2 , λ 3 , and λ 4 of R are φ 1 , φ 2 , φ 3 , and φ 4. The
そして、このようにして求められた固有値λ1、λ2、λ3、λ4を特徴量として抽出する。 Then, the eigenvalues λ 1 , λ 2 , λ 3 , and λ 4 obtained in this way are extracted as feature amounts.
このように、特徴量として共分散行列の主成分分析の手法により求めた固有値を抽出するように構成した場合も、その抽出された固有値からなる固有値行列Λとそれらの固有値に対応する固有ベクトルからなる固有ベクトル行列Φから元の共分散行列Rを忠実に復元することが可能である。従って、特徴量である固有値は、前記フーリエ変換を用いた場合と同様に、データの傾向を特徴づけるものであるということができ、膨大なデータからデータの特徴が保持されるように縮退されたものであるということができる。 As described above, even when the eigenvalue obtained by the principal component analysis method of the covariance matrix is extracted as the feature quantity, the eigenvalue matrix Λ composed of the extracted eigenvalues and eigenvectors corresponding to the eigenvalues are included. It is possible to faithfully restore the original covariance matrix R from the eigenvector matrix Φ. Therefore, it can be said that the eigenvalue which is the feature quantity is characterized by the tendency of the data as in the case of using the Fourier transform, and has been degenerated so that the characteristics of the data are retained from the enormous amount of data. It can be said that it is a thing.
なお、この場合、相関値は、過去の5秒間のデータおよび現在の5秒間のデータについてそれぞれ求められた4個の固有値を成分とするベクトルを生成し、前記(13)式のようにそれら2つのベクトル間のユークリッド距離から求める。 In this case, the correlation values are generated as vectors having four eigenvalues obtained for the past 5 seconds of data and the current 5 seconds of data, respectively, as shown in equation (13). Obtained from the Euclidean distance between two vectors.
また、固有値に対する固有ベクトル自体も、データの特徴主成分が保持されるように縮退されている。そのため、特徴量として、共分散行列の主成分分析の手法により求めた固有値を用いる代わりに、或いは固有値とともに、一定数の固有ベクトルを抽出するように構成することも可能である。 Further, the eigenvector itself for the eigenvalue is also degenerated so that the characteristic principal component of the data is retained. Therefore, instead of using eigenvalues obtained by the principal component analysis method of the covariance matrix as feature quantities, it is possible to extract a certain number of eigenvectors together with eigenvalues.
また、上述の実施例においては、検出装置2、判定手段3、記憶装置4、判断手段5、及び応動部23を全て自車両に搭載する例について説明したが、これに限らず、例えば、記憶装置4と判断手段5を自車両の外部に設置された情報管理センタに設けることも可能である。この記憶装置4と判断手段5を情報管理センタに設ける構成について説明する。
Further, in the above-described embodiment, the example in which the
ここで、情報管理センタは、無線による通信ネットワークを介して自車両を含めた複数の車両と情報通信を行い、各車両から送信されてくる情報を複数の車両で用いる共有データとして一元的に記憶するとともに、各車両から送信されてくる情報をもとに特定の車両の応動部23を作動させるための制御信号を特定の車両に送信させるためのものである。
Here, the information management center performs information communication with a plurality of vehicles including the own vehicle via a wireless communication network, and centrally stores information transmitted from each vehicle as shared data used by the plurality of vehicles. In addition, the control signal for operating the
この情報管理センタに設けられた記憶装置4と判断手段5は、それぞれ通信ネットワークを介して自車両の判定手段3に接続される。また、判断手段5は自車両の応動部23に対しても通信ネットワークを介して接続される。
The storage device 4 and the
自車両における判定手段3は、上述の実施例と同様にして、表1記載の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報についてベクトル化した各データと、ステアリング情報、速度情報、アクセル情報およびブレーキ情報についてそれぞれ算出した4個の特徴量max1、max2、max3、max4とを過去の危険情報のデータとして算出する。そして、算出した過去の危険情報のデータを、情報収集センタに設けられた記憶装置4に送信する。 The determination means 3 in the own vehicle is similar to the above-described embodiment, and each vector data for road shape, area information, time information, obstacle information and vehicle switch information shown in Table 1, steering information, speed information The four feature amounts max1, max2, max3, and max4 calculated for the accelerator information and the brake information are calculated as past danger information data. Then, the calculated past risk information data is transmitted to the storage device 4 provided in the information collection center.
また、判定手段3は、自車両の検出装置2から入力された表1記載の道路形状、エリア情報、時間情報、障害物情報および車両スイッチ情報の現時点における各データを通信ネットワークを介して判断手段5に送信する。この際、現時点における各データは、データの送信元を識別するための車両IDとともに判定手段5に送信される。
Further, the determination means 3 determines each data at the present time of road shape, area information, time information, obstacle information and vehicle switch information described in Table 1 input from the
一方、情報管理センタにおける記憶手段4は、判定手段3から送信された過去の危険情報のデータを受信して記憶する。また、情報管理センタにおける判断手段5は、記憶装置4に記憶されている過去の危険情報のデータと判定手段3から送信された現時点における各データに基づいて、上述の実施例と同様にして、過去の危険情報のデータに対する相関値rを算出し、その相関値rを閾値で分類して衝突の可能性の有無やその程度を判断する。 On the other hand, the storage unit 4 in the information management center receives and stores past risk information data transmitted from the determination unit 3. In addition, the determination means 5 in the information management center is based on the past risk information data stored in the storage device 4 and the current data transmitted from the determination means 3 in the same manner as in the above embodiment. Correlation values r for past risk information data are calculated, and the correlation values r are classified by threshold values to determine whether or not there is a possibility of a collision.
そして、判断手段5は、衝突の可能性がある状態と判断した際には、車両IDを参照することによって現時点における各データを送信した車両を特定し、特定した車両の応動部23に作動信号を送信する。
When the determination means 5 determines that there is a possibility of a collision, the determination means 5 refers to the vehicle ID to identify the vehicle that has transmitted each data at the present time, and sends an operation signal to the
車両の応動部23は、受信した作動信号に基づいて応動部23を作動させて運転者への注意喚起或いは衝突回避を行う。
The
このような構成によれば、判定手段3で算出された過去の危険情報のデータを複数の車両で用いる共有データとすることができ、これにより、自車両のみで危険情報のデータを記憶する場合に比べ危険情報のデータを早期に蓄積することが可能となる。 According to such a configuration, the past risk information data calculated by the determination means 3 can be used as shared data used by a plurality of vehicles, whereby the risk information data is stored only by the host vehicle. It is possible to accumulate risk information data at an early stage compared to.
1 走行支援装置
2 検出装置
3 判定手段
4 記憶装置
5 判断手段
23 応動部
r 相関値
DESCRIPTION OF SYMBOLS 1
Claims (3)
自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータを検出する検出装置と、
前記検出装置で検出された前記データに基づいて、衝突の可能性が高い走行状態および周囲環境であるか否かを判定する判定する判定手段と、
前記判定手段が衝突の可能性が高い走行状態および周囲環境であるであると判断した場合に、それより所定時間遡った時点における自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータを所定手順で計算して得られたデータを、自車両における過去の危険情報のデータとして記憶する記憶装置と、
前記検出装置により検出された現サンプリング時における自車両の走行状態に関するデータおよび自車両の周囲環境に関するデータと前記記憶装置に記憶された前記過去の危険情報のデータとの相関状態を示す相関値を算出し、算出された相関値が予め設定された閾値を超えたか否かにより現サンプリング時における衝突の可能性の有無を判断する判断手段と
を備えることを特徴とする走行支援装置。 In a driving support device that determines the possibility of a collision of the host vehicle and supports driving of the vehicle,
A detection device for detecting data relating to the running state of the host vehicle and data relating to the surrounding environment of the host vehicle ;
Determination means for determining whether or not the driving state and the surrounding environment have a high possibility of collision based on the data detected by the detection device;
When the determination unit determines that the driving state and the surrounding environment have a high possibility of a collision, the data on the driving state of the own vehicle and the data on the surrounding environment of the own vehicle at a time point that is a predetermined time later than the predetermined state the data obtained from Step a storage device for storing the data of the past danger information in the vehicle,
A correlation value indicating a correlation state between the data relating to the traveling state of the own vehicle at the time of the current sampling detected by the detection device and the data relating to the surrounding environment of the own vehicle and the data of the past danger information stored in the storage device; calculated, the driving support apparatus correlation value calculated is equal to or obtaining Bei a determination means for determining whether the possibility of collision at the time of the current sampling by whether exceeds a preset threshold.
前記判断手段は、前記検出装置により検出されたデータから特徴量を算出し、算出した特徴量と前記記憶装置に記憶された前記過去の危険情報のデータとしての特徴量との相関値を算出することを特徴とする請求項1に記載の走行支援装置。 The determination means calculates a feature amount from data detected by the detection device when it is determined that the traveling state has a high possibility of a collision, and the feature amount is used as past risk information data in the host vehicle. Storing in the storage device;
The determination unit calculates a feature amount from data detected by the detection device, and calculates a correlation value between the calculated feature amount and the feature amount as data of the past danger information stored in the storage device. The travel support apparatus according to claim 1 , wherein
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006120732A JP4901287B2 (en) | 2006-04-25 | 2006-04-25 | Driving support device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006120732A JP4901287B2 (en) | 2006-04-25 | 2006-04-25 | Driving support device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007293592A JP2007293592A (en) | 2007-11-08 |
JP4901287B2 true JP4901287B2 (en) | 2012-03-21 |
Family
ID=38764172
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006120732A Expired - Fee Related JP4901287B2 (en) | 2006-04-25 | 2006-04-25 | Driving support device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4901287B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7860813B2 (en) * | 2008-01-24 | 2010-12-28 | Nec Laboratories America, Inc. | Monitoring driving safety using semi-supervised sequential learning |
JP6241235B2 (en) * | 2013-12-04 | 2017-12-06 | 三菱電機株式会社 | Vehicle driving support device |
CN107111950B (en) | 2014-12-26 | 2020-09-01 | 横滨橡胶株式会社 | Collision avoidance system |
JP6880720B2 (en) * | 2016-12-27 | 2021-06-02 | スズキ株式会社 | Driving support device |
KR102107466B1 (en) * | 2018-12-14 | 2020-05-07 | 국민대학교산학협력단 | Driving control apparatus and method based on autonomous vehicle |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005032273A (en) * | 1995-05-31 | 2005-02-03 | Fujitsu Ltd | Mobile terminal installed in moving body |
JP2002042288A (en) * | 2000-07-26 | 2002-02-08 | Yazaki Corp | Running state recording device and running control system using it |
JP2003063459A (en) * | 2001-08-29 | 2003-03-05 | Matsushita Electric Ind Co Ltd | Drive recorder device for vehicle |
JP3802503B2 (en) * | 2003-03-17 | 2006-07-26 | 富士通株式会社 | Operation management method |
JP2004302902A (en) * | 2003-03-31 | 2004-10-28 | Fuji Photo Film Co Ltd | Driving support system |
JP4277717B2 (en) * | 2004-03-17 | 2009-06-10 | 株式会社日立製作所 | Vehicle position estimation device and driving support device using the same |
-
2006
- 2006-04-25 JP JP2006120732A patent/JP4901287B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007293592A (en) | 2007-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4396597B2 (en) | Dangerous reaction point recording system and driving support system | |
CN107161097B (en) | Vehicle running intelligent security system based on Beidou Navigation System | |
KR101555444B1 (en) | An apparatus mounted in vehicle for situational awareness and a method thereof | |
CN108263278A (en) | The pedestrian detection and pedestrian anti-collision device and method integrated based on sensor | |
US7817848B2 (en) | Apparatus, method, and computer product for discriminating object | |
JP5938569B2 (en) | Advanced driver support system considering azimuth information and operation method thereof | |
US10336252B2 (en) | Long term driving danger prediction system | |
US8731816B2 (en) | Method for classifying an object as an obstacle | |
CN108263279A (en) | The pedestrian detection and pedestrian impact avoiding device and method integrated based on sensor | |
CN101101333A (en) | Apparatus and method for producing assistant information of driving vehicle for driver | |
JP5758759B2 (en) | Vehicle road surface determination device and driving support device | |
US20140176714A1 (en) | Collision prevention warning method and device capable of tracking moving object | |
US20090058622A1 (en) | Method for predicting lane line and lane departure warning system using the same | |
JP2004362586A (en) | Image processing system for vehicle | |
JP4097519B2 (en) | Danger sensitivity estimation device, safe driving evaluation device and alarm device | |
KR20150055656A (en) | Device for preventing vehicle collisions and method thereof | |
JP4901287B2 (en) | Driving support device | |
JP4116643B2 (en) | Device for classifying at least one object around a vehicle | |
JP2023093660A (en) | Control device, control method, and program for control device | |
JP4622749B2 (en) | Vehicle data collection device, vehicle driving support device, and vehicle safe driving support system | |
CN112149560B (en) | Lane departure detection method | |
JP7008515B2 (en) | Information processing method and information processing equipment | |
JP7434882B2 (en) | Dangerous driving determination device, dangerous driving determination method, and dangerous driving determination program | |
CN109823344B (en) | Driving prompting method and system | |
JP7347390B2 (en) | Driving evaluation device, driving evaluation system, and driving evaluation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110913 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111129 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4901287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |