[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4175080B2 - 車両用制御装置 - Google Patents

車両用制御装置 Download PDF

Info

Publication number
JP4175080B2
JP4175080B2 JP2002303326A JP2002303326A JP4175080B2 JP 4175080 B2 JP4175080 B2 JP 4175080B2 JP 2002303326 A JP2002303326 A JP 2002303326A JP 2002303326 A JP2002303326 A JP 2002303326A JP 4175080 B2 JP4175080 B2 JP 4175080B2
Authority
JP
Japan
Prior art keywords
vehicle
lane
collision
obstacle
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002303326A
Other languages
English (en)
Other versions
JP2004136787A (ja
Inventor
誠 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2002303326A priority Critical patent/JP4175080B2/ja
Publication of JP2004136787A publication Critical patent/JP2004136787A/ja
Application granted granted Critical
Publication of JP4175080B2 publication Critical patent/JP4175080B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Automotive Seat Belt Assembly (AREA)
  • Air Bags (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Regulating Braking Force (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、進路上の障害物を検出し、その障害物と車両との関係に基づいて車両の作動を制御する車両用制御装置に関する。
【0002】
【従来の技術】
衝突、あるいは追突事故を未然に防止するため、自車の前方の障害物を検知して、状況に応じて自動的に運転者に対して警報を発したり、制動を行う技術が提案されている(例えば、特許文献1参照)。この文献に記載されている技術においては、検知した障害物への衝突(追突)が予想される場合には、自動的に制動を行うことで衝突を予防するものである。この技術ではさらに、障害物情報の履歴を作成しておき、例えば、障害物との距離が接近した場合に行われるフル制動の開始条件が満たされる以前に比較的障害物との距離がある場合に行われる緩制動が行われていない場合には、障害物が順当に接近していたとは考えられないことからそのような近接位置に急に障害物を検出した場合には、ノイズとして処理することにより誤制動を抑制するというものである。
【0003】
【特許文献1】
特開平10−129438号公報(第2〜5頁、図1〜図13)
【0004】
【発明が解決しようとする課題】
しかしながら、実際に衝突、追突が予想される障害物の存在範囲は、車両の進路という比較的限定された範囲にとどまる一方、衝突、追突が予想される障害物は静止しているものばかりとは限らず、対向車や先行車、さらには合流や車線変更により進路上に進入してくる車両等も考えられる。上述の技術では、こうした車両との追突を精度良く判定することが難しい。一方で、こうした車両との追突を精度良く判定しようとすると、レーンの外の障害物に対する誤検出の可能性が増大するという問題があった。
【0005】
そこで本発明は、誤検出を効果的に予防して障害物に対する作動制御を有効に行うことを可能とした車両用制御装置を提供することを課題とする。
【0009】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る車両用制御装置は、障害物を検出する障害物検出手段と、障害物との衝突予想時間を算出する衝突予想時間算出手段と、衝突予想時間が閾値未満の場合に車両の作動を制御する作動制御手段と、を備える車両用制御装置において、自車両が走行している車線エリアを判定する車線判定手段をさらに備え、作動制御手段は、同一車線エリア内の走行が継続している場合には、閾値を、通常の第1の所定値よりも長い第3の所定値に設定するものである。
【0010】
同一車線エリア内の走行継続が予想される場合には、運転者の注意が散漫になりやすく不注意になる可能性がある。よって、運転者の不注意によって通常時より反応が遅れる場合(つまり、同一車線エリア内の走行が継続している場合)において、作動制御手段が閾値を通常の第1の所定値よりも長い第3の所定値に設定することで、障害物に対する車両制御を早期に開始させる。
【0011】
車線判定手段は、車両前方の画像を取得する画像取得手段と、取得した画像から画像認識によって車線エリア情報を取得する画像認識手段を備えていることが好ましい。画像認識によって車線エリア情報を取得することで、道路側に特別なインフラ整備が必要なく、また、工事等の規制に伴う車線変更等にも柔軟に対応できる。
【0012】
作動制御手段は、ブレーキアシスト手段、自動制動手段、シートベルト制御手段、エアバッグ制御手段の少なくともいずれか一つの作動を制御することが好ましい。制動や速度制御による衝突回避のほか、万一、衝突した場合でもシートベルトやエアバッグを適切に制御することで乗員の危険を軽減することができる。
【0013】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
【0014】
図1は、本発明に係る車両用制御装置をそれを搭載した車両とともに示す概略構成図であり、図2は、そのブロック構成図である。車両1に搭載されている車両用制御装置である衝突軽減装置2は、車両前方を電波によりスキャンして障害物を検出する障害物検出手段たるミリ波レーダー21と、車線を認識するための車線認識手段22と、衝突時における乗員への危険を軽減する危険軽減手段としてのシートベルト装置23、エアバッグ装置24、ブレーキ装置25を備えている。ここで、図1は、右ハンドル車の例であり、シートベルト装置23としては、運転席用のシートベルト装置23bと助手席用シートベルト装置23aのみを示し、エアバッグ装置24としては、助手席用のエアバッグ装置のみを示している。
【0015】
車線認識手段22は、車両前方の画像(映像)を取得する画像取得手段であるカメラ221と取得した画像から画像認識によって車線エリア(走行レーン)情報を取得する画像認識手段である車線ECU222からなる。シートベルト装置23a、23bは、それぞれシートベルト本体231a、231bとシートベルト巻き取り装置230a、230bからなる。以下、a、bの符号は特に区別する必要がある場合を除いて省略する。エアバッグ装置24は、エアバッグ本体241と図示していない着座センサ等を含むエアバッグ制御装置240からなる。ブレーキ装置25は、各車輪に取り付けられた図示していないディスクブレーキあるいはドラムブレーキと各ブレーキを作動させる油圧式のホイールシリンダ251と各ホイールシリンダ251へ付与される油圧を制御するブレーキアクチュエータ250からなる。
【0016】
ミリ波レーダー21と、車線ECU222の出力は制御手段であるプリクラッシュECU20に入力されており、プリクラッシュECU20は、エアバッグ制御装置240、シートベルト巻き取り装置230、ブレーキアクチュエータ250の作動を制御する。さらに、ヨーレートセンサ51、Gセンサ52、車速センサ53、ブレーキスイッチ54、ウィンカースイッチ55等から車両の各種状態量が入力されている。
【0017】
この衝突軽減装置2は、図3に示されるように、ミリ波レーダー21で走行エリア3内の対象領域31をスキャンすることで、障害物4(対向車40、先行車41やガードレール等の路側物42)を検知し、自車両1との相対速度から衝突可能性を判定して、衝突が予想される場合には、各危険軽減手段を制御して所定の危険軽減動作を行わせるものである。
【0018】
以下、具体的な衝突軽減制御について図4〜図7を参照して説明する。図4はこの制御のフローチャートであり、図5は従来の技術における車線逸脱時の衝突軽減制御の制御時期を説明する図であり、図6は、本実施形態における車線逸脱時の衝突軽減制御の制御時期を説明する図であり、図7は、本実施形態における同一レーン走行継続時の衝突軽減制御の制御時期を説明する図である。
【0019】
この制御処理は、プリクラッシュECU20が車線ECU222と協働して行うものであり、イグニッションスイッチがオンになってからオフになるまでの間、所定のタイミングで繰り返し実行される。
【0020】
ステップS1では、車線ECU222がカメラ221によって取得した画像を基にして画像認識処理により、自車両1が走行しているレーンの境界である白線を検出する。ここでいう白線は、白色に塗装された連続的な線に限られるものではなく、黄色等別色に塗装されたライン、断続的な塗装ラインのほか、ガードレール、コンクリートブロック、タイル等により運転者が視覚的に車線の外側境界を認識できるようになっている場合の視覚的に識別可能な境界線を全て含む概念である。
【0021】
ステップS2では、検出した白線(境界線)位置を基にして自車両1の走行しているレーン位置を検出する。画像認識結果に加えて、さらにヨーレートセンサ51、Gセンサ52の出力を基にしてカーブの状況を推定することや、車速センサ53の出力を基に以前の認識結果を活用することで、より精度の高いレーン位置検出を行うことができる。
【0022】
次のステップS3では、ミリ波レーダー21の検出結果からスキャンエリア31内の障害物の存否および存在する場合はその位置を検出する。障害物が存在する場合には、ミリ波レーダー21の出力から、障害物までの距離と方向(角度)が得られる。ステップS4では、それぞれの障害物に対して衝突予想時間tcrashを算出する。これは、障害物までの距離を障害物と自車両1との相対速度で除すことで求めることができる。
【0023】
ステップS5では、意図に反するレーン逸脱の有無を判定する。この判定は、運転者によるウィンカースイッチの操作結果と車両の挙動とを比較することによって行われる。具体的には、運転者がウィンカースイッチ55を操作して方向指示器で指示した方向へと移動した場合には意図的なレーン逸脱と推定し、それ以外、つまり方向指示器で指示することなく、あるいは、指示方向と逆方向に移動した場合には、意図に反したレーン逸脱と推定することで行われる。
【0024】
意図に反するレーン逸脱がないと判定した場合には、ステップS6へと移動して同一レーン走行が継続しているか否かを判定する。車線逸脱、車線変更が行われない状態で所定時間以上走行を継続しており、ウィンカースイッチ、ハンドル操作もなされていない場合を同一レーン走行の継続中と判定すればよい。同一レーン走行継続中と判定した場合には、ステップS7へ移行し、衝突予想時間の閾値tthを所定値tAに設定する。このtAは、運転者が十分に注意している場合に衝突を回避しうる限界時間(通常の衝突不可避時間)より比較的長めに設定されている。一方、同一レーン走行継続中でないと判定した場合には、ステップS8へと移行し、衝突予想時間の閾値tthを所定値tBに設定する。このtBは、tAより短く設定されており、例えば、運転者が十分に注意している場合に衝突を回避しうる限界時間(通常の衝突不可避時間)に等しく設定されている。
【0025】
一方、ステップS5で意図に反するレーン逸脱ありと判定された場合には、ステップS9へと移行し、衝突予想時間の閾値tthを所定値tCに設定する。このtCは、tBより長く設定されており、例えば、運転者が不注意である場合でも衝突を回避しうる限界時間(不注意時の衝突不可避時間)に設定されている。tCはtAと等しくてもよいが、後述するように意図せずにレーンを逸脱した場合とは、衝突の危険性が比較的高い場合であることから、tCはtAより長めに設定されていることが好ましい。
【0026】
ステップS7〜S9で閾値tthを設定した後は、いずれの場合もステップS10へと移行し、求めたtcrashを設定した閾値tthと比較する。tcrashが閾値tthを超えている場合には、障害物との衝突までに運転者が衝突回避行動を採る十分な時間があることを意味するから、この場合は後続の衝突軽減制御は行わずに、処理を終了する。
【0027】
一方、tcrashが閾値tth未満の場合には、運転者の衝突回避行動が間に合わず、そのままでは衝突する可能性が高い場合であるからステップS11に移行して衝突軽減制御を行う。
【0028】
ここで行われる衝突軽減制御としては、まず、ブレーキ装置25の制御として、ブレーキアクチュエータ250を作動させて各ホイールシリンダ251へ制動油圧を付与して自動的に制動を行い、減速する自動制動制御がある。あるいは、ブレーキスイッチ54がオンになったら、通常の場合よりもアシスト油圧を大きく設定することにより、運転者のブレーキペダル踏み込みに対する応答特性を向上させ、より速やかな減速を可能とするプリクラッシュブレーキアシスト制御を行ってもよい。
【0029】
シートベルト装置23においては、シートベルト巻取装置230によりシートベルト231を巻き取ることで、衝突前に乗員を座席に拘束して、衝突時における乗員の移動を抑制し、衝突時の被害を軽減する。また、乗員に拘束によって衝突の危険が迫っていることを警告できるため、万一衝突する場合でも、乗員が衝突に備えることができ、危険軽減に効果的である。
【0030】
エアバッグ装置24においては、エアバッグ制御装置24が乗員の姿勢、体格、衝突方向、衝突時期を基に最も適切な時期、状態でエアバッグ241が作動するよう制御する。シートベルト制御と合わせてエアバッグ制御を行うことで、乗員を確実に座席に拘束するとともに、エアバッグ作動による乗員へのショックを和らげ、衝突時の被害を効果的に軽減する。
【0031】
上述したように、本実施形態では、衝突予想時間の閾値tthを運転者の車線変更意志と車両挙動の関係により調整している。この閾値tthを従来のように一定としている場合、カーブの入口等でカーブ路の路側物42を障害物と判定する誤判定が多くなってしまうため、閾値tthを比較的短く設定しておく必要があり、運転者が不注意でレーンを逸脱した場合には、衝突軽減・回避動作が間に合わない可能性がある(図5参照)。
【0032】
これに対して、本実施形態では、このように不注意でレーンを逸脱した場合(図6参照)には、閾値tthを長い不注意の衝突不可避時間以上(tC)に設定することで、レーン逸脱と同時または直後に危険軽減制御を開始するので、衝突回避の可能性が高くなり、万一衝突した場合でもそれによる乗員のショックを和らげることができ、危険を十分に軽減することができる。
【0033】
また、ハンドル操作の少ない状態で同一レーン走行を続けている場合には、運転者の注意が散漫になりやすく、不注意になる可能性がある。一方で、この場合には、ミリ波レーダー21による障害物検出の精度は向上することから、閾値tthを比較的長く(tA)設定することにより、危険軽減制御をtthがtBに設定されている場合よりも早期に開始することで、衝突回避可能性を向上させ、万一衝突した場合でもそれによる乗員のショックを和らげることで、危険を十分に軽減する(図7参照)。
【0034】
これに対して、カーブ走行中や車線変更の前後、レーンを比較的頻繁に変更しているような場合には、運転者が進路方向を十分に注意しながら走行しているものと推定されるから、衝突不可避時間は短くなる。そこで、閾値tthを短く(tB)設定することで、誤検出を抑制しつつ、確実な危険軽減制御を行うことで、システムの信頼性を向上させることができる。
【0035】
以上の説明では、レーンと車両の状態に応じて3種類に切り替える場合を例に説明したが、意図しないレーン逸脱時とそれ以外の場合で切り替える制御のみを行ってもよい。また、単一レーン走行継続中とそれ以外の場合とで制御を切り替えてもよい。
【0036】
ここでは、ミリ波レーダーを利用して進路上の障害物を検出する例を説明したが、赤外線や超音波、電波等により障害物を検出してもよい。また、画像認識によって障害物を認識することも可能である。また、車線の判定は、画像を用いるほかに、車両外から通信手段によって受信したり、車線境界や車線中央にマーカーを設置し、これを検出することによって行ってもよい。あるいは、予めマップ情報を保存しておき、ナビゲーションシステムにより判定した自車両の位置情報から車線情報を呼び出してもよい。
【0037】
また、車線変更意志の推定は、ウィンカースイッチによるほか、運転者の車両操作状況、車線変更時の運転者の視線や姿勢の変化等を基にして推定することも可能である。
【0038】
本発明に係る作動制御手段は、万が一障害物との接触を回避できない場合に乗員への危険を低減する装置、障害物との接触を回避する装置、あるいは障害物の存在を運転者に報知する装置の作動を制御するものである。以上の説明では、ブレーキ、シートベルト、エアバッグを全て制御する例を説明したが、少なくともいずれかを制御することで衝突時の乗員への危険を軽減することができる。また、音声等を用いて乗員に衝突の危険を告知する警報機能を併用してもよい。
【0039】
【発明の効果】
以上説明したように、本発明によれば、運転者の車線変更意志と走行レーンとの対応に応じて障害物に対する車両制御の作動状況を変更するので、通常走行時の誤作動を抑制しつつ、不用意な車線逸脱時や、注意が散漫になりやすい同一レーン走行時においては衝突物に対する車両の作動制御を作動しやすくすることで障害物に対する車両の作動制御を効果的に機能させることができる。
【図面の簡単な説明】
【図1】本発明に係る車両用制御装置をそれを搭載した車両とともに示す概略構成図である。
【図2】図1の装置のブロック構成図である。
【図3】図1の装置の動作の概要を説明する模式図である。
【図4】図1の装置の動作、すなわち制御処理を示すフローチャートである。
【図5】従来の技術における車線逸脱時の衝突軽減制御の制御時期を説明する図である。
【図6】本実施形態における車線逸脱時の衝突軽減制御の制御時期を説明する図である。
【図7】本実施形態における同一レーン走行継続時の衝突軽減制御の制御時期を説明する図である。
【符号の説明】
1…車両、2…衝突軽減装置、3…車線エリア、4…障害物、20…プリクラッシュECU、21…ミリ波レーダー、22…車線認識手段、23(a、b)…シートベルト装置、24…エアバッグ装置、25…ブレーキ装置、31…スキャン対象領域、32…障害物領域、40…対向車、41…先行車、42…路側物、51…ヨーレートセンサ、52…Gセンサ、53…車速センサ、54…ブレーキスイッチ、55…ウィンカースイッチ、221…カメラ、222…車線ECU、230…シートベルト巻き取り装置、231…シートベルト本体、240…エアバッグ制御装置、241…エアバッグ本体、250…ブレーキアクチュエータ、251…ホイールシリンダ。

Claims (4)

  1. 障害物を検出する障害物検出手段と、前記障害物との衝突予想時間を算出する衝突予想時間算出手段と、前記衝突予想時間が閾値未満の場合に車両の作動を制御する作動制御手段と、を備える車両用制御装置において、
    自車両が走行している車線エリアを判定する車線判定手段をさらに備え、前記作動制御手段は、同一車線エリア内の走行が継続している場合には、前記閾値を、通常の第1の所定値よりも長い第3の所定値に設定する車両用制御装置。
  2. 前記車線判定手段は、車両前方の画像を取得する画像取得手段と、取得した画像から画像認識によって車線エリア情報を取得する画像認識手段を備えている請求項1に記載の車両用制御装置。
  3. 前記作動制御手段は、ブレーキアシスト手段、自動制動手段、シートベルト制御手段、エアバッグ制御手段の少なくともいずれか一つの作動を制御する請求項1又は2に記載の車両用制御装置。
  4. 前記第1の所定値は、運転者が十分に注意している場合に衝突を回避しうる限界時間に設定されている請求項1〜のいずれかに記載の車両用制御装置。
JP2002303326A 2002-10-17 2002-10-17 車両用制御装置 Expired - Fee Related JP4175080B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002303326A JP4175080B2 (ja) 2002-10-17 2002-10-17 車両用制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002303326A JP4175080B2 (ja) 2002-10-17 2002-10-17 車両用制御装置

Publications (2)

Publication Number Publication Date
JP2004136787A JP2004136787A (ja) 2004-05-13
JP4175080B2 true JP4175080B2 (ja) 2008-11-05

Family

ID=32451147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002303326A Expired - Fee Related JP4175080B2 (ja) 2002-10-17 2002-10-17 車両用制御装置

Country Status (1)

Country Link
JP (1) JP4175080B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4193765B2 (ja) * 2004-01-28 2008-12-10 トヨタ自動車株式会社 車両用走行支援装置
JP2006069322A (ja) * 2004-09-01 2006-03-16 Mazda Motor Corp 車両の車線逸脱警報装置
US7893819B2 (en) * 2005-03-03 2011-02-22 Continetntal Teves AG & Co, oHG Method and device for avoiding a collision in a lane change maneuver of a vehicle
JP4400555B2 (ja) * 2005-11-30 2010-01-20 トヨタ自動車株式会社 車両用走行制御装置
JP4582052B2 (ja) * 2006-06-07 2010-11-17 トヨタ自動車株式会社 走行支援装置
KR100999673B1 (ko) * 2008-06-11 2010-12-08 현대자동차주식회사 차량의 충돌 감지 시스템
JP5167051B2 (ja) * 2008-09-30 2013-03-21 富士重工業株式会社 車両の運転支援装置
WO2010122639A1 (ja) 2009-04-21 2010-10-28 トヨタ自動車株式会社 走行支援装置
JP6269360B2 (ja) * 2014-07-11 2018-01-31 トヨタ自動車株式会社 運転支援システム及び運転支援方法
KR102182777B1 (ko) * 2014-08-13 2020-11-25 현대모비스 주식회사 차량용 외장 에어백 제어 장치 및 방법
JP2018136812A (ja) * 2017-02-23 2018-08-30 ダイハツ工業株式会社 危険回避支援装置

Also Published As

Publication number Publication date
JP2004136787A (ja) 2004-05-13

Similar Documents

Publication Publication Date Title
US10220842B2 (en) Vehicle control device
JP4193765B2 (ja) 車両用走行支援装置
US10661792B2 (en) System and method for performing autonomous emergency braking
CN108583570B (zh) 车辆控制装置
JP4640465B2 (ja) 車両用走行支援装置
EP3354525B1 (en) Arrangement and method for mitigating a forward collision between road vehicles
US20080189040A1 (en) Collision Avoidance System
CN108602494B (zh) 车辆控制装置以及车辆控制方法
JP5464333B2 (ja) 前面衝突時オーバーラップ量制御装置
JP2008531388A (ja) 車両の車線変更時の衝突回避方法及び装置
US11004341B2 (en) Apparatus and method for supporting collision avoidance of vehicle
CN112977436A (zh) 驾驶支援装置
US7715275B2 (en) Start assist system for motor vehicles
JP4175080B2 (ja) 車両用制御装置
JP2004136785A (ja) 車両用制御装置
JP5146288B2 (ja) 車両制御装置
EP4098501A1 (en) Lateral movement system for collision avoidance
JP2004136788A (ja) 車両用制御装置
JP2009208650A (ja) 車両の走行制御装置
JP2005178622A (ja) 車両用安全制御装置
KR20130013997A (ko) 차량의 충돌 방지장치 및 방법
US20180065626A1 (en) Method and device for controlling a vehicle
US20200010082A1 (en) Travelling assist apparatus
JP4848678B2 (ja) 車両の制御装置
JP2005035401A (ja) 衝突対応車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070522

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080729

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080811

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110829

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120829

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130829

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees