[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2002197444A - 車両の走行路認識装置 - Google Patents

車両の走行路認識装置

Info

Publication number
JP2002197444A
JP2002197444A JP2000397747A JP2000397747A JP2002197444A JP 2002197444 A JP2002197444 A JP 2002197444A JP 2000397747 A JP2000397747 A JP 2000397747A JP 2000397747 A JP2000397747 A JP 2000397747A JP 2002197444 A JP2002197444 A JP 2002197444A
Authority
JP
Japan
Prior art keywords
lane marker
deviation
candidate point
road
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000397747A
Other languages
English (en)
Other versions
JP3780848B2 (ja
Inventor
Ryota Shirato
良太 白▲土▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2000397747A priority Critical patent/JP3780848B2/ja
Priority to US09/982,956 priority patent/US6850628B2/en
Priority to EP01309831A priority patent/EP1227438A3/en
Publication of JP2002197444A publication Critical patent/JP2002197444A/ja
Application granted granted Critical
Publication of JP3780848B2 publication Critical patent/JP3780848B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

(57)【要約】 【課題】レーンマーカ候補点の誤検出による道路形状の
誤認識を排除できる走行路認識装置を提供する。 【解決手段】車両周囲の道路風景を撮像する撮像部１０
１と、複数のレーンマーカの候補点の、撮像部により取
り込まれた撮像面上の座標値を検出するレーンマーカ検
出部１０４と、レーンマーカ検出部により検出されたレ
ーンマーカ候補点の座標値に基づいて、道路モデルパラ
メータを算出する道路モデルパラメータ算出部１０５
と、レーンマーカ候補点と、道路モデルパラメータから
予測される予測候補点との偏差を算出する偏差算出部１
０６と、偏差算出部により算出された偏差算出結果に基
づいて、撮像画面がレーンマーカを検出できる画面であ
るかどうかを判断するレーンマーカ検出可否判断部１０
７と、を有する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、自動車や無人搬送
車などの各種移動体の走行路を認識する装置に関する。
【０００２】
【従来の技術】自動車や無人搬送車などの各種移動体に
おいては、危険回避のために補助的な警報を発したり、
人間の判断操作を補助したり、あるいは全面的な自動運
転を目的として、種々の形式の走行路の認識装置が検討
されている。たとえば、特開平１１−２５９６３９号公
報には、図１３に示すように、予測線Ｌ１から所定距離
２Ｄ１内にあるレーンマーカ（誘導線）候補点Ｃｉを検
出し、検出候補点Ｃｉと同一垂直座標の予測線Ｌ１上の
候補点ｂｉの差ｄｉ＝Ｃｉ−ｂｉの平均値を算出し、そ
の平均値だけ平行移動させた予測線Ｌ２から所定距離２
Ｄ２内にあるレーンマーカ候補点Ｃｉを正しく認識され
た候補点と判断し、それ以外を誤認識した候補点と判断
する方法が提案されている。
【０００３】
【発明が解決しようとする課題】しかしながら、上述し
た従来の認識方法では、検出されたレーンマーカ候補点
の分散を基に各候補点の真偽を検証するという構成であ
るため、図１４に示すように正しい認識結果を誤認識と
判断したり、図１５に示すように誤認識を正しいと判断
することがあった。
【０００４】なお、図１４および図１５には、正しい左
右のレーンマーカをＬＬ，ＬＲ、候補点をＰで表してい
るが、図１４には先行車Ｖの存在により正しく認識して
いるにも拘わらず誤認識であると判断した場合の例を示
し、図１５には二重車線或いはレーンマーカに類似する
線Ｄの存在により誤認識しているにも拘わらず正しい候
補点として判断した場合の例を示す。
【０００５】特に、こうした走行路認識装置では、撮像
した画面からレーンマーカを画像処理で検出する場合、
レーンマーカが描かれている部分の明るさ（輝度）と描
かれていない部分の明るさとを比較し、明るさが変化し
た位置にレーンマーカのエッジがあると判断する。すな
わち、明るさの変化点を検出するので、撮像した画面か
ら画像処理する領域を限定してレーンマーカを検出する
ように処理ウィンドを限定したとき、レーンマーカの近
傍に、予期しない明るい部分、たとえば夜間に路面の水
膜に街灯光が反射した場合などにおいては、その部分に
レーンマーカのエッジがあると誤認識してしまう。
【０００６】本発明は、このような従来技術の問題点に
鑑みてなされたものであり、レーンマーカ候補点の誤検
出による道路形状の誤認識を排除できる走行路認識装置
を提供することを目的とする。
【０００７】
【課題を解決するための手段】（１）上記目的を達成す
るために、本発明によれば、車両周囲を撮像する撮像部
と、複数のレーンマーカの候補点の、前記撮像部により
取り込まれた撮像面上の座標値を検出するレーンマーカ
検出部と、前記レーンマーカ検出部により検出されたレ
ーンマーカ候補点の座標値に基づいて、道路モデルパラ
メータを算出する道路モデルパラメータ算出部と、前記
レーンマーカ候補点と、前記道路モデルパラメータから
予測される予測候補点との偏差を算出する偏差算出部
と、前記偏差算出部により算出された偏差算出結果に基
づいて、撮像画面がレーンマーカを検出できる画面であ
るかどうかを判断するレーンマーカ検出可否判断部と、
を有する車両の走行路認識装置が提供される（請求項１
参照）。
【０００８】上記発明においては特に限定されないが、
偏差算出部は、レーンマーカ候補点と、走行路上におい
て自車両から当該レーンマーカ候補点と等距離にある道
路モデルパラメータから予測される予測候補点との撮像
画面上における差の絶対値を算出し、前記レーンマーカ
検出部により検出された全てのレーンマーカ候補点の差
の絶対値の平均値を偏差として出力する（請求項２参
照）。
【０００９】またはこれに代えて、偏差算出部は、レー
ンマーカ候補点と、走行路上において自車両から当該レ
ーンマーカ候補点と等距離にある道路モデルパラメータ
から予測される予測候補点との撮像画面上における差の
二乗値を算出し、前記レーンマーカ検出部により検出さ
れた全てのレーンマーカ候補点の差の二乗値の平均値を
偏差として出力する（請求項３参照）。
【００１０】この車両の走行路認識装置では、検出され
たレーンマーカ候補点と、前回の処理までの道路モデル
パラメータの変化から予測される予測候補点との偏差を
算出し、その偏差が所定時間以上、所定値を超えていた
ら、現在の走行路環境がレーンマーカを正しく検出でき
る状況ではないと判断する。これにより、レーンマーカ
候補点の誤検出による道路形状の誤認識を排除すること
ができる。
【００１１】（２）上記発明においては特に限定されな
いが、撮像部により取り込まれた画像を前処理する前処
理部をさらに有し、前記前処理部は前記撮像部により取
り込まれた画像を微分処理し、前記偏差算出部は、レー
ンマーカ候補点と予測候補点との偏差を算出する際にレ
ーンマーカ候補点の微分濃度値を偏差の値に重み付けす
る（請求項４参照）。
【００１２】この車両の走行路認識装置では、偏差にレ
ーンマーカ候補点の微分濃度値を重み付けするので、誤
認識判断にレーンマーカ検出結果の信頼性を付加するこ
とができる。
【００１３】（３）上記発明においては特に限定されな
いが、偏差算出部は、レーンマーカ候補点と予測候補点
との偏差を算出する際に、走行路上における自車両から
レーンマーカ候補点までの距離に応じて偏差の値に重み
付けする（請求項５参照）。
【００１４】この車両の走行路認識装置では、偏差に走
行路における自車両からレーンマーカ候補点までの距離
に応じた重み付けを行うため、画素のズレ量を路面上で
のズレ量に変換することができる。
【００１５】（４）上記発明においては特に限定されな
いが、道路モデルパラメータ算出部は、前記レーンマー
カ検出可否判断部がレーンマーカを検出できないと判断
したとき、道路モデルパラメータを初期化する（請求項
６参照）。
【００１６】またはこれに代えて、道路モデルパラメー
タ算出部は、前記レーンマーカ検出可否判断部がレーン
マーカを検出できないと判断したとき、道路モデルパラ
メータを更新せずに前回の値を用いる（請求項７参
照）。
【００１７】またはこれらに代えて、道路モデルパラメ
ータ算出部は、前記レーンマーカ検出可否判断部がレー
ンマーカを検出できないと判断したとき、レーンマーカ
候補点に関する情報を用いないで道路モデルパラメータ
を算出する（請求項８参照）。
【００１８】この車両の走行路認識装置では、レーンマ
ーカを検出するのに適切でないと判断された画面でのレ
ーンマーカ候補点の検出結果を道路モデルパラメータの
算出に用いないので、道路形状の誤認識を防止すること
ができる。
【００１９】
【発明の効果】請求項１乃至３記載の発明によれば、レ
ーンマーカ候補点の誤検出による道路形状の誤認識を排
除することができる。
【００２０】これに加えて、請求項４記載の発明によれ
ば、誤認識判断にレーンマーカ検出結果の信頼性を付加
することができる。
【００２１】また請求項５記載の発明によれば、画素の
ズレ量を路面上でのズレ量に変換することができる。
【００２２】請求項６乃至８記載の発明によれば、レー
ンマーカを検出するのに適切でないと判断された画面で
のレーンマーカ候補点の検出結果を道路モデルパラメー
タの算出に用いないので、道路形状の誤認識を防止する
ことができる。
【００２３】
【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。第１実施形態 図１は本発明の車両の走行路認識装置の実施形態を示す
ブロック図である。本例の車両の走行路認識装置１は、
車両前方を撮像するＣＣＤカメラ１０１（本発明の撮像
部に相当する。）と、ＣＣＤカメラ１０１からの映像信
号に対して画面全体に一様な処理を施す前処理部１０２
と、入力画面上にレーンマーカを検出するための複数の
小領域を設定するレーンマーカ検出用小領域設定部１０
３と、複数の小領域に対してレーンマーカの一部をレー
ンマーカ候補点として検出するレーンマーカ検出部１０
４と、レーンマーカ検出部１０４の検出結果に基づいて
車両前方の道路形状を表すための道路パラメータを算出
する道路パラメータ算出部１０５と、レーンマーカ候補
点と道路モデルパラメータから予測される予測候補点と
の偏差を算出する偏差算出部１０６と、この偏差算出部
１０６の偏差算出結果から撮像画面がレーンマーカを検
出できる画面であるかどうかを判断するレーンマーカ検
出可否判断部１０７とにより構成されている。
【００２４】次に走行路の認識手順について説明する。
図２は本例の処理の流れを示すフローチャートであり、
まずステップ２０１でドライバーのスイッチ操作又は車
両のイグニッションによりシステムが始動すると、ステ
ップ２０２では、車両前方の道路形状を認識するための
道路パラメータの初期化が実行される。
【００２５】道路パラメータは以下の手順で定義され
る。すなわち、道路座標系を、図５に示すように、ＣＣ
Ｄカメラ１０１の撮像レンズの中心を原点として、車両
進行方向に向かって右→左上方にＸ軸、車両の高さ方向
へ上向きにＹ軸、レンズ光軸を車両進行方向にＺ軸とす
るＸＹＺ系で定義する。一方、画像処理画面の平面座標
系は、同図に示すように、ＮＴＳＣ等のテレビジョン通
信方式の画面操作方向にしたがい、画面左上を原点とし
て左から右へ水平方向にｘ軸、上から下へ垂直方向にｙ
軸と定義する。
【００２６】これら２つの座標系の関係は図５に示すよ
うになるが、これを簡略化するために同図のように平面
座標系の原点が道路座標系のＺ軸上にあるとすると、道
路座標系から平面座標系への座標変換は次式（１）
（２）で表される。
【００２７】
【数１】
【００２８】道路平面構造は、直線と曲率一定の曲線、
およびこれらを滑らかに結ぶための曲率変化率一定のク
ロソイド曲線で定義されるが、車両前方の数十ｍの区間
は、曲率一定の曲線路又は直線路とみなすことができ
る。そこで、図６（ａ）に示すように車線区分線（レー
ンマーカ）の形状を定式化した。また同様に、縦断構造
ついては一定勾配とみなすことができるので、同図
（ｂ）に示すように定式化した。これら定式化したもの
をそれぞれ下記（３）（４）に示す。
【００２９】
【数２】
【００３０】以上の（１）〜（４）式より、画像処理画
面の平面座標系に投影されるレーンマーカの形状を定式
化することができる。（１）〜（４）式より、Ｘ，Ｙ，
Ｚを消去して整理すると次式（５）〜（１０）が得られ
る。
【００３１】
【数３】
【００３２】ここで、ｃ０，ｄ０は、図５において平面
座標系の原点を道路座標系のＺ軸上としているのに対
し、実際には画像処理画面の左上を原点としているた
め、その分を補正する値である。
【００３３】以上より、画像処理によって検出されるレ
ーンマーカ候補点が満たす（５）式のパラメータａ〜ｅ
の値を求めることで、道路曲率、車両のピッチ角・ヨー
角、車線内での車両の横変位を推定することができる。
【００３４】図２に戻り、ステップ２０３では、ＣＣＤ
カメラ１０１によって撮像された画像の画像信号が前処
理部１０２に入力され、ここで前処理が実行される。レ
ーンマーカを検出するための前処理として、レーンマー
カと路面の境界強調するために、例えばＳｏｂｅｌフィ
ルタによる一次空間微分を行う。レーンマーカ検出では
この境界を検出対象とする。レーンマーカは、道路曲率
により水平に近い部分と垂直に近い部分とがあるため、
水平方向微分と垂直方向微分との２つのエッジ画像を作
成する。なお、レーンマーカと路面との境界を強調する
ため、他のエッジ強調フィルタを用いてもよい。また、
レーンマーカを特徴的に抽出するための手段であるなら
その方式は問わない。
【００３５】次のステップ２０４では、自車が走行して
いる車線を表示するレーンマーカを画面内より検出する
ために、複数の小領域を設定する。検出領域は、図７に
示すように、前回の画像処理結果または初期設定の道路
パラメータから求められる道路形状に沿って所定の区間
ごとに区切られて設定される。なお、道路モデルパラメ
ータ算出部１０５には、道路モデルパラメータを記憶し
ておく記憶装置が含まれ、このステップ２０４では当該
記憶装置から道路モデルパラメータが読み出されて使用
される。
【００３６】ステップ２０５では、図８に示すように、
ステップ２０４で設定された小領域の領域内で最もレー
ンマーカと路面の境界らしい直線を検出し、その直線上
の１点をレーンマーカ候補点とする。図８に示す例で
は、直線検出結果の最上点をレーンマーカ候補点として
いる。
【００３７】次のステップ２０６では、図９に示すよう
に、ステップ２０５で検出されたレーンマーカ候補点
の、前回までのレーンマーカ認識結果から予測された道
路モデルに対する偏差を算出する。この偏差の算出は、
図１０に示すように、算出対象とするレーンマーカ候補
点と同一ｙ座標上の道路モデル上の点を予測候補点と
し、レーンマーカ候補点のｘ座標をｑｉ、予測候補点の
ｘ座標をｒｉとすると、その偏差ｐｉは、
【００３８】
【数４】ｐｉ＝｜ｑｉ−ｒｉ｜ …（１１）） により求めることができる。上式（１１）は検出された
レーンマーカ候補点の各点において算出できるので、ｐ
ｉの平均値、
【００３９】
【数５】 ｐ＝（算出された全てのｐｉの総和）／（算出されたレーンマーカ候補点数） …（１２） を今回の処理画面のレーンマーカ検出結果の偏差として
用いる。なお、偏差の演算は、
【００４０】
【数６】ｐｉ＝（ｑｉ−ｒｉ）２ …（１３） を用いても良い。なお、このステップにおいても道路モ
デルパラメータ算出部１０５に含まれる記憶装置から道
路モデルパラメータが読み出されて使用される。
【００４１】次のステップ２０７では、ステップ２０６
で算出された偏差ｐに基づいて、入力された画像がレー
ンマーカを検出できる画面であるかどうかを判断する。
ここでは、上記（１２）式の平均偏差ｐの値が所定値以
上となることが所定時間以上連続した場合に、レーンマ
ーカが検出できない画面であると判断しても良いし、図
１１に示すように平均偏差ｐの時系列データにローパス
フィルタをかけた値が所定値（検出可否判断しきい値）
を超えた場合に、レーンマーカが検出できない画面であ
ると判断しても良い。図１１に示された例において、検
出可能と判断された画面と、検出不可能であると判断さ
れた画面の一例を図１２に示す。右図に示す検出不可能
な入力画面の例では、夜間の雨天時などにおいて路面に
水膜が発生した場合、道路照明の路面反射（画面左側の
縦線）や轍に溜まった水膜（画面右側）が、レーンマー
カのように撮像されて、検出結果に誤りが生じている状
態を示している。
【００４２】なお、ステップ２０７にてレーンマーカが
検出できないと判断された場合には、ステップ２０２に
戻って処理の初期化から再実行し、レーンマーカが検出
できる画面であると判断されたらステップ２０８へ進
む。
【００４３】次のステップ２０８では、ステップ２０５
で得られた画面上のレーンマーカ候補点の位置より道路
モデルのパラメータを算出する。このとき、当該道路モ
デルパラメータ算出部１０５に含まれる記憶装置から道
路モデルパラメータが読み出される。画像処理によるレ
ーンマーカ候補点の検出結果に基づいて二次元道路モデ
ル式を推定する手段として、たとえば拡張カルマンフィ
ルタを用いることができる。
【００４４】上述した（１）〜（４）式から下記（１
４）式が得られる。この式は、拡張カルマンフィルタを
構成する際の出力方程式として用いられ、これにより道
路曲率と車両状態量とから画像処理平面上に定義したｙ
座標値におけるｘ座標値が算出される。
【００４５】
【数７】
【００４６】拡張カルマンフィルタによる推定状態量
は、車両の横変位ｙｃ、道路曲率ρ、車両のヨー角φ、
ピッチ角η、ＣＣＤカメラ１０１の高さｈとし、レンズ
の焦点距離ｆおよび車線幅Ｗは一定値として扱う。各推
定状態量の変化は、確率的な振る舞いをするものとし
て、白色ガウス雑音νによって駆動される離散系のラン
ダムウォークモデルとして定義すると、状態方程式は下
記（１５）式のようになる。
【００４７】
【数８】
【００４８】状態方程式（１５）と出力方程式（１４）
をそれぞれ下記（１６）（１７）式のように簡略化して
表記すると、拡張カルマンフィルタは（１８）〜（２
１）式で構成される。
【００４９】
【数９】
【００５０】なお、上記の例では車線幅Ｗを固定値とし
て取り扱い、ＣＣＤカメラ１０１の地上高ｈを推定して
いたが、ＣＣＤカメラ１０１の地上高ｈを固定値として
車線幅Ｗを推定するようにしても良い。また、上記の例
では、道路パラメータの算出にカルマンフィルタを用い
たが、他の推定方法や最小二乗法などの同定方法を用い
て道路パラメータを算出しても良い。
【００５１】図２に戻り、ステップ２０９では、ステッ
プ２０８で算出された新たな道路パラメータをデータ記
憶領域（上述した道路モデルパラメータ算出部１０５に
含まれる記憶装置）に保存する。ここで保存された道路
パラメータが次回の画像処理におけるレーンマーカ検出
領域の設定や偏差の算出、新たな道路パラメータの算出
に用いられる。その後、ステップ２０３へ戻り、次画面
の処理の実行に移るべく画像の取り込みを行う。
【００５２】以上の手順により本例の処理が実行され
る。
【００５３】第２実施形態 図３は本発明の第２実施形態における動作手順を示すフ
ローチャートである。本例では、まずステップ３０１で
ドライバーのスイッチ操作又は車両のイグニッションに
よりシステムが始動すると、ステップ３０２では、車両
前方の道路形状を認識するための道路パラメータの初期
化が実行されると同時に、カウンタＣＮＴＲの値を０に
設定する。道路パラメータの定義は上述した第１実施形
態と同じである。
【００５４】次いで、ステップ３０３乃至ステップ３０
７においては、上述した第１実施形態と同様にして、Ｃ
ＣＤカメラ１０１によって撮像された画像の画像信号が
前処理部１０２に入力され、ここで前処理が実行され
（ステップ３０３）、自車が走行している車線を表示す
るレーンマーカを画面内より検出するために、複数の小
領域を設定し（ステップ３０４）、ステップ３０４で設
定された小領域の領域内で最もレーンマーカと路面の境
界らしい直線を検出し、その直線上の１点をレーンマー
カ候補点とする（ステップ３０５）。さらに、ステップ
３０５で検出されたレーンマーカ候補点の、前回までの
レーンマーカ認識結果から予測された道路モデルに対す
る偏差を算出し（ステップ３０６）、ステップ３０６で
算出された偏差ｐに基づいて、入力された画像がレーン
マーカを検出できる画面であるかどうかを判断する（ス
テップ３０７）。
【００５５】ステップ３０７にて、レーンマーカの検出
が可能であると判断された場合には、ステップ３０８へ
進み、カウンタＣＮＴＲの値を０に設定する。その後、
ステップ３０９，３１０へと進み、上述した第１実施形
態と同様に、ステップ３０５で得られた画面上のレーン
マーカ候補点の位置より道路モデルのパラメータを算出
し（ステップ３０９）、ステップ３０９で算出された新
たな道路パラメータをデータ記憶領域に保存する（ステ
ップ３１０）。
【００５６】これに対して、ステップ３０７において、
レーンマーカの検出が不可能であると判断された場合に
は、ステップ３１１へ進み、カウンタＣＮＴＲの値に１
を加算する。そして、ステップ３１２へ進み、カウンタ
ＣＮＴＲの値が所定値Ｎを超えていなければステップ３
０３へ戻り、道路パラメータの更新を行うことなく次回
の画像処理ステップ３０３へ進む。また、ステップ３１
２にてカウンタＣＮＴＲの値が所定値Ｎを超えている場
合には、ステップ３０２へ戻り、道路パラメータの初期
化およびカウンタクリア（ＣＮＴＲ＝０）から再実行す
る。
【００５７】以上の手順により本例の処理が実行され
る。
【００５８】第３実施形態 図４は本発明の第３実施形態における処理手順を示すフ
ローチャートである。本例では、まずステップ４０１で
ドライバーのスイッチ操作又は車両のイグニッションに
よりシステムが始動すると、ステップ４０２では、車両
前方の道路形状を認識するための道路パラメータの初期
化が実行されると同時に、カウンタＣＮＴＲの値を０に
設定する。道路パラメータの定義は上述した第１実施形
態と同じである。
【００５９】次いで、ステップ４０３乃至ステップ４０
７においては、上述した第１実施形態と同様にして、Ｃ
ＣＤカメラ１０１によって撮像された画像の画像信号が
前処理部１０２に入力され、ここで前処理が実行され
（ステップ４０３）、自車が走行している車線を表示す
るレーンマーカを画面内より検出するために、複数の小
領域を設定し（ステップ４０４）、ステップ４０４で設
定された小領域の領域内で最もレーンマーカと路面の境
界らしい直線を検出し、その直線上の１点をレーンマー
カ候補点とする（ステップ４０５）。さらに、ステップ
４０５で検出されたレーンマーカ候補点の、前回までの
レーンマーカ認識結果から予測された道路モデルに対す
る偏差を算出し（ステップ４０６）、ステップ４０６で
算出された偏差ｐに基づいて、入力された画像がレーン
マーカを検出できる画面であるかどうかを判断する（ス
テップ４０７）。
【００６０】ステップ４０７にて、レーンマーカの検出
が可能であると判断された場合には、ステップ４０８へ
進み、カウンタＣＮＴＲの値を０に設定する。その後、
ステップ４０９，４１０へと進み、上述した第１実施形
態と同様に、ステップ４０５で得られた画面上のレーン
マーカ候補点の位置より道路モデルのパラメータを算出
し（ステップ４０９）、ステップ４０９で算出された新
たな道路パラメータをデータ記憶領域に保存する（ステ
ップ４１０）。
【００６１】これに対して、ステップ４０７において、
レーンマーカの検出が不可能であると判断された場合に
は、ステップ４１１へ進み、カウンタＣＮＴＲの値に１
を加算する。
【００６２】そして、ステップ４１２へ進み、ここでカ
ウンタＣＮＴＲの値が所定値Ｎを超えていなければステ
ップ４１３へ進み、今回検出されたパラメータ候補点を
用いないで、たとえばカルマンフィルタのような逐次形
の推定器を用いて前回までの道路パラメータの変化の様
子などから道路パラメータを推定する。また、ステップ
４１２にてカウンタＣＮＴＲの値が所定値Ｎを超えてい
る場合には、ステップ４０２へ戻り、道路パラメータの
初期化およびカウンタクリア（ＣＮＴＲ＝０）から再実
行する。
【００６３】以上の手順により本例の処理が実行され
る。
【００６４】なお、以上説明した実施形態は、本発明の
理解を容易にするために記載されたものであって、本発
明を限定するために記載されたものではない。したがっ
て、上記の実施形態に開示された各要素は、本発明の技
術的範囲に属する全ての設計変更や均等物をも含む趣旨
である。
【図面の簡単な説明】
【図１】本発明の車両の走行路認識装置の実施形態を示
すブロック図である。
【図２】本発明の第１実施形態における処理手順を示す
フローチャートである。
【図３】本発明の第２実施形態における処理手順を示す
フローチャートである。
【図４】本発明の第３実施形態における処理手順を示す
フローチャートである。
【図５】本発明に係る道路座標系と平面座標系との関係
を示す図である。
【図６】本発明に係る道路モデルを示す図である。
【図７】本発明に係るレーンマーカ検出領域を説明する
ための図である。
【図８】本発明に係るレーンマーカ検出結果とレーンマ
ーカ候補点を説明するための図である。
【図９】本発明に係るレーンマーカ候補点と予測された
道路モデルとの関係を示す図である。
【図１０】本発明に係る偏差を説明するための図であ
る。
【図１１】本発明に係るレーンマーカの検出可否判断を
説明するためのグラフである。
【図１２】レーンマーカの検出が可能と判断された例お
よび不可能と判断された例を示す図である。
【図１３】従来の走行路の認識方法を説明するための図
である。
【図１４】従来の走行路認識装置の問題点を説明するた
めの図である。
【図１５】従来の走行路認識装置の問題点を説明するた
めの図である。
【符号の説明】
１…走行路認識装置 １０１…ＣＣＤカメラ（撮像部） １０２…前処理部 １０３…レーンマーカ検出用小領域設定部 １０４…レーンマーカ検出部 １０５…道路モデルパラメータ算出部 １０６…偏差算出部 １０７…レーンマーカ検出可否判断部
フロントページの続き Ｆターム(参考） 5B057 AA16 CE03 CE06 CE09 DA07 DA11 DC09 DC36 5H301 AA03 AA09 BB05 EE13 GG09 HH01 5L096 BA04 BA18 CA04 DA02 EA35 EA39 EA41 FA03 FA32 FA69 HA05 JA14

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】車両周囲を撮像する撮像部と、 複数のレーンマーカの候補点の、前記撮像部により取り
    込まれた撮像面上の座標値を検出するレーンマーカ検出
    部と、 前記レーンマーカ検出部により検出されたレーンマーカ
    候補点の座標値に基づいて、道路モデルパラメータを算
    出する道路モデルパラメータ算出部と、 前記レーンマーカ候補点と、前記道路モデルパラメータ
    から予測される予測候補点との偏差を算出する偏差算出
    部と、 前記偏差算出部により算出された偏差算出結果に基づい
    て、撮像画面がレーンマーカを検出できる画面であるか
    どうかを判断するレーンマーカ検出可否判断部と、を有
    する車両の走行路認識装置。
  2. 【請求項２】前記偏差算出部は、レーンマーカ候補点
    と、走行路上において自車両から当該レーンマーカ候補
    点と等距離にある道路モデルパラメータから予測される
    予測候補点との撮像画面上における差の絶対値を算出
    し、前記レーンマーカ検出部により検出された全てのレ
    ーンマーカ候補点の差の絶対値の平均値を偏差として出
    力する請求項１記載の車両の走行路認識装置。
  3. 【請求項３】前記偏差算出部は、レーンマーカ候補点
    と、走行路上において自車両から当該レーンマーカ候補
    点と等距離にある道路モデルパラメータから予測される
    予測候補点との撮像画面上における差の二乗値を算出
    し、前記レーンマーカ検出部により検出された全てのレ
    ーンマーカ候補点の差の二乗値の平均値を偏差として出
    力する請求項１記載の車両の走行路認識装置。
  4. 【請求項４】前記撮像部により取り込まれた画像を前処
    理する前処理部をさらに有し、 前記前処理部は前記撮像部により取り込まれた画像を微
    分処理し、 前記偏差算出部は、レーンマーカ候補点と予測候補点と
    の偏差を算出する際にレーンマーカ候補点の微分濃度値
    を偏差の値に重み付けする請求項１乃至３記載の車両の
    走行路認識装置。
  5. 【請求項５】前記偏差算出部は、レーンマーカ候補点と
    予測候補点との偏差を算出する際に、走行路上における
    自車両からレーンマーカ候補点までの距離に応じて偏差
    の値に重み付けする請求項１乃至３記載の車両の走行路
    認識装置。
  6. 【請求項６】前記道路モデルパラメータ算出部は、前記
    レーンマーカ検出可否判断部がレーンマーカを検出でき
    ないと判断したとき、道路モデルパラメータを初期化す
    る請求項１乃至５記載の車両の走行路認識装置。
  7. 【請求項７】前記道路モデルパラメータ算出部は、前記
    レーンマーカ検出可否判断部がレーンマーカを検出でき
    ないと判断したとき、道路モデルパラメータを更新せず
    に前回の値を用いる請求項１乃至５記載の車両の走行路
    認識装置。
  8. 【請求項８】前記道路モデルパラメータ算出部は、前記
    レーンマーカ検出可否判断部がレーンマーカを検出でき
    ないと判断したとき、レーンマーカ候補点に関する情報
    を用いないで道路モデルパラメータを算出する請求項１
    乃至５記載の車両の走行路認識装置。
JP2000397747A 2000-12-27 2000-12-27 車両の走行路認識装置 Expired - Fee Related JP3780848B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2000397747A JP3780848B2 (ja) 2000-12-27 2000-12-27 車両の走行路認識装置
US09/982,956 US6850628B2 (en) 2000-12-27 2001-10-22 Lane recognition apparatus for vehicle
EP01309831A EP1227438A3 (en) 2000-12-27 2001-11-22 Lane recognition apparatus for vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000397747A JP3780848B2 (ja) 2000-12-27 2000-12-27 車両の走行路認識装置

Publications (2)

Publication Number Publication Date
JP2002197444A true JP2002197444A (ja) 2002-07-12
JP3780848B2 JP3780848B2 (ja) 2006-05-31

Family

ID=18862836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000397747A Expired - Fee Related JP3780848B2 (ja) 2000-12-27 2000-12-27 車両の走行路認識装置

Country Status (3)

Country Link
US (1) US6850628B2 (ja)
EP (1) EP1227438A3 (ja)
JP (1) JP3780848B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170397A (ja) * 2009-01-23 2010-08-05 Toyota Motor Corp 区画線認識装置、及び当該装置で用いられる区画線認識方法
JP2011043907A (ja) * 2009-08-19 2011-03-03 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
CN105072402A (zh) * 2015-08-11 2015-11-18 余路 一种机器人巡视监测的方法
JP2020057069A (ja) * 2018-09-28 2020-04-09 株式会社Ｓｕｂａｒｕ 区画線認識装置
JP7086600B2 (ja) 2014-08-13 2022-06-20 フィッシャー－ローズマウント システムズ，インコーポレイテッド プロセス制御器、プロセス制御方法、プロセス制御デバイス、及び多重速度制御器

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729095B2 (ja) * 2001-06-29 2005-12-21 日産自動車株式会社 走行路検出装置
JP3625460B2 (ja) 2002-09-27 2005-03-02 三菱電機株式会社 車載用走行車線認識装置
JP4162618B2 (ja) * 2004-03-12 2008-10-08 株式会社豊田中央研究所 車線境界判定装置
US7482916B2 (en) 2004-03-15 2009-01-27 Anita Au Automatic signaling systems for vehicles
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP4390631B2 (ja) * 2004-06-02 2009-12-24 トヨタ自動車株式会社 境界線検出装置
JP4756931B2 (ja) * 2004-07-01 2011-08-24 株式会社 三英技研 デジタルレーンマーク作成装置
JP4069912B2 (ja) * 2004-08-19 2008-04-02 日産自動車株式会社 車両運動制御装置
DE102004040143A1 (de) * 2004-08-19 2006-02-23 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerinformation
KR100497781B1 (ko) * 2004-09-24 2005-06-28 주식회사 삼안 에스형, 복합형 및 난형 도로설계에서 크로소이드파라메타 계산방법
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7400236B2 (en) * 2005-10-21 2008-07-15 Gm Global Technology Operations, Inc. Vehicular lane monitoring system utilizing front and rear cameras
JP4108706B2 (ja) * 2005-10-31 2008-06-25 三菱電機株式会社 車線逸脱防止装置
DE602006020231D1 (de) * 2005-12-06 2011-04-07 Nissan Motor Detektionsvorrichtung und -verfahren
JP4811201B2 (ja) 2005-12-06 2011-11-09 日産自動車株式会社 走路境界線検出装置、および走路境界線検出方法
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4687563B2 (ja) * 2006-05-23 2011-05-25 株式会社デンソー 車両用レーンマーク認識装置
WO2008091565A1 (en) 2007-01-23 2008-07-31 Valeo Schalter & Sensoren Gmbh Method and system for universal lane boundary detection
KR100941271B1 (ko) * 2007-03-30 2010-02-11 현대자동차주식회사 자동차용 차선이탈 방지 방법
US20090069973A1 (en) * 2007-09-10 2009-03-12 Shih-Hsiung Li Warning method and device for deviation of a moving vehicle
DE102007051966A1 (de) 2007-10-31 2009-05-07 Adc Automotive Distance Control Systems Gmbh Verfahren und Vorrichtung zur Erkennung des Verlaufs einer Fahrspur
KR101071732B1 (ko) * 2007-12-17 2011-10-11 현대자동차주식회사 차량 주행속도 제어 장치 및 그 방법
JP4622001B2 (ja) * 2008-05-27 2011-02-02 トヨタ自動車株式会社 道路区画線検出装置および道路区画線検出方法
JP5075152B2 (ja) * 2009-03-24 2012-11-14 日立オートモティブシステムズ株式会社 車両制御装置
JP5286214B2 (ja) * 2009-09-30 2013-09-11 日立オートモティブシステムズ株式会社 車両制御装置
DE102010020984A1 (de) * 2010-04-20 2011-10-20 Conti Temic Microelectronic Gmbh Verfahren zur Bestimmung des Fahrbahnverlaufes für ein Kraftfahrzeug
DE102010054066A1 (de) * 2010-12-10 2012-06-14 GM Global Technology Operations LLC Verfahren zum Betreiben eines Sensors eines Fahrzeugs und Fahrerassistenzsystem für ein Fahrzeug
JP5810654B2 (ja) * 2011-06-13 2015-11-11 トヨタ自動車株式会社 区画線認識装置、区画線認識方法、プログラム及び媒体
US9098751B2 (en) 2011-07-27 2015-08-04 Gentex Corporation System and method for periodic lane marker identification and tracking
DE102011081892A1 (de) * 2011-08-31 2013-02-28 Robert Bosch Gmbh Verfahren zur Fahrspur-Überwachung und Fahrspur-Überwachungssystem für ein Fahrzeug
US20130202155A1 (en) * 2012-02-03 2013-08-08 Gopal Gudhur Karanam Low-cost lane marker detection
US8755967B1 (en) 2012-03-23 2014-06-17 Google Inc. Estimating road lane geometry using lane marker observations
JP5986949B2 (ja) * 2013-04-08 2016-09-06 株式会社日本自動車部品総合研究所 境界線認識装置
US9310804B1 (en) * 2013-11-21 2016-04-12 Google Inc. Use of prior maps for estimation of lane boundaries
EP2960129A1 (en) * 2014-06-26 2015-12-30 Volvo Car Corporation Confidence level determination for estimated road geometries
JP6449627B2 (ja) * 2014-11-25 2019-01-09 株式会社Ｓｏｋｅｎ 走行区画線認識装置
JP6483446B2 (ja) 2015-01-15 2019-03-13 トヨタ自動車株式会社 複合線判定装置及び複合線判定方法
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP6637399B2 (ja) * 2016-09-30 2020-01-29 株式会社デンソー 領域認識装置及び領域認識方法
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
JP7180536B2 (ja) * 2019-05-24 2022-11-30 トヨタ自動車株式会社 車両
KR20210148756A (ko) * 2020-06-01 2021-12-08 삼성전자주식회사 경사 추정 장치 및 이의 동작 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991427A (en) * 1996-07-31 1999-11-23 Aisin Seiki Kabushiki Kaisha Method and apparatus for detecting a lane on a road
JP3373773B2 (ja) * 1998-01-27 2003-02-04 株式会社デンソー レーンマーク認識装置、車両走行制御装置および記録媒体
JP3319383B2 (ja) 1998-03-11 2002-08-26 株式会社豊田中央研究所 走行路認識装置
KR20000025578A (ko) * 1998-10-13 2000-05-06 윤종용 차로의 모델링 방법 및 그를 이용한 차선 인식 방법
KR100326674B1 (ko) * 1999-03-11 2002-03-02 이계안 차량의 차선이탈 경보 방법
JP3521860B2 (ja) * 2000-10-02 2004-04-26 日産自動車株式会社 車両の走行路認識装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010170397A (ja) * 2009-01-23 2010-08-05 Toyota Motor Corp 区画線認識装置、及び当該装置で用いられる区画線認識方法
JP4710981B2 (ja) * 2009-01-23 2011-06-29 トヨタ自動車株式会社 区画線認識装置、及び当該装置で用いられる区画線認識方法
US8098895B2 (en) 2009-01-23 2012-01-17 Toyota Jidosha Kabushiki Kaisha Lane marker recognition apparatus and lane marker recognition method used by said apparatus
JP2011043907A (ja) * 2009-08-19 2011-03-03 Nissan Motor Co Ltd 車線認識装置、及び車線認識方法
JP7086600B2 (ja) 2014-08-13 2022-06-20 フィッシャー－ローズマウント システムズ，インコーポレイテッド プロセス制御器、プロセス制御方法、プロセス制御デバイス、及び多重速度制御器
CN105072402A (zh) * 2015-08-11 2015-11-18 余路 一种机器人巡视监测的方法
CN105072402B (zh) * 2015-08-11 2017-11-28 余路 一种机器人巡视监测的方法
JP2020057069A (ja) * 2018-09-28 2020-04-09 株式会社Ｓｕｂａｒｕ 区画線認識装置
CN110991214A (zh) * 2018-09-28 2020-04-10 株式会社斯巴鲁 车道线识别装置
CN110991214B (zh) * 2018-09-28 2024-06-07 株式会社斯巴鲁 车道线识别装置

Also Published As

Publication number Publication date
JP3780848B2 (ja) 2006-05-31
EP1227438A3 (en) 2004-10-20
US6850628B2 (en) 2005-02-01
US20020131620A1 (en) 2002-09-19
EP1227438A2 (en) 2002-07-31

Similar Documents

Publication Publication Date Title
JP3780848B2 (ja) 車両の走行路認識装置
EP2958054B1 (en) Hazard detection in a scene with moving shadows
Wang et al. Lane detection and tracking using B-Snake
US8005266B2 (en) Vehicle surroundings monitoring apparatus
JP3780922B2 (ja) 道路白線認識装置
JP4919036B2 (ja) 移動物体認識装置
JP4930046B2 (ja) 路面判別方法および路面判別装置
KR100816377B1 (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
EP2602741A2 (en) Detection of the vertical contour of a road
US20120070088A1 (en) Picture image processor, method for processing picture image and method for processing picture image
JP4872769B2 (ja) 路面判別装置および路面判別方法
JP2002197469A (ja) 車線検出装置
JP2000357233A (ja) 物体認識装置
JP4407920B2 (ja) 障害物認識方法及び障害物認識装置
US20090052742A1 (en) Image processing apparatus and method thereof
Liu et al. Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions
JP2006105661A (ja) ステレオ画像による平面推定方法
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
JP2003157499A (ja) 道路白線認識装置
JP3823782B2 (ja) 先行車両認識装置
JP3700625B2 (ja) 道路白線認識装置
JP2005157731A (ja) 車線認識装置および車線認識方法
JP3925285B2 (ja) 走行路環境検出装置
JP2007280387A (ja) 物体移動の検出方法及び検出装置
US20200193184A1 (en) Image processing device and image processing method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050719

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20051025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051219

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100317

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110317

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120317

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130317

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees