JP4146954B2 - 物体認識装置 - Google Patents
物体認識装置 Download PDFInfo
- Publication number
- JP4146954B2 JP4146954B2 JP02348899A JP2348899A JP4146954B2 JP 4146954 B2 JP4146954 B2 JP 4146954B2 JP 02348899 A JP02348899 A JP 02348899A JP 2348899 A JP2348899 A JP 2348899A JP 4146954 B2 JP4146954 B2 JP 4146954B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- line
- data
- distance data
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【発明の属する技術分野】
本発明は、周囲の物体を認識するようにした物体認識装置に関し、特に、その認識精度を高めるための技術分野に属するものである。
【0002】
【従来の技術】
従来より、この種の物体認識装置として、例えば特開平10―206116号公報に示されるように、一定方向に配置された多数のCCDをその配列方向と直交する方向に多段に並設してなる多段ライン型CCDを設け、この多段ライン型CCDに基づいて得られた2次元の距離データから特定の物体を認識するようにしたものが知られている。
【0003】
そして、このものでは、上記2次元の各距離データに対しその周囲の距離データとの関連性に基づき有効ポイント数を演算し、この演算されたポイント数が所定の基準値以下のものはノイズデータと判断して削除するようにしている。
【0004】
【発明が解決しようとする課題】
ところで、上記従来のものは全く問題がないわけではなく、改良すべき余地がある。すなわち、例えば遠方の物体を認識するためには、上記有効ポイント数の基準値を小さくする必要があるが、そうすると、例えば路面上にある車線区画用の白線等の表示についても物体に関する有効な距離データとして誤認識してしまう虞れがある。
【0005】
また、路面上にある数字や記号等の表示については、その距離データの数が多くなるので、この路面上の表示をも物体に関する距離データとして誤認識されることがある。
【0006】
本発明は斯かる諸点に鑑みてなされたもので、その目的とするところは、上記のように周囲の物体をその2次元の距離データに基づいて認識するときの処理方法に工夫を凝らすことにより、路面上の数字等の表示や遠距離の路面上の白線等の表示の距離データを他の特定の物体の距離データとして誤認識するのを防いで、その物体の認識精度を向上させることにある。
【0007】
【課題を解決するための手段】
上記の目的を達成するために、この発明では、周囲にある物体について検出された複数の2次元の距離データの配列状態を判定し、その配列状態から特定物体に関する特徴部分を見つけてその特徴部分の距離データのみを抽出し、その抽出データから物体を認識するようにした。
【0008】
具体的には、図1に示すように、請求項1の発明では、車両の周囲に存在する物体までの距離情報を2次元の距離データとして検出する物体距離データ検出手段30を備え、該検出手段30により検出された2次元の距離データから特定の物体を認識するようにした物体認識装置が前提である。
【0009】
そして、上記物体距離データ検出手段30によって検出された複数の2次元の距離データに対応する物体検出位置の配列状態を判定する配列判定手段41と、この配列判定手段41により判定された物体検出位置の配列状態に基づいて、略垂直面に沿って配列されている複数の物体検出位置のうち、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出するデータ抽出手段42と、このデータ抽出手段42により抽出された距離データに基づいて路面上に存在する物体を認識する物体認識手段20とを備えたことを特徴としている。
【0010】
この構成によれば、物体距離データ検出手段30において車両周囲の物体についての距離情報が距離データとして検出されると、この検出された複数の2次元の距離データに対応する物体検出位置の配列状態が配列判定手段41により判定される。さらに、この配列判定手段41により判定された物体検出位置の配列状態に基づいて、略垂直面に沿って配列されている複数の物体検出位置のうち、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データがデータ抽出手段42により抽出され、物体認識手段20において、上記データ抽出手段42により抽出された距離データに基づいて路面上に存在する物体が認識される。こうして複数の2次元の距離データに対応する物体検出位置の配列状態から物体認識に必要なデータを抽出するので、路面上にある距離データ数の多い数字等の表示や、遠距離にある路面上の白線等の表示の距離データは、物体認識に必要なデータとして抽出されず、そのことで特定の物体の認識精度を高めることができる。
【0012】
請求項2の発明では、物体距離データ検出手段30は、車両の後側方に存在する物体までの距離情報を2次元の距離データとして検出するものとする。こうすれば、車両の後側方に存在する特定の物体の認識精度を高めて車線変更等を容易に行うことができる。
【0013】
請求項3の発明では、物体距離データ検出手段30は、多段ライン型CCDセンサを備えたものとする。このことで、物体までの距離情報を2次元の距離データとして検出することが容易になる。
【0015】
請求項4の発明では、上記データ抽出手段42で用いられる傾きのしきい値は、物体までの距離が大きいほど小さくなるものとする。このことで、例えば遠くの物体が小さくなって路面上の白線等の表示との区別が付き難くなっても、その物体の距離データを精度よく認識することができる。
【0016】
また、請求項5の発明では、上記データ抽出手段42は、路面からの高さがしきい値よりも小さい物体検出位置の距離データのみを抽出するように構成されているものとする。このことで、遠距離にある物体の距離データでも近距離の物体と同様に抽出でき、物体の距離に関係なく安定した距離データを抽出して物体認識精度を高めることができる。
【0017】
請求項6の発明では、上記請求項5の発明におけるデータ抽出手段42で用いられる高さのしきい値は、物体までの距離、路面勾配の少なくとも1つに応じて補正されているものとする。こうすると、物体までの距離、路面勾配等が変わると、それに応じて物体検出位置の路面からの高さのしきい値が変化するので、上記路面勾配等の変化に拘わらず安定して物体の認識精度を向上させることができる。
【0018】
請求項7の発明では、上記請求項1の発明におけるデータ抽出手段42は、路面側から配列方向上側に向かって最初に、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出するように構成されているものとする。このように路面側から配列方向上側に向かって最初に、水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみが物体認識に用いられるので、物体の認識精度を確実に向上させることができる。
【0019】
請求項8の発明では、上記請求項1の発明におけるデータ抽出手段42は、略垂直面に沿って配列されている複数の物体検出位置のうちの高さの最大値及び最小値の差が所定値以上となる距離データのみを抽出するように構成されているものとする。こうすると、複数の物体検出位置のうちの高さの最大値及び最小値の差が所定値未満となる距離データは物体として認識されなくなり、不要な物体を確実に排除して、その分、物体の認識精度を向上させることができる。
【0021】
【発明の実施の形態】
図2は本発明の実施形態に係る物体認識装置を装備した自動車からなる車両C(自車)を示し、この物体認識装置は、車両Cの左右斜め後側方に位置する他の車両等の物体O(図5、図11、図12に示す)を認識して警報対象として警報するようになっている。
【0022】
すなわち、図2において、1は車両Cの車体、2は車体1の前後略中央部に形成された車室、3は車体1の前端部に形成されたエンジンルーム、4は車室2の前端部に配置されたインストルメントパネル、5は車室2の後端部にあるパッケージトレイ、6,6は左右のドアミラーである。そして、図3に示すように、上記物体認識装置は、各々物体Oまでの距離を測定するための左右の後側方検知センサ10,10と、この各検知センサ10の出力信号がそれぞれ入力されるコントローラ15と、このコントローラ15からの信号を受けて車両Cの乗員に情報、例えば物体Oの存在やその障害物としての危険度をCRTや液晶等により表示する表示装置31とを備えている。
【0023】
図2に示す如く、上記両検知センサ10,10は、上記左右のドアミラー6,6の内部にそれぞれ斜め後方を向いた状態で取付固定されている。また、コントローラ15は車室2内に、また表示装置31はインストルメントパネル4にそれぞれ配設されている。
【0024】
上記各検知センサ10は、車両Cの後側方の所定範囲の環境状態を検出する環境検出手段を構成するもので、図5に示すように、所定距離離れて上下方向に配置された上下1対のCCDチップ11,11と、該CCDチップ11,11に対応して配置されたレンズ12,12とを備えている。各CCDチップ11は、上下方向たるウィンドウ方向に沿って配置された多数のCCDからなるCCDラインをウィンドウ方向と直交するライン列方向(水平方向)に多段に並設してなる多段ライン型CCDからなり、この各CCDチップ11によりレンズ12を経てドアミラー6のミラー(ハーフミラー)越しに、上下方向に角度θ1の範囲でかつ水平左右方向に角度θ2の範囲(図10、図12参照)にある物体O等の画像を輝度情報として捕らえるようになっている。
【0025】
図4に示す如く、上記各検知センサ10はそれぞれコントローラ15内の測距回路16に接続されている。この各測距回路16は、両CCDチップ11,11での物体像の視差(位相差)を演算する視差演算部17と、この視差演算部17からの信号により物体Oまでの距離を演算する距離演算部18とを備えている。そして、各測距回路16では、図6及び図7に示す如く、各CCDチップ11により輝度として捕らえられた画像を、ライン方向(水平方向)にCCDライン毎のn個のラインに分割するとともに、その各ラインをウィンドウ方向(上下方向)にm個のウィンドウに分割して、画像の略全体をm×n個の領域E,E,…で構成し、両方のCCDチップ11,11による画像での同一の領域E,E間の視差を求め、この視差から各領域E毎に物体Oまでの距離を演算する。
【0026】
すなわち、両CCDチップ11,11により輝度として捕らえられた画像はいずれも図6に示すようになるが、これら両CCDチップ11,11の画像(輝度)は同じライン位置(図示例ではラインi)では、図8に示すように、両CCDチップ11,11の上下方向のずれ分だけずれていて視差が生じており、この視差を利用して物体Oまでを測距する。この原理について図9により説明するに、図9の三角形P・O1・Q及び三角形O1・P1・Q1同士、並びに三角形P・O2・Q及び三角形O2・P2・Q2同士はそれぞれ相似形あるので、今、検知センサ10(レンズ12)から物体Oまでの距離をa、両レンズ12,12の中心間の距離をB(定数)、レンズ12の焦点距離をf(定数)、両CCDチップ11,11での物体像のレンズ中心からのずれ量をそれぞれx1,x2とすると、
a・x1/f=B−a・x2/f
となり、この式から、
a=B・f/(x1+x2)
が得られる。つまり、両CCDチップ11,11での物体像の視差(位相差)によって物体Oまでの距離aを測定することができる。
【0027】
尚、図6及び図7におけるG(白点)は、CCDチップ11のCCDに対応するように縦横格子状に配置された測距点(測距ポイント)であり、この測距点Gは各領域Eに含まれている。また、各CCDラインでのウィンドウは、一部が隣接するウィンドウと互いにオーバーラップするように分割されており、上下方向(ウィンドウ方向)に隣接する領域E,Eに同じ測距点G,G,…が含まれている。また、O′は物体の像である。
【0028】
また、図10に示すように、上記各CCDチップ11により輝度として捕らえられた画像をライン毎に分割して形成される複数のラインは、車両Cの外側で近距離を測距するライン位置が若い番号とされる一方、車幅方向の中央側で遠距離を測距するライン位置が大きい番号とされ、外側ラインから車幅方向の中央側ラインに向かって番号が順に増加するように番号付けされている。
【0029】
図4に示す如く、上記コントローラ15には、センサ10に基づいて得られた上下方向及び水平方向の2次元の距離データ、つまり各測距回路16からの信号を基に特定の物体Oを認識する物体認識部20と、この物体認識部20の出力信号により物体Oを新規物体かどうか選別する物体選別部21と、この物体選別部21により選別された物体Oが車両C(自車)にとって危険対象物かどうかを判断する危険判断部22とが設けられており、物体認識部20において、物体Oの認識結果に基づいて表示信号を表示装置31に物体選別部21を経て出力するようにしている。
【0030】
また、コントローラ15は、物体Oを認識する上で本来は物体Oが位置し得ない不要な範囲を除外するレンジカット部24と、測距された各領域毎の距離データと周りの8つの隣接領域との比較(8隣接点処理)を行って有効ポイント数を付与する8隣接点処理部25と、ライン毎の距離を演算するライン距離演算部26と、ガードレールを判定するためのガードレール判定部27と、距離データを物体O毎にグルーピングするグルーピング部28とを備えている。
【0031】
図11は上記レンジカット部24で除外される上下方向のレンジカット範囲Z1を、また図12は同左右方向のレンジカット範囲Z2をそれぞれ例示しており、これらのレンジカット範囲Z1,Z2は、後述する如く、ラインの角度とその位置での距離とに基づいて検出される。図12中、Fは車両Cの路面、Mは道路における車両走行車線を設定する路面F上の白線、F1は道路の両側に設置された路側帯、Hはその植込みである。
【0032】
また、上記の如く各検知センサ10は各ドアミラー6のミラー(ハーフミラーのガラス)越しに画像を捕らえるために、そのミラーの歪み等により正確の距離を測定することが困難となり、視差に応じた距離の関係を補正しておく必要がある。この実施形態では、図40に示す如く、予め遠距離側ラインを基準として設定された、視差に応じた距離の関係を示す1つのマップを記憶しており、この1つのマップから距離を補正する。すなわち、測距回路16での測距特性は、遠距離側ラインを基準として、他のラインを補完するようにしている。
【0033】
さらに、周囲の明るさやドアミラー6のミラーの汚れ等により、視差に応じた距離の関係を補正しておくために、この実施形態では以下の処理が行われるようになっている。すなわち、周囲の明るさを判定する前者の場合、測距されている距離データの個数Ndata(図36及び図37参照)を演算してそれを全ての領域の数で割ることにより、検出率(測距率)を求め、図41に示すように、この検出率が所定値以上であるときを「昼」状態と、また所定値よりも低いときを「夜」状態とそれぞれ判定する。
【0034】
一方、ドアミラー6のミラーの汚れ等を判定する後者の場合、路面の白線の位置がセンサ10に対し一定の角度範囲で一定の距離範囲に含まれることを利用し、その白線の測定距離値がばらつき率をもって変化するときには、ドアミラー6のミラーに雨水等が付着している状態と判定し、一方、白線の測定距離値が絶対値で変化しているときには、ドアミラー6のミラーに汚れ等が付着している状態と判定するようにしている。
【0035】
上記8隣接点処理部25での8隣接点処理動作は、図13に示すように、ある領域E(i,j)の距離データに対しそれに隣接する周りの8つの隣接領域R1〜R8の距離データの相関性を判断するもので、具体的に図15に示す如く行われる。すなわち、最初のステップS1で、ライン数n及びウィンドウ数mに分割された領域E(i,j)毎の距離データd(i,j)を読み込み、次のステップS2で各領域E(i,j)の有効ポイント数P(i,j)をP(i,j)=0と初期化する。この有効ポイント数P(i,j)は各領域E(i,j)に設定されるもので、この値が大きいほど領域の距離データの有効性が高く、信頼性、信憑性があると判断される。次のステップS3では、全ての領域のうち左右端及び上下端の位置にある領域(格子点)への有効ポイント数を嵩上げし、周辺の領域には有効ポイント数P(i,j)を+1だけ、またその中で4つの隅角部の領域には有効ポイント数P(i,j)を+2だけそれぞれ増やすように設定する。この後、ステップS4において、隣接点処理を行うかどうかを判定し、この判定がNOのときには、ステップS11において有効ポイント数P(i,j)をP(i,j)=8に設定した後、ステップS12に進む一方、判定がYESのときには、ステップS5に進む。
【0036】
上記ステップS4で隣接点処理を行うかどうかの判定は、具体的には以下のように行う。
(第1例)
図26に示すように、予め各ライン位置毎に決定される基準距離値diが所定値Lよりも大きいか否かを判定し、この判定がdi>LのYESのときには、隣接点処理は行わない(図15のステップS11に進む)一方、di≦LのNOのときには、隣接点処理を行う(同ステップS5に進む)。
【0037】
上記基準距離値diは、例えば図18(a)に示すように、ラインの位置が大きくなる(車体1外側ラインつまり近距離側ラインから内側ラインつまり遠距離側ラインに向かう)ほどライン位置毎に増加するように、或いは図18(b)に示す如く、ラインの位置の増加に比例して増加するように、又は図18(c)に示す如く、ラインの位置の増加に伴って段階的に増加するようにそれぞれ設定される。
【0038】
(第2例)
図27に示すように、各領域毎の測定距離d(i,j)が所定値Lよりも大きいか否かを判定し、この判定がd(i,j)>LのYESのときには、隣接点処理は行わない(図15のステップS11に進む)一方、d(i,j)≦LのNOのときには、隣接点処理を行う(同ステップS5に進む)。
【0039】
すなわち、8隣接点処理部25は、距離が近距離側及び中距離側にあるときのみ有効ポイント数を付与する処理を行い、遠距離側にあるときには有効ポイント数の付与処理を行わないように構成されている。
【0040】
図15に示す上記ステップS5では距離しきい値d0を設定する。この距離しきい値d0は、付与ポイント数pを決定するためのもので、その設定は以下のように行う。
(第1例)
図16に示すように、距離しきい値d0は定数Cとする。
【0041】
(第2例)
図17に示すように、距離しきい値d0は、上記各ライン毎に決定される基準距離値di(図18参照)の1/10に設定する。
【0042】
(第3例)
図19に示す如く、上記基準距離値diが所定値Lよりも大きいか否かを判定し、この判定がdi>LのYESのときには、距離しきい値d0は大きな値に、またdi≦LのNOのときには、距離しきい値d0は小さな値にそれぞれ設定する。
【0043】
(第4例)
図20に示すように、後述する領域Eと隣接領域R1〜R8との距離差dxの平均値D(有効な距離データがあるものに限る)を求め、この平均値Dが所定値DLよりも大きいかどうかを判定する。この判定がD>DLのYESのときには、距離しきい値d0をd0=Dlargeに、またD≦DLのNOのときには、距離しきい値d0を上記Dlargeよりも小さいDsmall(<Dlarge)にそれぞれ設定する。より具体的には、上記距離しきい値d0は、図21(a)に示す如く平均値Dの増大に応じて大きくなり、平均値Dが最大域に達すると一定となるか、図21(b)に示す如く平均値Dの増大に応じて段階的に大きくなるか、或いは図21(c)に示す如く平均値Dの増大に応じて比例的に大きくなるように決定される。
【0044】
図15のフローにおけるステップS5の後はステップS6に進み、隣接領域Riの距離データd(Ri)を読み込み、次のステップS7では上記領域Eと隣接領域R1〜R8との距離差dx=|d(i,j)−d(Ri)|を演算する。この後、ステップS8において、上記距離差dxと上記距離しきい値d0との大小判定を行い、この判定がdx≧d0のNOのときにはステップS12に進む一方、dx<d0のYESのときには、ステップS9において付与すべきポイント数pを設定する。このステップS9での付与ポイント数pの設定は以下のように行う。
(第1例)
図22に示す如く、当該領域Eにおいて対象とする隣接領域がウィンドウ方向(上下方向)の領域R2又はR7に位置しているかどうかを判定し、この判定がNOのときには付与ポイント数pをp=1に、また判定がYESのときには、付与ポイント数pを上記NO判定の場合よりも大きいp=2にそれぞれ設定する。すなわち、隣接領域がウィンドウ方向(上下方向)にあるときの付与ポイント数p(従って有効ポイント数P(i,j))をライン列方向にあるときの付与ポイント数よりも大きくする。
【0045】
(第2例)
図23に示すように、上記各ライン毎に決定される基準距離値di(図18参照)が所定値Lよりも大きいか否かを判定し、この判定がdi≦LのNOのときには付与ポイント数pをp=1に、また判定がdi>LのYESのときには、付与ポイント数pを上記NO判定の場合よりも大きいp=2にそれぞれ設定する。すなわち、遠距離側ライン位置での付与ポイント数p(有効ポイント数P(i,j))を近距離側領域よりも大きくする。
【0046】
(第3例)
図24に示すように、上記領域E及び隣接領域R1〜R8の距離差dxと所定値D2との大小を判定し、この判定がdx<D2のYESのときには付与ポイント数pをp=3に設定する。判定がdx≧D2のNOのときには、今度は距離差dxと他の所定値D1(D0>D1>D2)との大小を判定し、この判定がdx≧D1のNOのときには付与ポイント数pをp=2に、またdx<D1のYESのときには付与ポイント数pをp=1にそれぞれ設定する。すなわち、隣接領域との距離差が所定値よりも小さいときに付与ポイント数p(有効ポイント数P(i,j))を大きくする。
【0047】
(第4例)
図25に示す如く、上記領域Eの測定距離d(i,j)が所定値Lよりも大きいか否かを判定し、この判定がd(i,j)≦LのNOのときには付与ポイント数pをp=1に、また判定がd(i,j)>LのYESのときには、付与ポイント数pを上記NO判定の場合よりも大きいp=2にそれぞれ設定する。すなわち、領域Eの測定距離が所定値よりも大きいときに付与ポイント数p(有効ポイント数P(i,j))を大きくする。
【0048】
このようなステップS9の後、ステップS10において、それまでの有効ポイント数P(i,j)に上記付与ポイント数pを加えて新たな有効ポイント数P(i,j)=P(i,j)+pを設定し、上記ステップS12に進む。このステップS12では、ステップS6〜S10の処理が8つの隣接領域R1〜R8の各々について終了したかどうかを判定し、この判定がNOのときにはステップS6に戻って、他の残りの隣接領域について同様の処理を行う。一方、判定がYESになると、ステップS13に進み、全ての領域E,E,…についての有効ポイント数P(i,j)の設定(ステップS6〜S10の処理)が終了したか否かを判定する。この判定がNOのときには、ステップS4に戻って他の領域Eについて有効ポイント数P(i,j)の設定を繰り返す。一方、判定がYESになると、次のライン毎の距離の演算処理(図28参照)に進む。
【0049】
図28は上記ライン距離演算部26での処理動作を示し、上記8隣接点処理部25により付与設定された有効ポイント数P(i,j)に基づき上記ライン毎の距離をそれぞれ演算する。
【0050】
まず、ステップT1において、ライン数n及びウィンドウ数mに分割された領域E毎の距離データd(i,j)を読み込むとともに、上記8隣接点処理により付与された領域E毎の有効ポイント数P(i,j)を読み込み、次のステップT2では、ライン代表有効ポイント数PI(i)をPI(i)=0に初期化する。このライン代表有効ポイント数PI(i)は、ライン毎の距離演算の際にラインに設定されるもので、この値が大きいほどラインの距離データの有効性が高く、信頼性、信憑性があると判断される。
【0051】
次のステップT3では、上記ライン代表有効ポイント数PI(i)に対応するライン代表しきい値P0を設定する。このステップT3でのライン代表しきい値P0の設定は以下のように行う。
(第1例)
この例では、図29に示す如く、ライン代表しきい値P0は一定値Cに設定する。
【0052】
また、下記の第2例〜第4例のように、ライン代表しきい値P0は、距離が遠距離側になるほど小さくなるように可変設定する。
【0053】
(第2例)
すなわち、ライン代表しきい値P0をラインの位置に応じて設定する。例えば、図30(a)に示すように、ライン位置が車体1外側から内側に向かう(ライン番号が大きくなる)に連れてライン代表しきい値P0が比例して小さくなるか、或いは、図30(b)に示すように、そのライン位置が車体1外側から内側に向かうに連れてライン代表しきい値P0が段階的に小さくなるように設定する。すなわち、ライン代表しきい値P0を、遠距離側のライン位置ほど小さくなるようにライン毎に設定する。
【0054】
(第3例)
また、ライン代表しきい値P0を実際の測定距離に応じてする。すなわち、図31(a)に示す如く、測定距離が大きくなるに連れてライン代表しきい値P0が比例して小さくなるか、或いは、図31(b)に示すように、その測定距離が大きくなるに連れてライン代表しきい値P0が段階的に小さくなるように設定する。すなわち、ライン代表しきい値P0は、測定された距離が大きくなるほど小さくなるように設定する。
【0055】
(第4例)
図33に示すように、車両Cの側方ないし斜め後方の物体認識範囲に、車両C側方で最も近い近距離検出エリアA1と、この近距離検出エリアA1の後方に位置する中距離検出エリアA2と、この中距離検出エリアA2の後方に位置しかつ最も遠い遠距離検出エリアA3と、上記中距離ないし遠距離検出エリアA2,A3の側方に位置する側方検出エリアA4とを区画設定する。そして、図32に示す如く、中距離検出エリアA2のライン代表しきい値P0を近距離検出エリアA1よりも小さくし、この中距離検出エリアA2よりも遠距離検出エリアA3のライン代表しきい値P0を小さく(図示例では遠距離検出エリアA3のライン代表しきい値P0=0)設定する。尚、側方検出エリアA4のライン代表しきい値P0は、中距離検出エリアA2のライン代表しきい値P0よりも大きくかつ近距離検出エリアA1のライン代表しきい値P0よりも小さく設定する。すなわち、ライン代表しきい値P0は、予め設定された検出エリアA1〜A4毎に設定する。
【0056】
下記の第5例〜第7例のように、ライン代表しきい値P0は測定距離の状況に応じて可変設定する。
(第5例)
ライン代表しきい値P0は各ライン上の領域の中の最大有効ポイント数Pmaxに応じて設定する。具体的には、図34に示すように、ラインi上の領域中から最大有効ポイント数Pmax=max(P(i,1),P(i,2),…,P(i,m))を探索する。次いで、上記最大有効ポイント数Pmaxが所定値よりも大きいか否かを判定し、この判定がNOのときにはライン代表しきい値P0をP0=P1に、また判定がYESのときには、ライン代表しきい値P0を上記NOの場合よりも大きいP0=P2(>P1)にそれぞれ設定する。すなわち、ライン代表しきい値P0は、各ライン上の領域の最大有効ポイント数Pmaxに応じて設定する。
【0057】
(第6例)
ライン代表しきい値P0は各ライン上の領域の有効ポイント数の総和Psumに応じて設定する。具体的には、図35に示すように、ラインi上の領域中の有効ポイント数の総和Psum=(P(i,1)+P(i,2)+…+P(i,m)を探索する。次いで、上記総和Psumが所定値よりも大きいか否かを判定し、この判定がNOのときにはライン代表しきい値P0をP0=P1に、また判定がYESのときには、ライン代表しきい値P0を上記NOの場合よりも大きいP0=P2(>P1)にそれぞれ設定する。すなわち、ライン代表しきい値P0は、各ライン上の領域の有効ポイント数の総和Psumに応じて、その総和Psumが大きいほど大きくなるように設定する。
【0058】
(第7例)
ライン代表しきい値P0は各ライン上の領域の距離データの検出頻度に応じて設定する。具体的には、図36に示す如く、測距されている距離データの個数Ndataを演算し、このデータ個数Ndataが所定値よりも大きいか否かを判定して、この判定がNOのときにはライン代表しきい値P0をP0=P1に、また判定がYESのときには、ライン代表しきい値P0を上記NOの場合よりも大きいP0=P2(>P1)にそれぞれ設定する。すなわち、ライン代表しきい値P0を各ライン上の領域での距離データの検出頻度に基づいて設定する。
【0059】
図37は上記距離データの個数Ndataの演算例を示し、データ個数NdataをNdata=0として初期化した後、各ライン上のある領域での距離d(i,j)がd(i,j)=0かどうかを判定する。この判定がYESのときには距離データが検出されていない状態としてそのまま、また判定がNOのときには距離データが検出されている状態としてデータ個数NdataをNdata=Ndata+1に更新した後、それぞれ次のステップに進み、各ライン上の全ての領域での距離d(i,j)について終了したかどうかを判定する。この判定がYESになるまで、上記距離d(i,j)=0の判定及びフィルタ処理を繰り返し、判定がYESになるとフィルタ処理に入る。このフィルタ処理は、距離データの瞬間的な検出状況の変動によるライン代表しきい値P0の頻繁な切換えを抑えるために行うもので、まず、データ個数Ndataを平滑化して平滑化データ個数Ndatarecを求め、次いで、元のデータ個数Ndataを平滑化データ個数Ndatarecに置換する。
【0060】
図28のフローにおいて、ステップT3の後はステップT4に進み、上記領域毎の有効ポイント数P(i,j)がライン代表しきい値P0よりも大きいかどうかを判定する。この判定がP(i,j)≦P0のNOのときには、そのままステップT6に進むが、判定がP(i,j)>P0のYESのときには、ステップT5において、ライン毎の代表距離l(i)を平均化のために更新するとともに、上記ライン代表有効ポイント数PI(i)に領域毎の有効ポイント数P(i,j)を加えてライン代表有効ポイント数PI(i)の更新を行った後にステップT6に進む。すなわち、ライン距離演算部26では、8隣接点処理部25によって付与設定された有効ポイント数P(i,j)がライン代表しきい値P0よりも大きい領域についてライン毎の距離演算を行うようにしている。
【0061】
上記ライン毎の代表距離l(i)の更新は次の式で行う。
【0062】
上記ステップT6では当該ラインの全てのウィンドウ番号(領域E)について終了したか否かを判定し、この判定がYESになるまでラインの各領域EについてステップT3〜T5を繰り返す。ステップT6の判定がYESになると、ステップT7に進み、全てのライン番号について終了したかどうかを判定し、この判定がYESになるまでステップT2〜T6を繰り返す。ステップT7の判定がYESになると、次の物体認識処理(図39参照)に進む。
【0063】
図38は上記ライン距離演算部26での処理動作の他の実施形態を示し、各ライン上の領域E,Eの最大有効ポイント数となる距離データを基準として、該距離データから所定距離以上外れた距離データを距離演算に用いないようにしている。尚、図28と同じ部分についてはその詳細な説明は省略する。
【0064】
すなわち、ステップU1,U2は上記ステップT1,T2(図28参照)と同じである。ステップU3〜U6では、ラインiにおける最大有効ポイント数PPと、その最大有効ポイント数PPが得られる領域Eの距離Dmaxとを求める。具体的には、ステップU3において、ラインiにおける最大有効ポイント数PPをPP=0に初期化した後、ステップU4で、領域E毎の有効ポイント数P(i,j)が上記ライン代表有効ポイント数PPよりも大きいかどうかを判定する。この判定がP(i,j)≦PPのNOのときには、そのままステップU6に進むが、判定がP(i,j)>PPのYESのときには、ステップU5において、その領域E毎の有効ポイント数P(i,j)を上記ライン代表有効ポイント数PPとし、かつ該領域Eでの距離d(i,j)を距離Dmaxとした後、ステップU6に進む。そして、ステップU6では、全てのウィンドウ番号について終了した、つまりライン中の全ての領域について最大有効ポイント数PP及びそれに対応する領域の距離Dmaxが得られたかどうかを判定し、この判定がYESになるまでステップU4〜U6を繰り返す。
【0065】
ステップU6の判定がYESになると、ステップU7に進み、距離判定のための下限値Dlower(=Dmax−d0)及び上限値Dupper(=Dmax+d0)を設定する。その後、ステップU8において、上記領域毎の距離d(i,j)が上記下限値Dlowerよりも大きくかつ上限値Dupperよりも小さい、すなわちDlower<d(i,j)<Dupperかどうかを判定し、この判定がNOのときにはそのままステップU10に、また判定がYESのときにはステップU9を経てステップU10にそれぞれ進む。上記ステップU9は図28におけるステップT5と、またステップU10は同ステップT6とそれぞれ同じである。そして、このステップU10の後、図28におけるステップT7と同じ処理を行うステップU11に進む。
【0066】
尚、以上に説明した各領域E毎の距離データd(i,j)から8隣接点処理を行って有効ポイント数P(i,j)を付与し、その後にライン毎の代表距離l(i)を演算する過程の具体例を図14に示しており、図14(a)は各領域毎の距離データd(i,j)を、また図14(b)は領域毎の有効ポイント数P(i,j)を、さらに図14(c)はライン毎の代表距離l(i)をそれぞれ表している。
【0067】
図39はコントローラ15における物体認識部20での処理動作を示し、この物体認識部20では、上記ライン距離演算部26により演算されたライン毎の代表距離l(i)に基づいて物体Oを認識する。すなわち、ステップW1において物体番号kを設定し、ステップW2では、物体検出距離L(k)、物体有効ポイント数PK(k)及び物体内のデータ数N(k)をいずれも0にして、一次保管用データセットのリセットを行う。
【0068】
次のステップW3では、有効な未登録のラインデータが登録されているかどうかを判定し、この判定がNOのときにはステップW8に進む。ステップW3の判定がYESになると、ステップW4において、ラインデータの前後位置XD(i)及び横位置YD(i)を設定する。この後、ステップW5において、既に上記物体検出距離L(k)が定義されているかどうかを判定し、この判定がNOのときには、ステップW6に進み、上記物体検出距離L(k)をL(k)=XD(i)に、また物体有効ポイント数PK(k)をPK(k)=PI(i)に、さらに物体内のデータ数N(k)をN(k)=1にそれぞれ設定して、一次保管用データセットのセットを行った後、ステップW8に進む。
【0069】
これに対し、ステップW5の判定がYESのときには、ステップW7に進み、物体検出距離L(k)をL(k)={PK(k)×L(i)+P(i)×XD(i)}/{PK(k)+P(i)}に、また物体有効ポイント数PK(k)をPK(k)=PK(k)+PI(i)に、さらに物体内のデータ数N(k)をN(k)=N(k)+1にそれぞれ設定して、一次保管用データセットの更新を行った後、ステップW8に進む。
【0070】
上記ステップW8では、全てのライン番号について終了したかどうかを判定し、この判定がYESになるまでステップW3〜W7を繰り返す。ステップW8の判定がYESになると、ステップW9〜W11において物体Oの登録の可否の判定を行う。まず、ステップW9において、上記物体内のデータ数N(k)が所定値以上かどうかを判定する。尚、この所定値は、遠距離側ほど小さくするように可変設定することもできる。このステップW9の判定がNOのときには、距離データはノイズ等に起因するものであると見做し、ステップW10において物体Oの登録は行わず、物体番号kの物体データを初期化した後、終了する。一方、ステップW9の判定がYESであるときには、ステップW11において物体Oの登録を行った後に終了する。すなわち、物体認識部20は、ライン距離演算部26により演算されたライン毎の距離のデータ数N(k)が所定値以上であるときのみに、該ライン毎の距離に対応する物体を新規物体として登録する。
【0071】
この物体認識部20での処理動作の後は、上記表示装置31での物体表示のための表示処理や警報装置(図示せず)での警報のための警報処理を行う。
【0072】
上記レンジカット部24によるレンジカット範囲を設定する前に、物体認識部20では図42に示す距離データ抽出処理動作を行うようになっている。すなわち、この処理動作では、ステップX1において上記各ラインのウィンドウ番号jをj=0に、また距離データの配列を評価するためのデータ配列評価変数h(j)をh(j)=0(j=1,2,…,m(m:ウィンドウ数))にそれぞれリセットして初期化する。次のステップX2では、上記ラインのウィンドウ方向の2次元の距離データを入力する。すなわち、この距離データは、図43に示す如く、車両Cの前後方向をx方向とし、垂直方向(上下方向)をy方向とする2次元の座標上の物体検出位置P(j)のx成分x(j)及びy成分y(j)として表される。尚、図43では物体Oとして他車及び路面上の白線を示している。
【0073】
上記ステップX2の後はステップX3において上記ウィンドウ番号jを「1」だけインクリメントし、ステップX4でウィンドウ番号jが1≦j<mか否かを判定する。この判定がYESのときにはステップX5に進み、物体検出位置P(j),P(j+1)間のx成分及びy成分の各差
Δx=│x(j+1)−x(j)│
Δy=│y(j+1)−y(j)│
を算出し、次のステップX6でパラメータとしての傾きkをk=1とした後、ステップX7において上記Δyとk・Δxとの大小を判定する。この判定がΔy≧k・ΔxのYESのときには、ステップX8で上記データ配列評価変数h(j)をh(j)=h(j)+1に、またデータ配列評価変数h(j+1)をh(j+1)=h(j+1)+1にそれぞれインクリメントした後、上記ステップX3に戻る。一方、ステップX7の判定がΔy<k・ΔxのNOのときにはそのままステップX3に戻る。
【0074】
上記ステップX3〜X8の繰返しによりステップX4の判定がNOになると、ステップX9に進んでウィンドウ番号jをj=0にリセットし、ステップX10においてウィンドウ番号jを「1」だけインクリメントした後にステップX11に進み、ウィンドウ番号jが1≦j<mか否かを判定する。この判定がYESのときにはステップX12に進み、上記データ配列評価変数h(j)がh(j)=2、つまり物体検出位置P(j)がウインドウ方向(データ配列方向)の前後両側の物体検出位置P(j−1),P(j+1)に対して傾きk(=1)以上となって並んでいるかどうかを判定する。この判定がh(j)=2のYESのときにはそのまま上記ステップX10に戻るが、h(j)≠2のNOのときには、ステップX13において物体検出位置P(j)のx成分をx(j)=0にしてその距離データをキャンセルした後にステップX10に戻る。これらステップX10〜X13を繰り返してステップX11の判定がNOになると終了し、レンジカット部24によるレンジカット範囲の設定処理に移行する。
【0075】
以上の構成により、この実施形態では、図4に示す如く、上記検知センサ10、測距回路16、ライン距離演算部26により、車両Cの周囲の一部である後側方に存在する物体Oまでの距離情報を各ライン毎に2次元の距離データとして検出する物体距離データ検出手段30が構成される。
【0076】
また、上記図42に示すステップX1〜X8により、上記物体距離データ検出手段30によって検出された各ライン毎の略垂直面に沿ったウィンドウ方向の複数の2次元の距離データにそれぞれ対応する物体検出位置P(1),P(2),…,P(m)の配列状態を判定する配列判定手段41が構成されている。
【0077】
さらに、ステップX9〜X13により、上記配列判定手段41により判定された物体検出位置P(1),P(2),…,P(m)の配列状態に基づいて特定の物体Oの認識に必要な距離データのみ、具体的には略垂直面に沿ってウィンドウ方向に配列されている複数の物体検出位置P(1),P(2),…,P(m)のうち、ウィンドウ方向(配列方向)の両側に隣接する物体検出位置との間の水平方向に対する傾きkが所定のしきい値k=1以上となる物体検出位置P(j)の距離データのみを抽出するデータ抽出手段42が構成されている。
【0078】
そして、上記物体認識部20は、上記データ抽出手段42により抽出された距離データに基づき、路面上に存在する特定の物体Oを認識するようにしている。
【0079】
したがって、この実施形態では、左右後側方検知センサ10,10により画像が輝度情報として捕らえられると、まず、コントローラ15の各測距回路16において、各検知センサ10の画像がライン列及びウィンドウ方向にそれぞれ分割されて各領域Eについて距離d(i,j)が測定される。次いで、レンジカット部24でレンジカット範囲が設定された後、8隣接点処理部25で、上記測定された領域E毎の距離d(i,j)及び隣接領域R1〜R8の距離の差dxに基づいて各領域E毎の距離データの有効ポイント数P(i,j)が付与され、ライン距離演算部26において上記有効ポイント数P(i,j)に基づきライン毎の距離l(i)が演算され、物体認識部20においてライン距離演算部26により演算されたライン毎の距離l(i)から物体Oが認識される。このように、各領域Eについての距離データの有効性が隣接領域R1〜R8との関係から有効ポイント数P(i,j)として判定され、この有効ポイント数P(i,j)に基づいてライン毎の距離l(i)を求めて、その距離l(i)から物体Oを認識するので、測距データのばらつきやノイズ等があっても、その影響を可及的に低減することができ、高精度の距離演算が可能となって正確な物体認識を行うことができる。
【0080】
また、上記8隣接点処理部25では、領域Eと隣接領域R1〜R8との距離差dxがしきい値d0よりも小さいときに有効ポイント数P(i,j)(付与ポイント数p)を付与するようにしているので、領域Eの隣接領域R1〜R8との距離差dxがしきい値d0よりも小さいときのみを有効ポイント数P(i,j)の付与によって有効と判断でき、距離演算の精度を高めることができる。
【0081】
そのとき、上記しきい値d0は、領域Eの測定距離データに応じて可変とされ、図17〜図19に示すように、領域のライン位置に応じて設定された基準距離値diが大きいほど大きくなるように設定すれば、遠距離側領域の距離データについてのしきい値d0を大きくすることで、その距離データの有効ポイント数P(i,j)を増やし、遠距離側の物体Oについての距離データがばらついても正確なデータを得ることができる。
【0082】
また、図20及び図21に示す如く、しきい値は、各領域Eの隣接領域R1〜R8との距離差dxの平均値Dに基づき、該平均値Dが大きいほど大きくなるように設定すれば、実際に測定された距離データに応じてしきい値d0が設定されるので、遠距離側が変化してもそれにしきい値d0を安定して対応させることができる。
【0083】
上記8隣接点処理部25においては、付与する有効ポイント数を領域Eの距離d(i,j)に応じて変え、図22に示すように、ウィンドウ方向にある隣接領域R2,R7の有効ポイント数をライン列方向よりも大きくするようにされている。すなわち、CCDチップ11でのCCDラインが等間隔である場合、遠距離領域に含まれるライン数が近距離領域に比べ少なくなり、遠距離側の物体Oが近距離側の物体Oに比べ認識され難くなるが、この実施形態のように、隣接領域がウィンドウ方向にあるときの有効ポイント数をライン列方向よりも大きくすれば、上記少ないライン数であっても有効ポイント数を増加でき、遠距離側物体Oを認識する確率を高めることができる。
【0084】
また、図23に示すように、遠距離側ライン位置での有効ポイント数を近距離側ライン位置よりも大きくするようにしても、同様の効果が得られる。
【0085】
さらに、図24に示すように、隣接領域R1〜R8との距離差dxが所定値D1又はD2よりも小さいときに有効ポイント数を大きくするようにすると、物体Oを認識し易くすることができる。
【0086】
また、図25に示す如く、測定された距離d(i,j)が所定値Lよりも大きいときに有効ポイント数を大きくするようにしても、上記と同様の作用効果を奏することができる。
【0087】
図26及び図27に示すように、距離が近距離側及び中距離側にあるときのみ有効ポイント数を付与する処理を行い、遠距離側にあるときには有効ポイント数の付与処理を行わないようにすると、遠距離側では、距離データの有効性を判断する有効ポイント数の付与処理が行われず、その距離データが有効ポイント数の付与処理によってノイズ等として落とされることなく、そのまま採用される。この場合でも同様の効果が得られる。
【0088】
上記ライン距離演算部26では、有効ポイント数P(i,j)がライン代表しきい値P0よりも大きい領域についてライン毎の距離演算を行うので、ライン毎の距離l(i)を正確に演算することができる。
【0089】
そのとき、図30〜図33に示すように、上記ライン代表しきい値P0は、距離が遠距離側になるほど小さく設定する(図30に示す如く、遠距離側のライン位置ほど小さくなるようにライン毎に設定するか、又は図31に示す如く、測定された距離d(i,j)が大きくなるほど小さくなるように設定する)と、遠距離側領域のライン代表しきい値が近距離側領域よりも小さいので、遠距離側の距離データの取りこぼしが防止でき、その遠距離側の距離演算を精度よく行って遠距離側の物体Oを正確に認識することができる。
【0090】
また、図32及び図33に示すように、ライン代表しきい値を、予め設定された検出エリアA1〜A4毎に設定すると、所望の検出エリアA1〜A4の距離演算を精度よく行うことができる。
【0091】
一方、図33〜図36に示す如く、上記ライン代表しきい値は、各ライン毎の距離データの検出状況に応じて設定することで、ライン代表しきい値が検出状況に応じて変化して設定され、距離演算の精度をさらに高めることができる。
【0092】
すなわち、図34に示すように、ライン代表しきい値P0は、各ライン上の領域の最大有効ポイント数Pmaxに応じて、その最大有効ポイント数Pmaxが大きいほど大きくなるように設定すると、ライン代表しきい値P0は、各ライン上の領域の最大有効ポイント数Pmaxに応じて変化する。また、図35に示す如く、ライン代表しきい値P0は、各ライン上の領域の有効ポイント数の総和Psumに応じて、その総和Psumが大きいほど大きくなるように設定すれば、ライン代表しきい値P0が、各ライン上の領域の有効ポイント数の総和Psumに応じて変化する。従って、いずれの場合でも、距離演算の精度を高めることができる。
【0093】
また、図36に示す如く、ライン代表しきい値は、各ライン上の領域での距離データの検出頻度に基づいて設定すると、距離データの検出頻度が高いときには、ライン代表しきい値を大きく設定して、距離演算の精度を高めることができる。
【0094】
図38に示すように、上記ライン距離演算部26において、各ライン上の領域の最大有効ポイント数となる距離Dmaxを基準として、該距離Dmaxから所定距離d0以上外れた距離データを距離演算に用いないように構成すれば、各ライン上の領域の最大有効ポイント数となる距離Dmaxから所定距離d0の範囲内にある距離データのみで距離演算が行われ、高精度の距離演算を行うことができる。
【0095】
図39に示すように、上記物体認識部20は、ライン距離演算部26により演算されたライン毎の距離のデータ数が所定値以上にあるときのみに、該ライン毎の距離に対応する物体Oを新規物体Oとして登録するようにすると、新規物体Oの登録に際し制限を設けることができ、物体O以外のノイズ等が誤って物体Oとして登録されるのを抑制することができる。
【0096】
そのとき、上記ライン毎の距離データ数と比較する所定値は、遠距離側ほど小さくなるように設定すれば、遠距離側の物体Oほど登録し易くすることができる。
【0097】
また、上記測距回路16の測距特性は、遠距離側ラインを基準として、他のラインを補完するように構成されているので、検知センサ10後方のドアミラー6のミラー等の測距精度への影響を避ける目的で、ライン毎の測距特性を所定ラインを基準にして他のラインを補完するとき、遠距離側の距離データの有効性を高めつつ、全てのラインの検出精度を良好に補正することができる。
【0098】
また、上記物体認識部20は、物体Oの認識結果に基づいて警報等の信号を出力するように構成されているので、認識物体Oを容易に知ることができる。
【0099】
さらに、この実施形態では、車両Cの後方の物体Oについて各ライン毎の2次元の距離データが検出されると、上記レンジカット部24によるレンジカット範囲の設定が行われる前に、それら検出された複数の距離データにそれぞれ対応する物体検出位置P(1),P(2),…,P(m)のウィンドウ方向(上下方向)の配列状態が判定される。すなわち、▲1▼その各物体検出位置P(j)(但し、j>2)がウィンドウ方向前後両側の物体検出位置P(j−1),P(j+1)との間でk≧1の傾きとなるときに、その物体検出位置P(j)についてのデータ配列評価変数h(j)がh(j)=2となり、その物体検出位置P(j)は前後の物体検出位置P(j−1),P(j+1)に対し略上下方向に連続する関係にある一方、▲2▼ウィンドウ方向前後の物体検出位置P(j−1),P(j+1)の一方との間のみでk≧1の傾きとなるときには、その物体検出位置P(j)についてのデータ配列評価変数h(j)はh(j)=1となり、物体検出位置P(j)は前後の物体検出位置P(j−1),P(j+1)に対し略上下方向(略垂直方向)と略水平方向との間のエッジ(境界部)になる関係にある。▲3▼また、各物体検出位置P(j)がウィンドウ方向前後の双方の物体検出位置P(j−1),P(j+1)との間でk<1の傾きとなるときには、その物体検出位置P(j)のデータ配列評価変数h(j)はh(j)=0となり、物体検出位置P(j)は前後の物体検出位置P(j−1),P(j+1)に対し略水平方向に連続する関係にある。そして、上記▲1▼〜▲3▼の3種類の物体検出位置P(j)のうち、h(j)=2となる▲1▼の物体検出位置P(j)のみが選定されて、その距離データがx成分x(j)及びy成分y(j)として抽出され、この抽出された距離データに基づいて物体Oが認識される。こうしてxy方向の2次元の複数の距離データに対応する物体検出位置P(1),P(2),…,P(m)のウィンドウ方向(垂直方向)の配列状態から物体認識に必要な距離データを抽出するので、例えば路面上の数字等の表示や遠距離にある路面上の白線等の表示の距離データは抽出されなくなり、よって物体Oの認識精度を高めることができる。
【0100】
尚、上記ウィンドウ方向(垂直方向)に配列されている複数の物体検出位置P(1),P(2),…,P(m)のうち、配列方向両側に隣接する物体検出位置P(j−1),P(j+1)との間の水平方向に対する傾きkが逆にしきい値k=1以下となる物体検出位置P(j)の距離データのみを抽出するようにすることもできる。こうすれば、この抽出された距離データに基づき、路面にある白線や数字、記号等の表示部分を物体として精度よく認識することができる。
【0101】
(他の実施形態)
図44は、上記距離データ抽出処理動作の第1の他の実施形態を示しており、物体認識精度をさらに高めるようにしたものである(尚、以下の各実施形態では、上記実施形態の各図と同じ部分については同じ符号を付してその詳細な説明は省略する)。
【0102】
すなわち、この実施形態では、上記図42に示す距離データ抽出処理動作と基本的に同じで、ステップX6のみが異なる。つまり、ステップX5(図42参照)の後のステップX61において、物体検出位置P(j)のx成分x(j)と例えば20mとの大小を判定し、ここでx(j)≦20mのNOと判定されると、ステップX62において傾きkをk=1とした後、またx(j)>20mのYESと判定されると、ステップX63において傾きkをk=0.3した後、それぞれステップX7に進む。その他は図42と同じである。
【0103】
この実施形態では、データ抽出手段42で用いられる傾きkのしきい値は、物体Oまでの距離が大きいほど「1」から「0.3」に変わって小さくなるものとされている。このことで、例えば遠くの物体Oが小さくなって路面上の白線等の表示との区別が付き難くなっても、その物体Oの距離データを精度よく認識することができる利点がある。
【0104】
尚、上記傾きkのしきい値は、上記実施形態のように物体Oまでの距離に応じて2段階に変えることに限定されず、3段階以上の多段階に変えるようにしてもよい。また、図45に示すように、物体Oまでの距離が増大するほどそれに比例して傾きkのしきい値を減少させるようにすることもできる。
【0105】
図46は第2の他の実施形態を示しており、路面に近い位置にある物体検出位置のみの距離データを抽出させるようにしたものである。
すなわち、この実施形態では、図42に示す距離データ抽出処理動作と基本的に同じで、ステップX4,X5の間のみが異なる。つまり、ステップX4(図42参照)の後のステップX41において、物体検出位置P(j),P(j+1)の各y成分y(j),y(j+1)がいずれも、路面からの高さしきい値y0以上か否かを判定し、この判定がNO、つまり物体検出位置P(j),P(j+1)の高さがしきい値y0よりも低いときにはステップX5に進むが、判定がYESのときにはステップX3に戻る。
【0106】
図47(a)に示すように、車両Cの走行路面が平坦路であるときには、上記高さのしきい値y0は、
y0=Y0
として設定されるが(Y0:標準値)、図47(b),(c)に示す如く、路面が傾斜していると、センサ10が取り付けられている車体の後のめり又は前のめりの姿勢変化により、高さのしきい値y0は上記標準値Y0を基に、
y0=Y0+x(j)・tanθ
として補正される。θは路面勾配であり、例えばナビゲーションシステム等からの情報として入力され、路面が上り坂であると「+」の値に、下り坂であると「−」の値にそれぞれ設定される。
【0107】
この実施形態においては、データ抽出手段42は、隣接する物体検出位置との間の水平方向に対する傾きkが所定のしきい値k=1以上となる物体検出位置P(j)の中で路面からの高さがしきい値y0よりも小さい物体検出位置P(j)の距離データのみを抽出し、このデータ抽出手段42で用いられる上記高さのしきい値y0は、物体Oまでの距離x(j)及び路面勾配θに応じて補正されている。
【0108】
したがって、この実施形態の場合、路面からの高さしきい値y0よりも小さい物体検出位置P(j)の距離データのみが抽出されるので、遠距離にある物体Oの距離データでも近距離の物体Oと同様に抽出でき、物体Oの距離に関係なく安定した距離データを抽出して物体認識精度を高めることができる。しかも、車両の物体Oまでの距離x(j)及び走行路面の勾配θが変わると、それに応じて上記路面からの高さのしきい値y0が変化するので、その路面勾配θの変化に拘わらず安定して物体Oの認識精度を向上させることができる。
尚、上記高さのしきい値y0は、物体Oまでの距離x(j)及び路面勾配θではなく、それらの1つに応じて補正してもよい。
【0109】
図48は第3の他の実施形態を示す。この実施形態では、図42に示すステップX9〜X13を変えたものであり、ステップX4でNOと判定されると、ステップX21において、ウィンドウ番号jをj=0にリセットし、スタートフラグsflag及びエンドフラグeflagをいずれも「0」にクリアする。上記スタートフラグsflagはデータ配列評価変数h(j)がh(j)=2になったことを、またエンドフラグeflagはデータ配列評価変数h(j)がh(j)≠2になったことをそれぞれ表すものである。
【0110】
次のステップX22においてウィンドウ番号jを「1」だけインクリメントした後にステップX23に進み、ウィンドウ番号jが1≦j<mか否かを判定する。この判定がYESのときにはステップX24に進み、上記スタートフラグsflagがsflag=0か否かを判定する。最初は、この判定がsflag=0のYESとなるので、このときには、ステップX25において上記データ配列評価変数h(j)がh(j)=2(物体検出位置P(j)がウインドウ方向の前後の物体検出位置に対して傾きk以上となって並んでいる)かどうかを判定し、この判定がh(j)=2のYESのときには、ステップX27に進んでスタートフラグsflagをsflag=1にセットしてから、またステップX25の判定がh(j)≠2のNOのときにはステップX26に進み、物体検出位置のx成分をx(j)=0にして距離データをキャンセルしてからそれぞれステップX22に戻る。
【0111】
これに対し、上記ステップX27の経由によりステップX24の判定がsflag=1のNOとなると、ステップX28に進んでエンドフラグeflag=0かどうかを判定する。この判定がeflag=0のYESのときには、データ配列評価変数h(j)がh(j)=2かどうかを判定し、この判定がh(j)=2のYESのときにはそのまま、またh(j)≠2のNOのときには、ステップX30で物体検出位置のx成分をx(j)=0にして距離データをキャンセルしかつエンドフラグeflagをeflag=1にセットした後、それぞれステップX22に戻る。上記ステップX28でeflag=1のNOと判定されると、ステップX31に進んで、物体検出位置P(j)のx成分をx(j)=0にして距離データをキャンセルしてからそれぞれステップX22に戻る。そして、上記ステップX22〜X31の繰返しによりステップX23の判定がNOになると終了し、レンジカット部24によるレンジカット範囲の設定処理に移行する。
【0112】
この実施形態では、データ抽出手段42は、略垂直面に沿って配列されている複数の物体検出位置P(1),P(2),…,P(m)のうち、下側から数えて最初及び2番目のエッジとなる物体検出位置の間にある物体検出位置、つまり路面側から配列方向(ウィンドウ方向)上側に向かって最初に、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きkがしきい値k=1以上となる物体検出位置P(j)の距離データのみを抽出するように構成されている。
【0113】
したがって、このように路面側から上側に向かって最初に、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きkがしきい値k=1以上となる物体検出位置の距離データのみを物体認識に用いることで、物体Oの認識精度を確実に向上させることができる。例えば図49に示すように、車両Cの走行車線に白線LWを介して隣接する隣接車線に車両Cと並走する並走車両O1が有り、その隣接車線の向こう側に背の低いガードレールGを介して対向車線があって、その対向車線を背の高い対向車両O2(例えばトラック)が走行し、これら白線LW、並走車両O1、ガードレールG及び対向車両O2がいずれも車両Cの後側方の物体検出範囲のあるラインに含まれる状況にある場合、図50に示すように、上記ラインのウィンドウ方向の距離データは上記白線LW、並走車両O1、ガードレールG及び対向車両O2をそれぞれ物体としたものが検出され、そのうちの並走車両O1、ガードレールG及び対向車両O2に対応してデータ配列評価変数h(j)がh(j)=2として算出される。そして、このときには、最初にh(j)=2となるのは並走車両O1に対応する物体検出位置で、その距離データのみが抽出され、ガードレールG及び対向車両O2の距離データはキャンセルされることとなり、よって並走車両O1のみを特定の物体として認識することができる。
【0114】
図51は第4の他の実施形態を示し、この実施形態の処理動作は、図48に示すステップX23の判定がNOとなって終了する前に行われるようになっている。すなわち、最初のステップX41で、ウィンドウ番号jをj=0にリセットし、物体検出位置P(j)の距離データのy成分y(j)の最大値ymax及び最小値yminを初期化し、距離データのx成分の合計量xsumをxsum=0にし、その総数nをn=0に初期化した後、ステップX42においてウィンドウ番号jを「1」だけインクリメントし、ステップX43に進んでウィンドウ番号jが1≦j<mか否かを判定する。この判定がYESのときにはステップX44において物体検出位置P(j)の距離データのx成分x(j)がx(j)≠0かどうかを判定し、この判定がx(j)=0のNOのときにはそのままステップX42に戻る。
【0115】
ステップX44の判定がx(j)≠0のYESのときには、ステップX45に進んで物体検出位置P(j)の距離データのy成分y(j)とその最大値ymaxとの大小を判定する。この判定がy(j)≦ymaxのNOのときにはそのまま、またy(j)>ymaxのYESのときには、ステップX46で最大値ymaxをymax=y(j)に更新した後、それぞれステップX47に進む。このステップX47では、今度は物体検出位置P(j)の距離データのy成分y(j)とその最小値yminとの大小を判定し、この判定がy(j)≧yminのNOのときにはそのまま、またy(j)<yminのYESのときには、ステップX48で最小値yminをymin=y(j)に更新した後、それぞれステップX49に進む。ステップX49では、距離データのx成分の合計量xsumをxsum=xsum+1に、またその総数nをn=+1にそれぞれ更新した後、ステップX42に戻る。
【0116】
上記ステップX43の判定がNOになると、ステップX50に進み、物体Oの大きさを表すx成分xobj及びy成分yobjをそれぞれxobj=xsum/n、yobj=ymax−yminとして求め、次のステップX51では、上記物体のy成分yobjが例えば0.5mよりも小さいか否かを判定する。この判定がyobj≧0.5のNOのときにはそのまま終了するが、yobj<0.5のYESのときには、ステップX52においてウィンドウ番号jをj=0にリセットし、ステップX53でウィンドウ番号jを「1」だけインクリメントし、ステップX54においてウィンドウ番号jが1≦j<mか否かを判定する。このステップX54の判定がYESのときには、ステップX55において物体検出位置P(j)の距離データのx成分x(j)をx(j)=0にして距離データをキャンセルした後にステップX53に戻る。ステップX54の判定がNOになると終了する。
【0117】
この実施形態では、データ抽出手段42は、略垂直面に沿って配列されている複数の物体検出位置P(1),P(2),…,P(j)のうちの高さの最大値ymax及び最小値yminの差yobjが所定値(0.5m)以上となる距離データのみを抽出するように構成されている。
【0118】
したがって、この実施形態においては、略垂直面に沿って配列されている複数の物体検出位置P(1),P(2),…,P(j)のうちの高さの最大値ymax及び最小値yminの差yobjが所定値(0.5m)以上となる距離データのみが抽出されるので、その差yobjが所定未満となる距離データに対応する不要な物体を確実に排除して、物体Oの認識精度をさらに向上させることができる。
【0119】
尚、上記実施形態では、検知センサ10として多段ライン型CCDを用いているが、本発明はその他、レーザレーダやミリ波レーダを用いて車両Cの後側方の物体Oを検出するようにしてもよく、同様の作用効果が得られる。また、検知センサ10はドアミラー6内に限らず、その他、例えば車室内のリアウィンドガラス近くに設置することもできる。
【0120】
また、上記実施形態では、車両Cの後側方に存在する物体を認識するようにしているが、本発明はこれに限らず、車両Cの後側方以外や周囲全体に存在する物体を認識する場合にも適用することができる。
【0121】
【発明の効果】
以上説明した如く、請求項1の発明によると、車両の周囲に存在する物体の距離情報を2次元の距離データとして検出して、これら検出された複数の距離データに対応する物体検出位置の配列状態を判定し、この物体検出位置の配列状態に基づいて、略垂直面に沿って配列されている複数の物体検出位置のうち、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出して、その抽出距離データから路面上に存在する物体を認識するようにしたことにより、路面上の数字等の表示や遠距離にある路面上の白線等の表示の距離データが物体認識のために用いられるのを回避して、路面上に存在する物体の認識精度の向上を図ることができる。
【0122】
請求項2の発明では、車両の後側方に存在する物体の距離情報を検出するようにした。このことで、車両の周囲の一部である後側方の特定の物体の認識精度を高めることができる。
【0123】
請求項3の発明によると、物体の距離情報を2次元の距離データとして検出するために多段ライン型CCDセンサを用いるようにしたことにより、物体までの距離情報を2次元の距離データとして容易に検出することができる。
【0125】
請求項4の発明によれば、上記傾きのしきい値を、物体までの距離が大きいほど小さくしたことにより、例えば遠くにあって路面上の白線等の表示との区別が付き難い物体の距離データを精度よく認識することができる。
【0126】
請求項5の発明によると、路面からの高さがしきい値よりも小さい物体検出位置の距離データのみを抽出するようにしたことにより、物体の距離に関係なく安定した距離データを抽出して物体認識精度を高めることができる。
【0127】
請求項6の発明によると、上記請求項5の発明において、高さのしきい値を物体までの距離、路面勾配の少なくとも1つに応じて補正するようにしたことにより、その物体までの距離、路面勾配等の変化に拘わらず安定して物体の認識精度を向上させることができる。
【0128】
請求項7の発明によると、上記請求項1の発明において、路面側から配列方向上側に向かって最初に、水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出するようにしたことにより、物体の認識精度の向上の確実化を図ることができる。
【0129】
請求項8の発明によれば、上記請求項1の発明において、略垂直面に沿って配列されている複数の物体検出位置のうちの高さの最大値及び最小値の差が所定値以上となる距離データのみを抽出するようにしたことにより、複数の物体検出位置のうちの高さの最大値及び最小値の差が所定未満となる距離データに対応する不要な物体を確実に排除して、物体の認識精度をさらに向上させることができる。
【図面の簡単な説明】
【図1】本発明の構成図である。
【図2】本発明の実施形態に係る物体認識装置の各構成部品の車両での位置を示す斜視図である。
【図3】物体認識装置の概略構成を示すブロック図である。
【図4】物体認識装置の詳細構成を示すブロック図である。
【図5】検知センサにより物体を測距する概念を示す側面図である。
【図6】CCDチップにより捕らえた画像を示す図である。
【図7】CCDチップにより捕らえた画像の中のラインをウィンドウ方向に分割して領域を区分する概念を示す図である。
【図8】上下のCCDチップにより得られた画像が同じラインでずれて視差が生じる状態を示す説明図である。
【図9】上下のCCDチップにより物体までの距離を測定する原理を示す図である。
【図10】CCDチップにより得られた画像におけるCCDラインの測距方向を示す平面図である。
【図11】上下方向のレンジカット領域を示す側面図である。
【図12】水平方向のレンジカット領域を示す平面図である。
【図13】領域に隣接する8隣接領域の配置を示す図である。
【図14】8隣接点処理からライン毎の距離演算までの具体例を示す図である。
【図15】8隣接点処理動作を示すフローチャート図である。
【図16】距離しきい値の設定のための第1例を示すフローチャート図である。
【図17】距離しきい値の設定のための第2例を示す図16相当図である。
【図18】基準距離値の設定例を示す図である。
【図19】距離しきい値の設定のための第3例を示す図16相当図である。
【図20】距離しきい値の設定のための第4例を示す図16相当図である。
【図21】距離差の平均値に応じて距離しきい値を設定する例を示す図である。
【図22】各領域毎の有効ポイント数付与のための第1例を示すフローチャート図である。
【図23】各領域毎の有効ポイント数付与のための第2例を示す図22相当図である。
【図24】各領域毎の有効ポイント数付与のための第3例を示す図22相当図である。
【図25】各領域毎の有効ポイント数付与のための第4例を示す図22相当図である。
【図26】各領域毎の有効ポイント数付与の実行判断のための第1例を示すフローチャート図である。
【図27】各領域毎の有効ポイント数付与の実行判断のための第2例を示す図26相当図である。
【図28】ライン毎の距離演算処理動作を示すフローチャート図である。
【図29】ライン代表しきい値の設定のための第1例を示すフローチャート図である。
【図30】ライン代表しきい値の設定のための第2例を示す特性図である。
【図31】ライン代表しきい値の設定のための第3例を示す特性図である。
【図32】ライン代表しきい値の設定のための第4例を示す特性図である。
【図33】ライン代表しきい値の設定のための第4例における検出エリアを示す平面図である。
【図34】ライン代表しきい値の設定のための第5例を示すフローチャート図である。
【図35】ライン代表しきい値の設定のための第6例を示す図34相当図である。
【図36】ライン代表しきい値の設定のための第7例を示す図34相当図である。
【図37】ライン代表しきい値の設定のための第7例におけるデータ個数の演算例を示すフローチャート図である。
【図38】ライン毎の距離演算処理動作の他の実施形態を示す図28相当図である。
【図39】物体の認識処理動作を示すフローチャート図である。
【図40】視差に応じた距離補正のための特性を示す特性図である。
【図41】検出率に応じて昼夜判定するための説明図である。
【図42】距離データ抽出処理動作を示すフローチャート図である。
【図43】ウィンドウ方向に配列された物体検出位置を示す側面模式図である。
【図44】距離データ抽出処理動作の第1の他の実施形態の要部を示すフローチャート図である。
【図45】傾きのしきい値を設定する際の変形例を示す特性図である。
【図46】距離データ抽出処理動作の第2の他の実施形態の要部を示すフローチャート図である。
【図47】路面からの高さのしきい値を変更するときの概念を示す側面模式図である。
【図48】距離データ抽出処理動作の第3の他の実施形態の要部を示すフローチャート図である。
【図49】距離データ抽出処理動作の第3の他の実施形態に有効な状況を示す平面模式図である。
【図50】距離データ抽出処理動作の第3の他の実施形態に有効な状況における距離データの特性を示す図である。
【図51】距離データ抽出処理動作の第4の他の実施形態の要部を示すフローチャート図である。
【符号の説明】
C 車両
6 ドアミラー
10 後側方検知センサ(多段ライン型CCD)
11 CCDチップ
15 コントローラ
16 測距回路
20 物体認識部
21 物体識別部
25 8隣接点処理部
26 ライン距離演算部
30 物体距離データ検出手段
41 配列判定手段
42 データ抽出手段
E,E(i,j) 領域
R1〜R8 隣接領域
d(i,j) 測定距離
dx 隣接領域との距離差
d0 しきい値
P(i,j) 有効ポイント数
P0 ライン代表しきい値
l(i,j) ライン代表距離
A1〜A4 検出エリア
O 物体
O′ 物体像
P(j) 物体検出位置
Claims (8)
- 車両の周囲に存在する物体までの距離情報を2次元の距離データとして検出する物体距離データ検出手段を備え、該検出手段により検出された2次元の距離データから特定の物体を認識するようにした物体認識装置において、
上記物体距離データ検出手段によって検出された複数の2次元の距離データに対応する物体検出位置の配列状態を判定する配列判定手段と、
上記配列判定手段により判定された物体検出位置の配列状態に基づいて、略垂直面に沿って配列されている複数の物体検出位置のうち、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出するデータ抽出手段と、
上記データ抽出手段により抽出された距離データに基づいて路面上に存在する物体を認識する物体認識手段とを備えたことを特徴とする物体認識装置。 - 請求項1の物体認識装置において、
物体距離データ検出手段は、車両の後側方に存在する物体までの距離情報を2次元の距離データとして検出するものであることを特徴とする物体認識装置。 - 請求項1又は2の物体認識装置において、
物体距離データ検出手段は、多段ライン型CCDセンサを備えたものであることを特徴とする物体認識装置。 - 請求項1の物体認識装置において、
データ抽出手段で用いられる傾きのしきい値は、物体までの距離が大きいほど小さくなるものとされていることを特徴とする物体認識装置。 - 請求項1の物体認識装置において、
データ抽出手段は、路面からの高さがしきい値よりも小さい物体検出位置の距離データのみを抽出するように構成されていることを特徴とする物体認識装置。 - 請求項5の物体認識装置において、
データ抽出手段で用いられる高さのしきい値は、物体までの距離、路面勾配の少なくとも1つに応じて補正されているものであることを特徴とる物体認識装置。 - 請求項1の物体認識装置において、
データ抽出手段は、路面側から配列方向上側に向かって最初に、配列方向両側に隣接する物体検出位置との間の水平方向に対する傾きがしきい値以上となる物体検出位置の距離データのみを抽出するように構成されていることを特徴とする物体認識装置。 - 請求項1の物体認識装置において、
データ抽出手段は、略垂直面に沿って配列されている複数の物体検出位置のうちの高さの最大値及び最小値の差が所定値以上となる距離データのみを抽出するように構成されていることを特徴とする物体認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02348899A JP4146954B2 (ja) | 1999-02-01 | 1999-02-01 | 物体認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02348899A JP4146954B2 (ja) | 1999-02-01 | 1999-02-01 | 物体認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000221015A JP2000221015A (ja) | 2000-08-11 |
JP4146954B2 true JP4146954B2 (ja) | 2008-09-10 |
Family
ID=12111910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02348899A Expired - Fee Related JP4146954B2 (ja) | 1999-02-01 | 1999-02-01 | 物体認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4146954B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5139744B2 (ja) * | 2007-08-09 | 2013-02-06 | 本田技研工業株式会社 | 車両用物体検知装置 |
US7941281B2 (en) * | 2008-12-22 | 2011-05-10 | General Electric Company | System and method for rotor blade health monitoring |
JP5928035B2 (ja) | 2012-03-16 | 2016-06-01 | 富士通株式会社 | 起伏検出装置及び起伏検出方法 |
CN115402849B (zh) * | 2022-08-16 | 2024-08-20 | 苏州沪琨智能科技有限公司 | 应用于水松纸输送的多级控制纠偏方法 |
-
1999
- 1999-02-01 JP JP02348899A patent/JP4146954B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000221015A (ja) | 2000-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6831591B2 (en) | Radar device for a vehicle | |
JP3669205B2 (ja) | 障害物認識装置 | |
US6265991B1 (en) | Vehicular front monitoring apparatus | |
JP5145585B2 (ja) | 物標検出装置 | |
JP4857840B2 (ja) | 物体検出方法および物体検出装置 | |
JP3711405B2 (ja) | カメラを利用した車両の道路情報抽出方法及びシステム | |
JP3596314B2 (ja) | 物体端の位置計測装置および移動体の通行判断装置 | |
US9288381B2 (en) | In-vehicle image recognizer | |
JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
EP2639781A1 (en) | Vehicle with improved traffic-object position detection | |
JP3596339B2 (ja) | 車間距離計測装置 | |
JPH10283462A (ja) | 車外監視装置 | |
KR101180621B1 (ko) | 차량 검출 방법 및 장치 | |
JP7225149B2 (ja) | 処理装置 | |
JP3633368B2 (ja) | 障害物検出装置 | |
JPH08156723A (ja) | 車両用障害物検出装置 | |
JP4857909B2 (ja) | 物体検出方法および物体検出装置 | |
JP5888275B2 (ja) | 道路端検出システム、方法およびプログラム | |
JP4146954B2 (ja) | 物体認識装置 | |
JP2000214256A (ja) | 車両の表示装置 | |
JPH07244717A (ja) | 車両用走行環境認識装置 | |
RU2722465C1 (ru) | Устройство и способ распознавания шины транспортного средства | |
EP4024330A1 (en) | Object recognition method and object recognition device | |
JP3868048B2 (ja) | 物体認識装置 | |
JPH05113482A (ja) | 車載用追突防止装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110627 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120627 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130627 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |