JP2006172262A - 車両用道路標示検出装置 - Google Patents
車両用道路標示検出装置 Download PDFInfo
- Publication number
- JP2006172262A JP2006172262A JP2004365643A JP2004365643A JP2006172262A JP 2006172262 A JP2006172262 A JP 2006172262A JP 2004365643 A JP2004365643 A JP 2004365643A JP 2004365643 A JP2004365643 A JP 2004365643A JP 2006172262 A JP2006172262 A JP 2006172262A
- Authority
- JP
- Japan
- Prior art keywords
- road
- road marking
- image processing
- mark
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
【課題】 道路標示の誤検出と不検出を防止する。
【解決手段】 自車前方の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出するとともに、道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために前記画像処理を変更し、検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知する。
【選択図】 図２
【解決手段】 自車前方の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出するとともに、道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために前記画像処理を変更し、検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知する。
【選択図】 図２
Description
本発明は、カメラにより自車前方の道路環境を撮像し、撮像した画像を処理して道路交通上の規制や指示を路面に記した道路標示を検出する装置および方法に関する。
路面に描かれた文字列や記号を撮像し、予め記憶されている「止まれ」などの文字列からなる基準文字記号パターンと照合して道路標示を検出する安全運転支援装置が知られている（例えば、特許文献１参照）。
この出願の発明に関連する先行技術文献としては次のものがある。
特開２００２−２１９９９８号公報
しかしながら、上述した従来の装置では、道路標示の経年変化や明るさの変化による薄れや汚れを考慮していないので、道路標示の不検出や誤検出が多いという問題がある。
自車前方の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出するとともに、道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために前記画像処理を変更し、検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知する。
本発明によれば、道路標示の１文字または１記号を検出するたびにより適切な画像処理に変更することができ、道路標示の誤検出と不検出の両方を低減することができる。
《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、物体までの距離と方位を測定する。レーダー処理装置２はレーザーレーダー１による測定結果に基づいて車両前方の障害物を抽出し、自車両を原点とする車両前後方向と車幅方向の二次元座標上における障害物の位置と大きさ（幅）とを算出する。プログレッシブスキャン式ＣＣＤカメラ３は車両前方を高速に撮像する。画像処理装置４は、カメラ３による撮像画像を処理して道路交通上の規制や指示を路面に記した道路標示の検出を行う。
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、物体までの距離と方位を測定する。レーダー処理装置２はレーザーレーダー１による測定結果に基づいて車両前方の障害物を抽出し、自車両を原点とする車両前後方向と車幅方向の二次元座標上における障害物の位置と大きさ（幅）とを算出する。プログレッシブスキャン式ＣＣＤカメラ３は車両前方を高速に撮像する。画像処理装置４は、カメラ３による撮像画像を処理して道路交通上の規制や指示を路面に記した道路標示の検出を行う。
外界認識装置５は、レーダー処理装置２と画像処理装置４の車両検出結果と、車速検出装置６により検出された車速、操舵角検出装置７により検出された操舵角などに基づいて自車前方の車両を検出し、自車両の障害になるか否かを判断し、必要に応じて自動ブレーキ制御装置８を制御して負圧ブレーキブースター９を駆動し、車両の制動力を発生させる。外界認識装置５は、レーダー処理装置２で検出した障害物までの距離に基づいて制動力を演算するとともに、画像処理装置４により検出した停止線までの距離に基づいて制動力を演算し、どちらか大きい方を制動力指令値として自動ブレーキ制御装置８へ出力し、負圧ブレーキブースター９のソレノイドバルブに制動力指令電圧を印加して自車両を制動する。
なお、レーダー処理装置２、画像処理装置４および外界認識装置５はそれぞれマイクロコンピューターとその周辺部品や各種アクチュエーターの駆動回路などを備え、互いに通信回線を介して情報の授受を行う。
図２は、カメラ３による撮像画像を処理して道路上にペイントされている一時停止の道路標示「止まれ」を検出する処理を示す。画像処理装置４および外界認識装置５は、５０ｍsecごとに図２に示す道路標示検出処理を繰り返す。ステップ１００において、今回のサンプリングでカメラ３により撮像した画像を読み込む。続くステップ１０１では車速検出装置６から車速を、操舵角検出装置７から操舵角を読み込む。ステップ１０２で、道路標示の文字や記号などのマークを順番に検出する場合の認識回数を表すカウンターＤetectsＳtepが０、すなわち、まだ道路標示のマークを一つも認識していない状態か否かを確認する。
一時停止の道路標示の文字や記号などのマークをまだ一つも認識していない状態の場合はステップ１０３へ進み、道路標示を検出するための初期条件を以下のように設定する。
obj_Ｙ＝２０，
obj_Ｘ＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
Ｔhr１＝１２８，
Ｆade＝０ ・・・（１）
ここで、obj_Ｙは道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘは道路上の画像処理領域の左右方向位置（単位メートル、自車両の正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。Ｔhr１は後述する画像処理で用いる濃淡のしきい値であって、１２８は一般的な８ｂｉｔの濃淡、つまり濃淡∈〔黒＝０、白＝２５５〕の場合の中央値（灰色）である。Ｆadeも同様に、後述する画像処理で用いる薄れと汚れに関するパラメーターである。
obj_Ｙ＝２０，
obj_Ｘ＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
Ｔhr１＝１２８，
Ｆade＝０ ・・・（１）
ここで、obj_Ｙは道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘは道路上の画像処理領域の左右方向位置（単位メートル、自車両の正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。Ｔhr１は後述する画像処理で用いる濃淡のしきい値であって、１２８は一般的な８ｂｉｔの濃淡、つまり濃淡∈〔黒＝０、白＝２５５〕の場合の中央値（灰色）である。Ｆadeも同様に、後述する画像処理で用いる薄れと汚れに関するパラメーターである。
ステップ１０４においてカメラ３の撮像画像の画像処理領域を次のように設定する。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ＋ＰrocessＤist） ・・・（２）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ−ＰrocessＤist） ・・・（３）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ／obj_Ｙ−focusＨ＊ＰrocessＷide／obj_Ｙ ・・・（４）
disp_obj_ＸＲ＝ｘ０＋focesＨ＊obj_Ｘ／obj_Ｙ＋focusＨ＊ＰrocessＷide／obj_Ｙ
・・・（５）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix：画素数］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ＋ＰrocessＤist） ・・・（２）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ−ＰrocessＤist） ・・・（３）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ／obj_Ｙ−focusＨ＊ＰrocessＷide／obj_Ｙ ・・・（４）
disp_obj_ＸＲ＝ｘ０＋focesＨ＊obj_Ｘ／obj_Ｙ＋focusＨ＊ＰrocessＷide／obj_Ｙ
・・・（５）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix：画素数］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
ステップ１０５では上記画像処理領域において道路標示の文字や記号などのマークを識別するための前処理１を行う。この前処理１として、この一実施の形態では微分演算を行う。微分演算は、微分画像を求める一般的な手法であるｓｏｂｅｌフィルターにより実施する。ｓｏｂｅｌフィルターとは、ある画素に隣接する画素どうしの輝度変化を求める演算である。
続くステップ１０６において上記ステップで求めた微分画像に対し道路標示の文字や記号などのマークを識別するための前処理２を行う。この前処理２として、この一実施の形態では２値化処理を行う。２値化処理は、求めた微分画像の各画素の濃淡値（ここでは微分画像のため輝度変化）がしきい値Ｔhr１よりも小さい（輝度変化がない）場合には黒色に、しきい値以上の場合には白色に、微分画像の濃淡を白／黒２色に分ける。
ステップ１０７では道路標示の薄れと汚れの度合いを表すパラメーターＦadeの値が０で薄れと汚れがない場合にはステップ１１０へ、Ｆade＝１で薄れと汚れがある場合にはステップ１０８へ、Ｆade＝２で薄れと汚れがひどい場合はステップ１０９へそれぞれ進む。
Ｆade＝１で薄れと汚れがある場合は、ステップ１０８で２値化画像を膨張処理した後、収縮処理を行い、ステップ１１０へ進む。ここで、膨張処理とは、２値化画像の白の部分を外側へ１画素膨張させる処理で、一般にＤilationなどと呼ばれる処理である。また、収縮処理とは、２値化画像の白の部分を内側へ１画素収縮させる処理で、一般にＥrosionなどと呼ばれる処理である。
図７に、道路標示の文字「止」の撮像画像に対して膨張処理と収縮処理を行った例を示す。なお、道路標示「止」は白色でペインとされているが、図７では黒色で表す。(ａ)に示す撮像画像に対して膨張処理を行うと(ｂ)に示す画像になり、(ｂ)に示す画像に対して収縮処理を行うと(ｃ)に示す画像認識（ＯＣＲ）が容易な画像が得られる。
図７に、道路標示の文字「止」の撮像画像に対して膨張処理と収縮処理を行った例を示す。なお、道路標示「止」は白色でペインとされているが、図７では黒色で表す。(ａ)に示す撮像画像に対して膨張処理を行うと(ｂ)に示す画像になり、(ｂ)に示す画像に対して収縮処理を行うと(ｃ)に示す画像認識（ＯＣＲ）が容易な画像が得られる。
一方、Ｆade＝２で薄れと汚れがひどい場合は、ステップ１０９で２値化画像を２回連続して膨張処理した後、２回連続して収縮処理を行いステップ１１０へ進む。
図８に、道路標示の文字「止」の撮像画像に対して膨張処理を２回と収縮処理を２回行った例を示す。なお、道路標示「止」は白色でペインとされているが、図８では黒色で表す。(ａ)に示す撮像画像に対して１回膨張処理を行うと(ｂ)に示す画像になり、さらにもう１回膨張処理を行うと(ｃ)に示す画像になる。さらに、２回の膨張処理後の画像に対して１回収縮処理を行うと(ｄ)に示す画像になり、もう１回収縮処理を行うと(ｅ)に示す画像になる。
図８に、道路標示の文字「止」の撮像画像に対して膨張処理を２回と収縮処理を２回行った例を示す。なお、道路標示「止」は白色でペインとされているが、図８では黒色で表す。(ａ)に示す撮像画像に対して１回膨張処理を行うと(ｂ)に示す画像になり、さらにもう１回膨張処理を行うと(ｃ)に示す画像になる。さらに、２回の膨張処理後の画像に対して１回収縮処理を行うと(ｄ)に示す画像になり、もう１回収縮処理を行うと(ｅ)に示す画像になる。
Ｆade＝０で薄れと汚れがない場合、あるいは薄れと汚れがあって膨張処理と収縮処理を行った後、ステップ１１０で道路標示マークの認識回数カウンターＤetectＳtepの値に応じて参照用マークを決定する。
ＤetectＳtep＝０の場合、Ｒef_Ｍark＝「れ」・・・まだ何も検出せず、
ＤetectＳtep＝１の場合、Ｒef_Ｍark＝「ま」・・・「れ」は検出すみ、
ＤetectＳtep＝２の場合、Ｒef_Ｍark＝「止」・・・「ま」は検出すみ、
ＤetectＳtep＝３の場合、Ｒef_Ｍark＝「−」・・・すべて検出すみ、停止線を探す。
・・・（６）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示マークを見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。つまり、ステップ１０４で設定した画像処理領域が小さい、すなわち遠方にある場合には、このＲef_Ｍarkも小さくなるように大きさを正規化する。
ＤetectＳtep＝０の場合、Ｒef_Ｍark＝「れ」・・・まだ何も検出せず、
ＤetectＳtep＝１の場合、Ｒef_Ｍark＝「ま」・・・「れ」は検出すみ、
ＤetectＳtep＝２の場合、Ｒef_Ｍark＝「止」・・・「ま」は検出すみ、
ＤetectＳtep＝３の場合、Ｒef_Ｍark＝「−」・・・すべて検出すみ、停止線を探す。
・・・（６）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示マークを見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。つまり、ステップ１０４で設定した画像処理領域が小さい、すなわち遠方にある場合には、このＲef_Ｍarkも小さくなるように大きさを正規化する。
ステップ１１１では、上述した前処理により識別した道路標示マークを参照用マークと照合して道路標示マークを認識する。この認識方法として、この一実施の形態では参照用マークと２値化画像とのＯＣＲ（Optical Character Recognition）手法を応用し、所定以上の類似性がある場合にその道路標示マークを認識できたものとする。続くステップ１１２で道路標示マークを認識した場合はステップ１１３へ進み、認識できなかった場合はステップ１１７へ進む。
道路標示マークを認識した場合は、ステップ１１３で道路標示マークの認識回数カウンターＤetectStepをインクリメントする。カウンターＤetectＳtepが４になった場合はステップ１１８へ進み、４未満の場合はステップ１１４へ進む。
一時停止の道路標示の文字「止」、「ま」、「れ」と停止線記号「−」のすべてを認識していない場合は、ステップ１１４で次式により２値化処理の濃淡しきい値Ｔhr１を決める。
Ｔhr１＝０．８＊（Ａｖ＋Ｖｒ） ・・・（７）
ここで、Ａｖとは、ステップ１０４で定義した画像処理領域をステップ１０５で微分演算した際の微分画像の平均輝度値である。また、Ｖｒも同様に、微分画像の分散輝度値である。
Ｔhr１＝０．８＊（Ａｖ＋Ｖｒ） ・・・（７）
ここで、Ａｖとは、ステップ１０４で定義した画像処理領域をステップ１０５で微分演算した際の微分画像の平均輝度値である。また、Ｖｒも同様に、微分画像の分散輝度値である。
（７）式により、道路標示マークを検出するたびに、撮像画像を微分演算して求めた微分画像の輝度情報に基づいて２値化処理の濃淡しきい値Ｔhr１を変更し、変更された濃淡しきい値Ｔhr１は、次の道路標示マークを認識する際の２値化処理の濃淡しきい値として用いられる。
次にステップ１１５において次式により道路標示の薄れと汚れの度合いを表すパラメーターＦadeを変更する。
Ｆade＝func１（ＤtctArea_White／ＲefArea_White） ・・・（８）
ここで、func１（Ａ）は図６に示すような特性を有する関数である。また、ＤtctArea_Whiteは今回のステップ１０９までの２値化画像における白い部分の面積であり、ＲefArea_Whiteはステップ１１０で設定した参照マークにおける白い部分の面積である。
Ｆade＝func１（ＤtctArea_White／ＲefArea_White） ・・・（８）
ここで、func１（Ａ）は図６に示すような特性を有する関数である。また、ＤtctArea_Whiteは今回のステップ１０９までの２値化画像における白い部分の面積であり、ＲefArea_Whiteはステップ１１０で設定した参照マークにおける白い部分の面積である。
図６において、Ａ（＝ＤtctArea_White／ＲefArea_White）は、参照マーク中の白色部分の面積に対する２値化画像中の白色部分の面積を表しており、検出した道路標示の薄れと汚れがひどいほどＡの値が小さくなり、func１の値が大きくなる。したがって、道路標示の薄れと汚れがひどいほど薄れと汚れの度合いを表すＦadeの値が大きくなる。
（８）式により、道路標示マークを検出するたびに、２値化画像の中の白色部分の面積に基づいて道路標示の薄れと汚れの度合いを表すパラメーターＦadeを変更し、次の道路標示マークを認識する際に変更後のパラメーターＦadeに応じて撮像画像に膨張処理と収縮処理を施す。
ステップ１１６では、認識した道路標示マークの画面上の位置に基づいて、次に道路標示マークを探索する画面上の画像処理領域の位置を次式により求める。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（９）
（９）式において、Ｒef_Ｍark_Ｃenter_yは認識したマークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識したマークの画面上の水平方向（左右方向）位置である。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（９）
（９）式において、Ｒef_Ｍark_Ｃenter_yは認識したマークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識したマークの画面上の水平方向（左右方向）位置である。
一方、ステップ１１３でカウンターＤetectＳtepが４になり、一時停止の道路標示の文字「止」、「ま」、「れ」と停止線記号「−」をすべて認識できたと判定された場合は、ステップ１１８で、自車前方の一時停止記号「−」を検出したのでスピーカー（不図示）により「一時停止です」と放送し、運転者に一時停止情報を提供してステップ１１７へ進む。ステップ１１７では車速、操舵角などの自車挙動データの過去値を更新して処理を終了する。
このように、道路上の進行方向に連続してペイントされる道路標示を１文字または１記号ずつ部分的に検出するとともに、検出した道路標示マークの薄れと汚れに基づいて次の道路標示マークを認識する際のしきい値とパラメーターを変更するようにしたので、画像処理による道路標示マークの認識性能を向上させることができる。例えば、初めは誤検出するかも知れないが不検出のない道路標示マーク認識用のしきい値とパラメーターを設定し（上記ステップ１０３参照）、道路標示マークを認識するたびにより適切な道路標示マーク認識用のしきい値とパラメーターを設定する（上記ステップ１１４〜１１５参照）ことができ、道路標示マークの誤検出と不検出を低減できる。
《発明の第２の実施の形態》
上述した第１の実施の形態では一文字ずつ「れ」→「ま」→「止」の順に部分的に道路標示を検出する例を示したが、文字の順序を問わず１文字または１記号ずつ部分的に道路標示を検出する第２の実施の形態を説明する。なお、この第２の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
上述した第１の実施の形態では一文字ずつ「れ」→「ま」→「止」の順に部分的に道路標示を検出する例を示したが、文字の順序を問わず１文字または１記号ずつ部分的に道路標示を検出する第２の実施の形態を説明する。なお、この第２の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
図３〜図４は、カメラ３による撮像画像を処理して道路上にペイントされている一時停止の道路標示「止まれ」を検出する処理を示す。画像処理装置４および外界認識装置５は、５０ｍsecごとに図３〜図４に示す道路標示検出処理を繰り返す。ステップ２００において、今回のサンプリングでカメラ３により撮像した画像を読み込む。続くステップ２０１では車速検出装置６から車速を、操舵角検出装置７から操舵角を読み込む。
ステップ２０２で、道路標示の文字や記号などのマークを認識した回数を表すカウンターＤetectsＳtepの値を確認し、カウンターＤetectsＳtepの値に応じて次のように分岐する。
ＤetectsＳtep＝０（何も検出していない状態）の場合はステップ２０３へ、
ＤetectsＳtep＝１（「れ」のみ検出すみ）の場合はステップ２０５へ、
ＤetectsＳtep＝２（「ま」のみ検出すみ）の場合はステップ２０７へ、
ＤetectsＳtep＝３（「れ」と「ま」を検出すみ）の場合はステップ２０９へ、
ＤetectsＳtep＝４（「止」のみ検出すみ）の場合はステップ２１１へ、
ＤetectsＳtep＝５（「れ」と「止」を検出すみ）の場合はステップ２１３へ、
ＤetectsＳtep＝６（「ま」と「止」を検出すみ）の場合はステップ２１５へ、
ＤetectsＳtep＝７（「れ」「ま」「止」を検出すみ）の場合はステップ２１７へ。
ＤetectsＳtep＝０（何も検出していない状態）の場合はステップ２０３へ、
ＤetectsＳtep＝１（「れ」のみ検出すみ）の場合はステップ２０５へ、
ＤetectsＳtep＝２（「ま」のみ検出すみ）の場合はステップ２０７へ、
ＤetectsＳtep＝３（「れ」と「ま」を検出すみ）の場合はステップ２０９へ、
ＤetectsＳtep＝４（「止」のみ検出すみ）の場合はステップ２１１へ、
ＤetectsＳtep＝５（「れ」と「止」を検出すみ）の場合はステップ２１３へ、
ＤetectsＳtep＝６（「ま」と「止」を検出すみ）の場合はステップ２１５へ、
ＤetectsＳtep＝７（「れ」「ま」「止」を検出すみ）の場合はステップ２１７へ。
カウンターＤetectsＳtep＝０で一時停止の道路標示の文字や記号などのマークをまだ一つも検出していない場合は、ステップ２０３で道路標示を検出するためのパラメーターを次のように設定する。
obj_Ｙ1＝２０，
obj_Ｘ1＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には ＲcgＳtate＝０
・・・（１０）
ここで、obj_Ｙ1は道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘ1は道路上の画像処理領域の左右方向位置（単位メートル、自車両正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。ＲcgＳtateとは、今回のサンプリング周期における画像処理で認識する道路標示マークの種類を決める変数であり、初期値は０である。
obj_Ｙ1＝２０，
obj_Ｘ1＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には ＲcgＳtate＝０
・・・（１０）
ここで、obj_Ｙ1は道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘ1は道路上の画像処理領域の左右方向位置（単位メートル、自車両正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。ＲcgＳtateとは、今回のサンプリング周期における画像処理で認識する道路標示マークの種類を決める変数であり、初期値は０である。
続くステップ２０４では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」，
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「ま」，
ＲcgＳtate＝２の場合、Ｒef_Ｍark＝「止」 ・・・ （１１）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示マークを見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」，
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「ま」，
ＲcgＳtate＝２の場合、Ｒef_Ｍark＝「止」 ・・・ （１１）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示マークを見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。
カウンターＤetectsＳtep＝１で「れ」のみ検出すみの場合は、ステップ２０５で道路標示を検出するためのパラメーターを次のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「ま」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ＋２．０ ・・・「止」検出用
・・・（１２）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「ま」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ＋２．０ ・・・「止」検出用
・・・（１２）
続くステップ２０６では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「ま」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「止」 ・・・（１３）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「ま」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「止」 ・・・（１３）
カウンターＤetectsＳtep＝２で「ま」のみ検出すみの場合は、ステップ２０７で道路標示を検出するためのパラメーターを次のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「止」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「れ」検出用
・・・（１４）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「止」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「れ」検出用
・・・（１４）
続くステップ２０８では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「止」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「れ」 ・・・（１５）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「止」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「れ」 ・・・（１５）
カウンターＤetectsＳtep＝３で「れ」と「ま」を検出すみの場合は、ステップ２０９で道路標示を検出するためのパラメーターを次のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「止」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ＋２．０ ・・・「−」検出用
・・・（１６）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ ・・・「止」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ＋２．０ ・・・「−」検出用
・・・（１６）
続くステップ２１０では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「止」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」（停止線） ・・・（１７）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「止」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」（停止線） ・・・（１７）
カウンターＤetectsＳtep＝４で「止」のみ検出すみの場合は、ステップ２１１で道路標示を検出するためのパラメーターを次のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「れ」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ−２．０ ・・・「ま」検出用
・・・（１８）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「れ」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ−２．０ ・・・「ま」検出用
・・・（１８）
続くステップ２１２では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「ま」 ・・・（１９）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「ま」 ・・・（１９）
カウンターＤetectsＳtep＝５で「れ」と「止」を検出すみの場合は、ステップ２１３で道路標示を検出するためのパラメーターを次のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「ま」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ ・・・「−」検出用
・・・（２０）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−４．０ ・・・「ま」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ ・・・「−」検出用
・・・（２０）
続くステップ２１２では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「ま」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」 ・・・（２１）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「ま」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」 ・・・（２１）
ＤetectsＳtep＝６（「ま」と「止」を検出すみ）の場合は、ステップ２１５で道路標示を検出するためのパラメーターを次式のように設定する。
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−６．０ ・・・「れ」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ ・・・「−」検出用
・・・（２２）
もし、ＲcgＳtate＞２ あるいは ＲcgＳtate＜０の場合には、ＲcgＳtate＝０、
もし、ＲcgＳtate＝０ ならば obj_Ｙ1＝obj_Ｙ−６．０ ・・・「れ」検出用、
もし、ＲcgＳtate＝１ ならば obj_Ｙ1＝obj_Ｙ ・・・「−」検出用
・・・（２２）
続くステップ２１６では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値に応じて参照用マークを設定する。
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」 ・・・（２３）
ＲcgＳtate＝０の場合、Ｒef_Ｍark＝「れ」、
ＲcgＳtate＝１の場合、Ｒef_Ｍark＝「−」 ・・・（２３）
カウンターＤetectsＳtep＝７で「れ」「ま」「止」を検出すみの場合は、ステップ２１７で道路標示を検出するためのパラメーターを次式のように設定する。
obj_Ｙ1＝obj_Ｙ ・・・「−」検出用 ・・・（２４）
続くステップ２１８では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値によらず、参照用マークを次のように設定する。
Ｒef_Ｍark＝「−」 ・・・（２５）
obj_Ｙ1＝obj_Ｙ ・・・「−」検出用 ・・・（２４）
続くステップ２１８では、今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateの値によらず、参照用マークを次のように設定する。
Ｒef_Ｍark＝「−」 ・・・（２５）
ステップ２１９においてカメラ３の撮像画像上の画像処理領域を次のように設定する。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ1＋ＰrocessＤist）
・・・（２６）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ1−ＰrocessＤist）
・・・（２７）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ1／obj_Ｙ1
−focusＨ＊ＰrocessＷide／obj_Ｙ1 ・・・（２８）
disp_obj_ＸＲ＝ｘ０＋focusＨ＊obj_Ｘ1／obj_Ｙ1
＋focusＨ＊ＰrocessＷide／obj_Ｙ1 ・・・（２９）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix］（カメラ３の取り付け位置と向き（撮影レンズの方向）で決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ1＋ＰrocessＤist）
・・・（２６）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ1−ＰrocessＤist）
・・・（２７）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ1／obj_Ｙ1
−focusＨ＊ＰrocessＷide／obj_Ｙ1 ・・・（２８）
disp_obj_ＸＲ＝ｘ０＋focusＨ＊obj_Ｘ1／obj_Ｙ1
＋focusＨ＊ＰrocessＷide／obj_Ｙ1 ・・・（２９）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix］（カメラ３の取り付け位置と向き（撮影レンズの方向）で決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
ステップ２２０では上記画像処理領域において道路標示の文字や記号などのマークを識別するための前処理１を行う。この前処理１として、上述した第１の実施の形態と同様に微分演算を行う。続くステップ２２１において上記ステップで求めた微分画像に対し道路標示の文字や記号などのマークを識別するための前処理２を行う。この前処理２として、上述した第１の実施の形態と同様に２値化処理を行う。
ステップ２２２では道路標示の薄れと汚れの度合いを表すパラメーターＦadeの値が０（で薄れと汚れがない場合にはステップ２２５へ、Ｆade＝１で薄れと汚れがある場合にはステップ２２３へ、Ｆade＝２で薄れと汚れがひどい場合はステップ２２４へそれぞれ進む。
Ｆade＝１で薄れと汚れがある場合は、ステップ２２３で上述したように２値化画像を膨張処理した後、収縮処理を行い、ステップ２２５へ進む。また、Ｆade＝２で薄れと汚れがひどい場合は、ステップ２２４で上述したように２値化画像を２回連続して膨張処理した後、２回連続して収縮処理を行いステップ２２５へ進む。
Ｆade＝０で薄れと汚れがない場合、あるいは薄れと汚れがあって膨張処理と収縮処理を行った後、ステップ１１０で参照用マークＲef_Ｍarkが停止線記号「−」か否かを判別し、停止線記号「−」の場合はステップ２３３へ進み、そうでない場合はステップ２２６へ進む。
参照用マークＲef_Ｍarkが停止線記号「−」でない場合は、ステップ２２６で、上述したようにＯＣＲ手法を用いて前処理で識別した道路標示マークを参照用マークと照合して道路標示マークを認識する。
ステップ２２７では、道路標示マークの認識結果に応じて認識結果状態を表す変数ＲcgＲesultを次のように設定する。
Ｒef_Ｍark＝「れ」を認識できた場合はＲcgＲesult＝１、
Ｒef_Ｍark＝「ま」を認識できた場合はＲcgＲesult＝２、
Ｒef_Ｍark＝「止」を認識できた場合はＲcgＲesult＝３、
Ｒef_Ｍarkを認識できなかった場合はＲcgＲesult＝０ ・・・（３０）
Ｒef_Ｍark＝「れ」を認識できた場合はＲcgＲesult＝１、
Ｒef_Ｍark＝「ま」を認識できた場合はＲcgＲesult＝２、
Ｒef_Ｍark＝「止」を認識できた場合はＲcgＲesult＝３、
Ｒef_Ｍarkを認識できなかった場合はＲcgＲesult＝０ ・・・（３０）
ステップ２２８で道路標示マークの認識回数カウンターＤetectsＳtepの値と認識結果状態を表す変数ＲcgＲesultの値とに応じて分岐する。すなわち、
もし、ＲcgＲesult＝０（認識できない）場合にはステップ２３２へ進み、
もし、ＤetectsＳtep＜ＲcgＲesultの場合にはステップ２２９へ進み、
もし、ＤetectsＳtep＞ＲcgＲesultの場合にはステップ２３１へ進む。
もし、ＲcgＲesult＝０（認識できない）場合にはステップ２３２へ進み、
もし、ＤetectsＳtep＜ＲcgＲesultの場合にはステップ２２９へ進み、
もし、ＤetectsＳtep＞ＲcgＲesultの場合にはステップ２３１へ進む。
ＤetectsＳtep＜ＲcgＲesultの場合は、ステップ２２９で、認識した道路標示マークの画面上の位置に基づいて、次に探索する領域の位置を次式により求める。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（３１）
ここで、Ｒef_Ｍark_Ｃenter_yは認識した道路標示マークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識した道路標示マークの画面上の水平方向（左右方向）位置である。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（３１）
ここで、Ｒef_Ｍark_Ｃenter_yは認識した道路標示マークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識した道路標示マークの画面上の水平方向（左右方向）位置である。
続くステップ２３０では、認識した道路標示マークの画面上の大きさに基づいて、次に探索する領域の大きさを次式により求める。
ＰrocessＷide＝（Ｒcg_Ｍark_ＳizeＨ＊obj_Ｙ／focusＨ）／２，
ＰrocessＤist＝（Ｒcg_Ｍark_ＳizeＶ＊obj_Ｙ／focusＶ）／２ ・・・（３２）
ここで、Ｒcg_Ｍark_ＳizeＨとＲcg_Ｍark_ＳizeＶは、認識した道路標示マークの水平方向サイズ（単位は画素数）と鉛直方向サイズ（単位は画素数）である。
ＰrocessＷide＝（Ｒcg_Ｍark_ＳizeＨ＊obj_Ｙ／focusＨ）／２，
ＰrocessＤist＝（Ｒcg_Ｍark_ＳizeＶ＊obj_Ｙ／focusＶ）／２ ・・・（３２）
ここで、Ｒcg_Ｍark_ＳizeＨとＲcg_Ｍark_ＳizeＶは、認識した道路標示マークの水平方向サイズ（単位は画素数）と鉛直方向サイズ（単位は画素数）である。
ステップ２３１では道路標示マークの認識回数カウンターＤetectsＳtepを次式により設定する。
ＤetectsＳtep＝ＤetectsＳtep＋ＲcgＲesult ・・・（３３）
続くステップ２３２では今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateを次式により設定する。
ＲcgＳtate＝ＲcgＳtate＋１ ・・・（３４）
ステップ２３５では車速や操舵角などの自車挙動データの過去値を更新して処理を終了する。
ＤetectsＳtep＝ＤetectsＳtep＋ＲcgＲesult ・・・（３３）
続くステップ２３２では今回のサンプリング周期の画像処理で認識する道路標示マークの種類を決める変数ＲcgＳtateを次式により設定する。
ＲcgＳtate＝ＲcgＳtate＋１ ・・・（３４）
ステップ２３５では車速や操舵角などの自車挙動データの過去値を更新して処理を終了する。
ステップ２２５において参照用マークが停止線記号「−」の場合は、ステップ２３３で直線検出手法を用いて画像処理領域内で所定の長さを有する横線を停止線として検出する。直線検出手法としては、この一実施の形態では道路上の白線検出などに用いるＨough変換による画像処理を行う。ステップ２３４では停止線を検出できたか否かを確認し、停止線を検出できた場合はステップ２３６へ進み、自車前方の一時停止マークを検出したので、シートベルト巻き取り装置（不図示）により運転席シートベルトに所定の張力を付与し、一時停止を行わせるべく運転者に報知する。ステップ２３５では車速や操舵角などの自車挙動データの過去値を更新して処理を終了する。
このように、第２の実施の形態によれば、停止線「−」以外の道路標示文字「止」、「ま」、「れ」に対してはＯＣＲによる画像処理を行い、停止線「−」に対してはＨough変換による画像処理を行うようにしたので、停止線の検出を頑強に行うことができる。
《発明の第３の実施の形態》
「◇」→「◇」→「−」の順序で道路標示マークを１記号ずつ部分的に認識して信号のない横断歩道を検出する第３の実施の形態を説明する。なお、この第３の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
「◇」→「◇」→「−」の順序で道路標示マークを１記号ずつ部分的に認識して信号のない横断歩道を検出する第３の実施の形態を説明する。なお、この第３の実施の形態の構成は図１に示す構成と同様であり、説明を省略する。
図５は、カメラ３による撮像画像を処理して道路上にペイントされている横断歩道の道路標示「◇」を検出する処理を示す。画像処理装置４および外界認識装置５は、５０ｍsecごとに図５に示す道路標示検出処理を繰り返す。ステップ３００において、今回のサンプリングでカメラ３により撮像した画像を読み込む。続くステップ３０１では車速検出装置６から車速を、操舵角検出装置７から操舵角を読み込む。ステップ３０２で、道路標示の文字や記号などのマークを認識した回数を表すカウンターＤetectsＳtepが０、すなわち、まだ道路標示のマークを一つも認識していない状態か否かを確認する。
道路標示の文字や記号などのマークをまだ一つも認識していない状態の場合はステップ３０３へ進み、道路標示を検出するための初期条件を以下のように設定する。
obj_Ｙ＝２０，
obj_Ｘ＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
Ｔhr１＝１２８，
Ｆade＝０ ・・・（３５）
ここで、obj_Ｙは道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘは道路上の画像処理領域の左右方向位置（単位メートル、自車両の正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。Ｔhr１は後述する画像処理で用いる濃淡のしきい値であって、１２８は一般的な８ｂｉｔの濃淡、つまり濃淡∈〔黒＝０、白＝２５５〕の場合の中央値（灰色）である。Ｆadeも同様に、後述する画像処理で用いる薄れと汚れに関するパラメーターである。
obj_Ｙ＝２０，
obj_Ｘ＝０，
ＰrocessＷide＝１．５，
ＰrocessＤist＝１０．０，
Ｔhr１＝１２８，
Ｆade＝０ ・・・（３５）
ここで、obj_Ｙは道路上の画像処理領域の前後方向位置（単位メートル）、obj_Ｘは道路上の画像処理領域の左右方向位置（単位メートル、自車両の正面が０）である。また、ＰrocessＷideは画像処理領域の横方向範囲の半分の値（単位メートル）、ＰrocessＤistは画像処理領域の前後方向範囲の半分の値（単位メートル）である。Ｔhr１は後述する画像処理で用いる濃淡のしきい値であって、１２８は一般的な８ｂｉｔの濃淡、つまり濃淡∈〔黒＝０、白＝２５５〕の場合の中央値（灰色）である。Ｆadeも同様に、後述する画像処理で用いる薄れと汚れに関するパラメーターである。
ステップ３０４においてカメラ３の撮像画像の画像処理領域を次のように設定する。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ＋ＰrocessＤist）・・・（３６）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ−ＰrocessＤist）・・・（３７）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ／obj_Ｙ−focusＨ＊ＰrocessＷide／obj_Ｙ ・・・（３８）
disp_obj_ＸＲ＝ｘ０＋focesＨ＊obj_Ｘ／obj_Ｙ＋focusＨ＊ＰrocessＷide／obj_Ｙ
・・・（３９）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix：画素数］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
disp_obj_ＹＡ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ＋ＰrocessＤist）・・・（３６）
disp_obj_ＹＢ＝ｙ０＋focusＶ＊ＣＡＭ_h／（obj_Ｙ−ＰrocessＤist）・・・（３７）
disp_obj_ＸＬ＝ｘ０＋focusＨ＊obj_Ｘ／obj_Ｙ−focusＨ＊ＰrocessＷide／obj_Ｙ ・・・（３８）
disp_obj_ＸＲ＝ｘ０＋focesＨ＊obj_Ｘ／obj_Ｙ＋focusＨ＊ＰrocessＷide／obj_Ｙ
・・・（３９）
ここで、disp_obj_ＹＡは画像処理領域の上側の座標、disp_obj_ＹＢは画像処理領域の下側の座標、disp_obj_ＸＬは画像処理領域の左側の座標、disp_obj_ＸＲは画像処理領域の右側の座標である。また、ｙ０、ｘ０は消失点の縦方向座標［pix：画素数］と横方向座標［pix：画素数］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーター）である。ＣＡＭ_hはカメラ３の取り付け高さ（単位はメートル）である。
ステップ３０５では上記画像処理領域において道路標示の文字や記号などのマークを識別するための前処理１を行う。この前処理１として、この一実施の形態では上述したように微分演算を行う。続くステップ３０６では上記ステップで求めた微分画像に対し道路標示の文字や記号などのマークを識別するための前処理２を行う。この前処理２として、この一実施の形態では上述したように２値化処理を行う。
ステップ３０７では道路標示の薄れと汚れの度合いを表すパラメーターＦadeの値が０（で薄れと汚れがない場合にはステップ３１０へ、Ｆade＝１で薄れと汚れがある場合にはステップ３０８へ、Ｆade＝２で薄れと汚れがひどい場合はステップ３０９へそれぞれ進む。Ｆade＝１で薄れと汚れがある場合は、ステップ３０８で上述したように２値化画像を膨張処理した後、収縮処理を行い、ステップ３１０へ進む。一方、Ｆade＝２で薄れと汚れがひどい場合は、ステップ３０９で上述したように２値化画像を２回連続して膨張処理した後、２回連続して収縮処理を行いステップ３１０へ進む。
ステップ３１０において、道路標示マークを認識した回数を表すカウンターＤetectsＳtepの値に応じて参照用マークを設定する。
ＤetectsＳtep＝０でまだ何も検出しない場合はＲef_Ｍark＝「◇」、
ＤetectsＳtep＝１で最初の「◇」を検出すみの場合はＲef_Ｍark＝「◇」、
ＤetectsＳtep＝２で２個の「◇」を検出すみの場合はＲef_Ｍark＝「−」（横断歩道としての横線を探す） ・・・（４０）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示を見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。
ＤetectsＳtep＝０でまだ何も検出しない場合はＲef_Ｍark＝「◇」、
ＤetectsＳtep＝１で最初の「◇」を検出すみの場合はＲef_Ｍark＝「◇」、
ＤetectsＳtep＝２で２個の「◇」を検出すみの場合はＲef_Ｍark＝「−」（横断歩道としての横線を探す） ・・・（４０）
ここで、Ｒef_Ｍarkとは、検出した道路標示マークと照合するために参照するマークであり、カメラ３から路面上の道路標示を見下ろすのと同じように、斜め上から見た遠近感のある参照用マークを予め設定しておくものとする。
ステップ３１１では、上述した前処理により識別した道路標示マークを参照用マークと照合して道路標示マークを認識する。この認識方法として、この一実施の形態では参照用マークと２値化画像とのＯＣＲ（Optical Character Recognition）手法を応用し、所定以上の類似性がある場合にその道路標示マークを認識できたものとする。続くステップ３１２で道路標示マークを認識した場合はステップ３１３へ進み、認識できなかった場合はステップ３２１へ進む。
道路標示マークを認識した場合は、ステップ３１３で道路標示マークの認識回数カウンターＤetectStepをインクリメントする。カウンターＤetectＳtepが３になった場合はステップ３２２へ進み、３未満の場合はステップ３１４へ進む。
横断歩道記号「◇」と停止線記号「−」をすべて認識できていない場合は、ステップ３１４で上述したように（（４０）式参照）２値化処理の濃淡しきい値候補Ｔhr１_cdを決める。
Ｔhr１_cd＝０．８＊（Ａｖ＋Ｖｒ） ・・・（４１）
ここで、Ａｖは画像処理領域の画像を微分演算した際の微分画像の平均輝度値であり、Ｖｒは微分画像の分散輝度値である。
Ｔhr１_cd＝０．８＊（Ａｖ＋Ｖｒ） ・・・（４１）
ここで、Ａｖは画像処理領域の画像を微分演算した際の微分画像の平均輝度値であり、Ｖｒは微分画像の分散輝度値である。
ステップ３１５では２値化処理の現在の濃淡しきい値Ｔhr１と上記ステップで求めた濃淡しきい値候補Ｔhr１_cdとを比較し、しきい値候補Ｔhr１_cdが現在のしきい値Ｔhr１より大きい場合はステップ３１６へ進み、そうでなければステップ３１７へ進む。
濃淡しきい値候補Ｔhr１_cdが現在のしきい値Ｔhr１より大きい場合は、ステップ３１６で現在のしきい値Ｔhr１を次式により更新する。
Ｔhr１＝Ｔhr１_cd ・・・（４２）
これにより、道路標示マークを検出するたびに、今回の道路標示マーク検出時の濃淡判別しきい値が前回の道路標示マーク検出時の濃淡判別しきい値よりも大きい場合にのみ、濃淡判別しきい値を変更することになる。
Ｔhr１＝Ｔhr１_cd ・・・（４２）
これにより、道路標示マークを検出するたびに、今回の道路標示マーク検出時の濃淡判別しきい値が前回の道路標示マーク検出時の濃淡判別しきい値よりも大きい場合にのみ、濃淡判別しきい値を変更することになる。
一方、濃淡しきい値候補Ｔhr１_cdが現在のしきい値Ｔhr１以下の場合は、ステップ３１７で上述したように（（８）式および図６参照）薄れと汚れに関するパラメーター候補Ｆade_cdを設定する。
Ｆade＝func１（ＤtctArea_White／ＲefArea_White） ・・・（４３）
Ｆade＝func１（ＤtctArea_White／ＲefArea_White） ・・・（４３）
ステップ３１８では薄れと汚れに関する現在のパラメーターＦadeと上記ステップで求めたパラメーター候補Ｆade_cdとを比較し、パラメーター候補Ｆade_cdが現在のパラメーターＦadeよりも大きい場合はステップ３１９へ進み、そうでなければステップ３２０へ進む。ステップ３１９では薄れと汚れに関する現在のパラメーターＦadeを次式により更新する。
Ｆade＝Ｆade_cd ・・・（４４）
これにより、道路表示マークを検出するたびに、今回の道路標示マーク検出時の道路標示マークの薄れ度合いが前回の道路標示マーク検出時の道路標示マークの薄れ度合いよりも高い（ひどい）場合にのみ、薄れ度合い、すなわちパラメーターＦadeを変更することになる。
Ｆade＝Ｆade_cd ・・・（４４）
これにより、道路表示マークを検出するたびに、今回の道路標示マーク検出時の道路標示マークの薄れ度合いが前回の道路標示マーク検出時の道路標示マークの薄れ度合いよりも高い（ひどい）場合にのみ、薄れ度合い、すなわちパラメーターＦadeを変更することになる。
ステップ３２０では、認識した道路標示マークの画面上の位置に基づいて、次に道路標示マークを探索する画面上の画像処理領域の位置を次式により求める。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（４５）
（４５）式において、Ｒef_Ｍark_Ｃenter_yは認識したマークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識したマークの画面上の水平方向（左右方向）位置である。続くステップ３２１では車速、操舵角などの自車挙動データの過去値を更新して処理を終了する。
obj_Ｙ＝focusＶ＊ＣＡＭ_h／（Ｒef_Ｍark_Ｃenter_y−ｙ０）＋２．０，
obj_Ｘ＝obj_Ｙ（Ｒef_Ｍark_Ｃenter_x−ｘ０）／focusＨ ・・・（４５）
（４５）式において、Ｒef_Ｍark_Ｃenter_yは認識したマークの画面上の垂直方向（上下方向）位置、Ｒef_Ｍark_Ｃenter_xは認識したマークの画面上の水平方向（左右方向）位置である。続くステップ３２１では車速、操舵角などの自車挙動データの過去値を更新して処理を終了する。
一方、ステップ３１３でカウンターＤetectＳtepが３になり、横断歩道記号「◇」と横断歩道の横線「−」をすべて認識できたと判定された場合は、ステップ３２２で、自車前方に横断歩道を検出したのでスピーカー（不図示）により「横断歩道です」と放送し、運転者に一時停止情報を提供してステップ３２１へ進む。ステップ３２１では車速、操舵角などの自車挙動データの過去値を更新して処理を終了する。
このように第３の実施の形態によれば、道路標示マークを１記号ずつ部分的に認識して信号のない横断歩道を検出する際に、従前の認識情報に基づいて次の認識処理に用いる濃淡しきい値Ｔhr１と薄れと汚れに関するパラメーターＦadeを認識精度を上げる方向に変更するようにしたので、道路標示の誤検出を大幅に低減することができる。
以上説明したように一実施の形態によれば、自車前方の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出するとともに、道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために画像処理を変更し、検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知するようにしたので、道路標示の１文字または１記号を検出するたびにより適切な画像処理に変更することができ、道路標示の誤検出と不検出の両方を低減することができる。
また、一実施の形態によれば、道路標示を検出するための画像処理には、撮像画像を微分演算して求めた微分画像に２値化処理を施して路面に描かれた白色の文字または記号を検出する処理が含まれており、道路標示の１文字または１記号を検出したときの微分画像の輝度情報に基づいて２値化処理の濃淡判別しきい値を変更するようにしたので、撮像画像の明るさ、つまり走行環境に応じた適切な画像処理を行うことができ、道路標示の誤検出を防止することができる。
一実施の形態によれば、道路標示の１文字または１記号を検出するたびに、今回の道路標示検出時の濃淡判別しきい値が前回の道路標示検出時の濃淡判別しきい値よりも大きい場合にのみ変更するようにした。
これにより、２値化処理の濃淡判別しきい値には、最初の文字または記号を検出するときは小さい値、つまり文字または記号を検出しやすい、換言すれば、文字または記号の不検出を防止できる濃淡しきい値が設定され、次の文字または記号を検出するたびに大きい値、つまり文字または記号の誤検出を防止できる濃淡しきい値が設定され、道路標示の不検出と誤検出を防止することができる。
これにより、２値化処理の濃淡判別しきい値には、最初の文字または記号を検出するときは小さい値、つまり文字または記号を検出しやすい、換言すれば、文字または記号の不検出を防止できる濃淡しきい値が設定され、次の文字または記号を検出するたびに大きい値、つまり文字または記号の誤検出を防止できる濃淡しきい値が設定され、道路標示の不検出と誤検出を防止することができる。
一実施の形態によれば、道路標示を検出するための画像処理には、道路標示の薄れ度合いに応じて撮像画像に膨張処理と収縮処理を施す処理が含まれており、道路標示の１文字または１記号を検出したときの画像中の白色部分の面積に基づいて道路標示の薄れ度合いを変更するようにしたので、道路標示の薄れ、汚れに応じた適切な画像処理を行うことができ、道路標示の誤検出を防止することができる。
一実施の形態によれば、道路標示の１文字または１記号を検出するたびに、今回の道路標示検出時の道路標示の薄れ度合いが前回の道路標示検出時の道路標示の薄れ度合いよりも高い場合にのみ薄れ度合いを変更することにした。
これにより、道路標示の薄れ度合いには、最初の文字または記号を検出するときは小さい値、つまり文字または記号を検出しやすい、換言すれば、文字または記号の不検出を防止できる薄れ度合いが設定され、次の文字または記号を検出するたびに高い値、つまり文字または記号の誤検出を防止できる薄れ度合いが設定され、道路標示の不検出と誤検出を防止することができる。
これにより、道路標示の薄れ度合いには、最初の文字または記号を検出するときは小さい値、つまり文字または記号を検出しやすい、換言すれば、文字または記号の不検出を防止できる薄れ度合いが設定され、次の文字または記号を検出するたびに高い値、つまり文字または記号の誤検出を防止できる薄れ度合いが設定され、道路標示の不検出と誤検出を防止することができる。
さらに、一実施の形態によれば、道路標示の文字の場合と記号の場合とで画像処理を変更するようにしたので、道路標示の不検出と誤検出を防止して検出性能を向上させることができる。
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ＣＣＤカメラ３が撮像手段を、画像処理装置４および外界認識装置５が道路標示検出手段、画像処理変更手段および交通規則報知手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。
なお、上述した一実施の形態では一時停止と横断歩道の道路標示を検出する例を示したが、本願発明により検出される道路標示は上述した一実施の形態の道路標示に限定されるものではない。
１ レーザーレーダー
２ レーダー処理装置
３ ＣＣＤカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースター
２ レーダー処理装置
３ ＣＣＤカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置
８ 自動ブレーキ制御装置
９ 負圧ブレーキブースター
Claims (7)
- 自車前方を撮像する撮像手段と、
前記撮像手段の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出する道路標示検出手段と、
前記道路標示検出手段で道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために前記道路表示検出手段の画像処理を変更する画像処理変更手段と、
前記道路標示検出手段で検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知する交通規則報知手段とを備えることを特徴とする車両用道路標示検出装置。 - 請求項１に記載の車両用道路標示検出装置において、
前記道路標示検出手段の画像処理には、撮像画像を微分演算して求めた微分画像に２値化処理を施して路面に描かれた白色の文字または記号を検出する処理が含まれており、
前記画像処理変更手段は、道路標示の１文字または１記号を検出したときの微分画像の輝度情報に基づいて２値化処理の濃淡判別しきい値を変更することを特徴とする車両用道路標示検出装置。 - 請求項２に記載の車両用道路標示検出装置において、
前記画像処理変更手段は、道路標示の１文字または１記号を検出するたびに、今回の道路標示検出時の濃淡判別しきい値が前回の道路標示検出時の濃淡判別しきい値よりも大きい場合にのみ変更することを特徴とする車両用道路標示検出装置。 - 請求項１に記載の車両用道路標示検出装置において、
前記道路検出手段の画像処理には、道路標示の薄れ度合いに応じて撮像画像に膨張処理と収縮処理を施す処理が含まれており、
前記画像処理変更手段は、道路標示の１文字または１記号を検出したときの画像中の白色部分の面積に基づいて道路標示の薄れ度合いを変更することを特徴とする車両用道路標示検出装置。 - 請求項４に記載の車両用道路標示検出装置において、
前記画像処理変更手段は、道路標示の１文字または１記号を検出するたびに、今回の道路標示検出時の道路標示の薄れ度合いが前回の道路標示検出時の道路標示の薄れ度合いよりも高い場合にのみ薄れ度合いを変更することを特徴とする車両用道路標示検出装置。 - 請求項１に記載の車両用道路標示検出装置において、
前記画像処理変更手段は、道路標示の文字の場合と記号の場合とで画像処理を変更することを特徴とする車両用道路標示検出装置。 - 自車前方の撮像画像を画像処理して道路上の進行方向に連続して描かれる道路標示を１文字または１記号ずつ検出するとともに、道路標示の１文字または１記号を検出したときに、道路標示の次の１文字または１記号を検出するために前記画像処理を変更し、検出した道路標示の複数の文字および記号に対応する交通規則を乗員に報知することを特徴とする道路標示の検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004365643A JP2006172262A (ja) | 2004-12-17 | 2004-12-17 | 車両用道路標示検出装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004365643A JP2006172262A (ja) | 2004-12-17 | 2004-12-17 | 車両用道路標示検出装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2006172262A true JP2006172262A (ja) | 2006-06-29 |
Family
ID=36672932
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004365643A Pending JP2006172262A (ja) | 2004-12-17 | 2004-12-17 | 車両用道路標示検出装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2006172262A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009009368A (ja) * | 2007-06-28 | 2009-01-15 | Aisin Aw Co Ltd | 路面標示認識システム |
| JP2009053155A (ja) * | 2007-08-29 | 2009-03-12 | Toyota Motor Corp | 地物情報提供装置及び方法等 |
| JP2009099125A (ja) * | 2007-09-27 | 2009-05-07 | Aisin Aw Co Ltd | 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置 |
| JP2009223817A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2013072793A (ja) * | 2011-09-28 | 2013-04-22 | Aisin Aw Co Ltd | 停止線検出システム、停止線検出装置、停止線検出方法及びコンピュータプログラム |
| JP2020126359A (ja) * | 2019-02-01 | 2020-08-20 | トヨタ自動車株式会社 | 情報処理装置、サーバ、及び交通管理システム |
| US11623653B2 (en) | 2020-01-23 | 2023-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality assisted traffic infrastructure visualization |
-
2004
- 2004-12-17 JP JP2004365643A patent/JP2006172262A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009009368A (ja) * | 2007-06-28 | 2009-01-15 | Aisin Aw Co Ltd | 路面標示認識システム |
| JP2009053155A (ja) * | 2007-08-29 | 2009-03-12 | Toyota Motor Corp | 地物情報提供装置及び方法等 |
| JP2009099125A (ja) * | 2007-09-27 | 2009-05-07 | Aisin Aw Co Ltd | 画像認識装置及び画像認識プログラム、並びにそれを用いた地点情報収集装置及びナビゲーション装置 |
| JP2009223817A (ja) * | 2008-03-18 | 2009-10-01 | Zenrin Co Ltd | 路面標示地図生成方法 |
| JP2013072793A (ja) * | 2011-09-28 | 2013-04-22 | Aisin Aw Co Ltd | 停止線検出システム、停止線検出装置、停止線検出方法及びコンピュータプログラム |
| JP2020126359A (ja) * | 2019-02-01 | 2020-08-20 | トヨタ自動車株式会社 | 情報処理装置、サーバ、及び交通管理システム |
| JP7206968B2 (ja) | 2019-02-01 | 2023-01-18 | トヨタ自動車株式会社 | サーバ及び交通管理システム |
| US11623653B2 (en) | 2020-01-23 | 2023-04-11 | Toyota Motor Engineering & Manufacturing North America, Inc. | Augmented reality assisted traffic infrastructure visualization |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4930046B2 (ja) | 路面判別方法および路面判別装置 | |
| JP4654163B2 (ja) | 車両の周囲環境認識装置及びシステム | |
| JP2013529348A (ja) | 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法 | |
| JP2002197444A (ja) | 車両の走行路認識装置 | |
| JP5120227B2 (ja) | 輪止検出装置及び後方画像表示装置 | |
| JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
| JP2007288657A (ja) | 車両用表示装置、車両用表示装置の表示方法 | |
| WO2011048938A1 (ja) | 遠赤外線歩行者検知装置 | |
| KR102338912B1 (ko) | 수퍼 레졸루션 기법을 이용한 차량 번호판 인식 방법 | |
| KR101818842B1 (ko) | 운전지원장치, 거리감지방법 및 차로의 너비감지방법 | |
| JP2006172262A (ja) | 車両用道路標示検出装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP2011103058A (ja) | 誤認識防止装置 | |
| JP4432730B2 (ja) | 車両用道路標示検出装置 | |
| JP2002150302A (ja) | 路面認識装置 | |
| JP5447162B2 (ja) | 移動体識別装置、コンピュータプログラム及び移動体識別方法 | |
| JP2006318059A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
| JP3844750B2 (ja) | 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置 | |
| JP5447164B2 (ja) | 移動体識別装置、コンピュータプログラム及び移動体識別方法 | |
| US11749002B2 (en) | Lane line recognition apparatus | |
| JP6533244B2 (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム | |
| Jo et al. | Pothole detection based on the features of intensity and motion | |
| JP4910458B2 (ja) | 車両用交通標示検出装置、自動車及び車両用交通標示検出方法 | |
| KR101982091B1 (ko) | 서라운드 뷰 모니터링 시스템 | |
| JP3134749B2 (ja) | 白線検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091215 |
|
| A02 | Decision of refusal |
Effective date: 20100511 Free format text: JAPANESE INTERMEDIATE CODE: A02 |