JP2002094978A - レーン検出装置 - Google Patents
レーン検出装置Info
- Publication number
- JP2002094978A JP2002094978A JP2000282092A JP2000282092A JP2002094978A JP 2002094978 A JP2002094978 A JP 2002094978A JP 2000282092 A JP2000282092 A JP 2000282092A JP 2000282092 A JP2000282092 A JP 2000282092A JP 2002094978 A JP2002094978 A JP 2002094978A
- Authority
- JP
- Japan
- Prior art keywords
- lane
- data
- labeling
- noise
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
による画像データのノイズの影響を受けにくく、精度良
い認識を可能とする。 【解決手段】 ステップS2で入力された画像中から特
徴量を検出し(S3)、線分化(S4)、ラベリング
(S5)を行った結果を記憶しておき(S6)、現在の
ラベリング結果と過去のラベリング結果を比較して一致
するデータをノイズとして除去する(S7〜S12)こ
とでカメラとともに移動する雨滴や汚れなどのデータを
除去して精度良くレーンマーク検出を行う(S13)。
Description
駐車支援システムに適応可能な画像処理を用いたレーン
検出装置に関する。
を画像処理によって検出し、認識結果を基にしてドライ
バーに対して各種の情報を提供したり、さらには、車両
を自動走行させる際の制御にこの認識結果を用いるシス
テムが提案されている。
1−195127号公報に開示されている技術が知られ
ている。同公報によれば、画像中のエッジを抽出し、抽
出したエッジをラベリングして、その中から角度が対に
なるエッジを検出することで白線を精度良く認識できる
と記載されている。
前部または後部に設置されたカメラにより取得される
が、カメラのレンズ前に雨滴や汚れがついていると、画
像データ自体が劣化してしまうため、精度良く認識する
ことが困難になる。
した雨滴や汚れなどによる画像データのノイズの影響を
受けにくく、精度良い認識が可能なレーン検出装置を提
供することを課題とする。
め、本発明に係るレーン検出装置は、カメラから取り込
んだ画像中のレーン情報を検出するレーン検出装置であ
って、(1)取り込んだ画像データから所定の特徴量を検
出する特徴量検出手段と、(2)検出した特徴量に基づい
て画像中の特徴部を抽出してラベリングするラベリング
手段と、(3)ラベリング結果を記憶する記憶手段と、(4)
現在のラベリング結果を過去のラベリング結果と比較
し、フレームの略同一位置でラベリング結果が一致する
データをノイズとしてデータから除去するノイズ除去手
段と、(5)ノイズを除去したラベリング結果からレーン
情報を検出する検出手段と、を備えていることを特徴と
する。
は、レンズに対する移動速度は車両外の風景に比して小
さく、画像のフレーム中ではほぼ静止状態にある。本発
明では、このことを利用して過去のラベリング結果と現
在のラベリング結果を比較し、フレームの略同一位置で
一致しているデータをこれらの汚れ等のノイズと判定し
て除去することでレーン情報を正確に判定するものであ
る。
てフレームの略同一位置に過去のラベリング結果と一致
するデータがある場合に、そのデータをノイズと判定す
るものであって、この所定期間を車速が高い場合には低
い場合に比べて短くすることが好ましい。
でほぼ静止状態にある。したがって、所定期間にわたっ
て、過去のラベリング結果と一致しているデータ、すな
わち、静止しているデータがある場合はノイズと判定し
得る。そして、車速が高い場合には、風景等の画像デー
タはフレーム内をより高速で移動することとなるから、
静止しているデータか否かの判定をより短時間で行うこ
とが可能となる。
期間内に所定周期で複数回のラベリング結果の比較を行
うか、所定期間経過前のフレームにおけるラベリング結
果との比較を行えばよい。
の好適な実施の形態について詳細に説明する。説明の理
解を容易にするため、各図面において同一の構成要素に
対しては可能な限り同一の参照番号を附し、重複する説
明は省略する。
逸脱警報装置に適用した場合の基本構成を示す概略構成
図であり、図2はそのCCDカメラ2の使用状態を説明
する図である。
されるようにCCDカメラ2からの画像信号を受信して
処理するレーン検出ECU1からなり、内部には画像処
理CPU10とメモリ11を有する。すなわち、この画
像処理CPU10が本発明に係る特徴量検出手段、ラベ
リング手段、ノイズ除去手段、レーン情報検出手段を内
蔵されたプログラムにより兼ねることになる。このレー
ン検出ECU1は、車線逸脱警報ECU3に接続され
て、相互に情報を送受し合う。車線逸脱警報ECU3に
は、車両状態量として車速センサ41、操舵角センサ4
2、ヨーレートセンサ43の各出力信号が入力される。
車線逸脱警報ECU3は車両状態量から車両の将来の軌
跡を予想し、レーン検出ECU1が検出したレーン位置
と比較することで車両がレーンを逸脱すると判定した場
合には図示していない警告灯、アラーム等を利用して運
転者に注意を促すものである。
配置され、フロントガラス50越しに車両前方の路面の
画像を取得するものである。車両5が走行する路面6上
の車線(レーン)60は、左右の区画線(レーンマー
ク)61Rと61Lにより区画されている。
〜図5を参照して説明する。図3は、この装置の動作を
説明するフローチャートであり、図4、図5はCCDカ
メラで取得した一連の生画像とそのラベリング結果を示
している。
スイッチがONされてから、所定の間隔、例えばカメラ
の画像取得に合わせてレーン検出ECU1内の画像処理
CPU10において繰り返し実行される。
CU3を介して車速センサ41、操舵角センサ42、ヨ
ーレートセンサ43から車両状態量が読み込まれる。続
いて、ステップS2では、CCDカメラ2から画像デー
タが取り込まれる。
例えば図4(a)〜(d)に示されるような画像データ
から特徴量として画像の輪郭、すなわちエッジを検出す
る。これらの画像中には、レーンマーク61R、61L
と他車線を先行する他車両62の他に、車両5の前部5
a、フロントガラス50上に付着した雨滴71、72が
映っている。これらの輪郭をそれぞれ検出することにな
る。
ジを連結して線分化する。そのあと、ステップS5にお
いて検出された線分に番号付け、すなわちラベリングを
行う。この画像データからのエッジ検出、線分化、ラベ
リングの手法については『画像工学ハンドブック』(樋
渡涓二編、朝倉書店、1986年)の249〜256頁
に記載されている。図4(a)〜(d)に示される画像
データからエッジを検出し、線分化してラベリングした
状態を図5に示す。図中はラベリングしたナンバーをL
をつけて表している。すなわち、元画像中の雨滴71、
72をそれぞれ1番、2番とし、レーンマーク61Lが
3番、車両前部5aが4番、レーンマーク61Rが5
番、他車両62が6番として番号付けされる。
した結果、つまり抽出した線分の形状、位置情報をメモ
リ11に記憶しておく。
のようなノイズを除去する工程である。例えば、図4
(c)、図5(c)の時点における処理を考える。ここ
では、1〜6番にラベリングされた線分L1〜L6が検
出されている。これを1つずつ、1番から順に過去のラ
ベリング結果、例えば、図5(a)、(b)の時点のラ
ベリング結果と比較していく。
て、1番のデータL1を選択し、ステップS8で過去の
データでも略同一位置に同様の形状の線分データが存在
するか否かを判定する。データL1は雨滴71のデータ
であり、車両5のフロントガラス50に付着して、CC
Dカメラ2と同様に車両5とともに移動していることか
ら、画面内部での移動速度はほとんどない。そのため、
過去のデータと一致すると判定され、ステップS9へと
移行して、このデータはノイズとして除去される。
期間にわたって略同一位置に同様の形状の線分データが
存在している場合を一致とみなす方法と所定時間前のデ
ータと比較して略同一位置に同様の形状の線分データが
存在している場合を一致とみなす方法の2種類がある。
いずれの場合もステップS1で得られた車速、操舵角等
のデータから車両の運動状態に応じて所定の期間の長
さ、所定時間の間隔を変更することが好ましい。この変
更は段階的であってもよく、特定の車速閾値以上か否か
で切り替えるようにしてもよい。
大きい場合には、画像中でのレーンマークの移動速度も
速くなることから、一致判定に用いる過去のデータはご
く直近のデータだけを用いても精度良く判定が可能であ
る。一方、低速・小舵角で移動している場合には、画像
中でのレーンマークの移動速度も遅くなることから、精
度良い判定のためには一致判定に用いる過去のデータは
ある程度現在よりさかのぼった時点のデータを利用する
ことが必要となる。
ータ(ここではL6)でない限り、ステップS12へと
移行し、ラベル番号を1つ追加して次のデータを選択し
てステップS8へと戻る。雨滴72を表すデータL2や
車両前部5aを表すデータL4の場合も一致があるた
め、ステップS9でノイズとして除去される。この他、
CCDカメラ2のレンズやフロントガラス50の傷や付
着した汚れ等も同様の手法で除去することが可能であ
る。なお、車両前部5aについてはその位置、形状が既
知であることからステップS2の入力時点でこの部分を
除外してエッジ検出等を行ってもよい。
ぞれ表すデータL3、L5や他車両62を表すデータL
6の場合は位置の移動や形状の移動があるため、ステッ
プS8では記憶データと一致がないと判定されてステッ
プS10へと移行する。そして、有効データとして次の
処理のために残される。
タL3、L5、L6のみについてステップS13でレー
ンマークの検出処理を行うことにより、ノイズの影響を
除去してレーンマーク61L、61Rを精度良く認識す
ることができる。
に占める領域が一定以上(例えば10%以上)に多い場
合にはカメラに付いた傷や汚れ等が多く、画像データの
信頼性が欠けると判定してレーンマークの検出処理を行
わずにその旨を運転者に警告することが好ましい。
方中央に搭載した形態について説明したが、カメラの設
置はこの位置に限られるものではなく、車室前方の別の
位置に配置したカメラのほか車室内の後方に配置してリ
アウィンドウ越しに後方を撮影するカメラに対しても適
用可能である。また車室外の車両前方や側方あるいは後
方に配置し、いずれかの位置のレーンマークを撮影する
カメラを用いても同様の手法でノイズのないレーンマー
ク検出を行うことが可能である。
しては特徴量としてエッジ抽出を行ったが、二値化等に
より特徴量を抽出してもよい。
線逸脱警報に用いる例を説明してきたが、車両の自動走
行や駐車支援等にも用いることが可能である。
滴や汚れ等のノイズはカメラとともに移動することを利
用し、画像内で特徴量を抽出してラベリングしたデータ
のうち移動の少ないデータをノイズとして除去すること
でこれらのノイズを精度良く除去してレーンマークを確
実に検出することが可能である。
警報装置を示す概略図である。
である。
フローチャートである。
す図である。
す図である。
脱警報ECU、6…路面、10…画像処理CPU、11
…メモリ、41…車速センサ、42…操舵角センサ、4
3…ヨーレートセンサ、50…フロントガラス、60…
車線(レーン)、61…区画線(レーンマーク)。
Claims (4)
- 【請求項1】 カメラから取り込んだ画像中のレーン情
報を画像処理により検出するレーン検出装置であって、 取り込んだ画像データから所定の特徴量を検出する特徴
量検出手段と、 検出した特徴量に基づいて画像中の特徴部を抽出してラ
ベリングするラベリング手段と、 ラベリング結果を記憶する記憶手段と、 現在のラベリング結果を過去のラベリング結果と比較
し、フレームの略同一位置でラベリング結果が一致する
データをノイズとしてデータから除去するノイズ除去手
段と、 残るラベリング結果からレーン情報を検出する検出手段
と、 を備えているレーン検出装置。 - 【請求項2】 前記ノイズ除去手段は、所定期間にわた
ってフレームの略同一位置に過去のラベリング結果と一
致するデータがある場合に、そのデータをノイズと判定
するものであって、前記所定期間を車速が高い場合には
低い場合に比べて短くする請求項1記載のレーン検出装
置。 - 【請求項3】 前記ノイズ除去手段は、前記所定期間内
に所定周期で複数回のラベリング結果の比較を行う請求
項2記載のレーン検出装置。 - 【請求項4】 前記ノイズ除去手段は、前記所定期間経
過前のフレームにおけるラベリング結果との比較を行う
請求項2記載のレーン検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000282092A JP3655541B2 (ja) | 2000-09-18 | 2000-09-18 | レーン検出装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000282092A JP3655541B2 (ja) | 2000-09-18 | 2000-09-18 | レーン検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002094978A true JP2002094978A (ja) | 2002-03-29 |
JP3655541B2 JP3655541B2 (ja) | 2005-06-02 |
Family
ID=18766656
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000282092A Expired - Fee Related JP3655541B2 (ja) | 2000-09-18 | 2000-09-18 | レーン検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3655541B2 (ja) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007141858A1 (ja) * | 2006-06-08 | 2007-12-13 | Fujitsu Limited | 汚れ検出方式 |
JP2012038048A (ja) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | 車両用障害物検出装置 |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
JP2014013455A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車線逸脱警報装置 |
JP2014013449A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車載装置 |
WO2014084113A1 (ja) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | 車載画像処理装置 |
WO2014084122A1 (ja) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | 車載用制御装置 |
JP2014104853A (ja) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載用制御装置 |
JP2015090591A (ja) * | 2013-11-06 | 2015-05-11 | 株式会社パスコ | 路面オルソ画像の生成装置および生成方法 |
JP2015114848A (ja) * | 2013-12-11 | 2015-06-22 | トヨタ自動車株式会社 | 画像判定装置 |
WO2016017340A1 (ja) * | 2014-07-31 | 2016-02-04 | クラリオン株式会社 | 周囲環境認識装置 |
WO2016051861A1 (ja) * | 2014-09-30 | 2016-04-07 | シャープ株式会社 | 障害物判定装置および障害物判定方法 |
JPWO2014007294A1 (ja) * | 2012-07-03 | 2016-06-02 | クラリオン株式会社 | 車載装置 |
US10552706B2 (en) | 2016-10-24 | 2020-02-04 | Fujitsu Ten Limited | Attachable matter detection apparatus and attachable matter detection method |
JP2022517371A (ja) * | 2019-01-16 | 2022-03-08 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 車両の軌道を学習する方法、および電子車両誘導システム |
US11308624B2 (en) * | 2019-09-20 | 2022-04-19 | Denso Ten Limited | Adhered substance detection apparatus |
-
2000
- 2000-09-18 JP JP2000282092A patent/JP3655541B2/ja not_active Expired - Fee Related
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007141858A1 (ja) * | 2006-06-08 | 2007-12-13 | Fujitsu Limited | 汚れ検出方式 |
JPWO2007141858A1 (ja) * | 2006-06-08 | 2009-10-15 | 富士通株式会社 | 汚れ検出方式 |
JP4644283B2 (ja) * | 2006-06-08 | 2011-03-02 | 富士通株式会社 | 汚れ検出方式 |
KR101078474B1 (ko) | 2006-06-08 | 2011-10-31 | 후지쯔 가부시끼가이샤 | 오염 검출 장치 |
US8098302B2 (en) | 2006-06-08 | 2012-01-17 | Fujitsu Limited | Stain detection system |
JP2012038048A (ja) * | 2010-08-06 | 2012-02-23 | Alpine Electronics Inc | 車両用障害物検出装置 |
US9473718B2 (en) | 2012-07-03 | 2016-10-18 | Clarion Co., Ltd. | Vehicle surroundings monitoring device |
JPWO2014007294A1 (ja) * | 2012-07-03 | 2016-06-02 | クラリオン株式会社 | 車載装置 |
JP2014013449A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車載装置 |
JP2014013455A (ja) * | 2012-07-03 | 2014-01-23 | Clarion Co Ltd | 車線逸脱警報装置 |
WO2014007153A1 (ja) * | 2012-07-03 | 2014-01-09 | クラリオン株式会社 | 車両周囲監視装置 |
JPWO2014007153A1 (ja) * | 2012-07-03 | 2016-06-02 | クラリオン株式会社 | 車両周囲監視装置 |
US9690996B2 (en) | 2012-11-27 | 2017-06-27 | Clarion Co., Ltd. | On-vehicle image processor |
JP2014107697A (ja) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載用制御装置 |
US9965690B2 (en) | 2012-11-27 | 2018-05-08 | Clarion Co., Ltd. | On-vehicle control device |
US9734581B2 (en) | 2012-11-27 | 2017-08-15 | Clarion Co., Ltd. | On-vehicle control device |
CN104823214A (zh) * | 2012-11-27 | 2015-08-05 | 歌乐牌株式会社 | 车载图像处理装置 |
WO2014084113A1 (ja) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | 車載画像処理装置 |
WO2014084122A1 (ja) * | 2012-11-27 | 2014-06-05 | クラリオン株式会社 | 車載用制御装置 |
JP2014104853A (ja) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載用制御装置 |
JP2014106703A (ja) * | 2012-11-27 | 2014-06-09 | Clarion Co Ltd | 車載画像処理装置 |
JP2015090591A (ja) * | 2013-11-06 | 2015-05-11 | 株式会社パスコ | 路面オルソ画像の生成装置および生成方法 |
JP2015114848A (ja) * | 2013-12-11 | 2015-06-22 | トヨタ自動車株式会社 | 画像判定装置 |
WO2016017340A1 (ja) * | 2014-07-31 | 2016-02-04 | クラリオン株式会社 | 周囲環境認識装置 |
WO2016051861A1 (ja) * | 2014-09-30 | 2016-04-07 | シャープ株式会社 | 障害物判定装置および障害物判定方法 |
US10552706B2 (en) | 2016-10-24 | 2020-02-04 | Fujitsu Ten Limited | Attachable matter detection apparatus and attachable matter detection method |
JP2022517371A (ja) * | 2019-01-16 | 2022-03-08 | ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー | 車両の軌道を学習する方法、および電子車両誘導システム |
US11308624B2 (en) * | 2019-09-20 | 2022-04-19 | Denso Ten Limited | Adhered substance detection apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP3655541B2 (ja) | 2005-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3655541B2 (ja) | レーン検出装置 | |
EP2754123B1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
US7860275B2 (en) | Method for detecting rain on a windscreen | |
US8854455B2 (en) | Method and device for processing recorded image information from a vehicle | |
JP6045889B2 (ja) | 車載用制御装置 | |
US20080291276A1 (en) | Method for Driver Assistance and Driver Assistance Device on the Basis of Lane Information | |
KR100630088B1 (ko) | 옵티컬 플로우를 이용한 차량 감시 장치 및 방법 | |
US10896336B2 (en) | Parking compartment recognition apparatus | |
EP2754087A1 (en) | Method and camera assembly for detecting raindrops on a windscreen of a vehicle | |
CN103917989B (zh) | 用于检测车辆风挡上的雨滴的方法和摄像头组件 | |
JP2001153969A (ja) | 雨滴検出装置 | |
CN115416601A (zh) | 车辆的控制方法、装置、车辆及存储介质 | |
JP2821041B2 (ja) | 画像処理方法 | |
CN111824003A (zh) | 一种车灯的控制方法及控制系统 | |
JP3626733B2 (ja) | 車線認識画像処理装置及びその処理を実行させるためのプログラム | |
JP5957182B2 (ja) | 路面上パターン認識方法および車両用情報記録装置 | |
JP7561780B2 (ja) | 自動車にとっての出口車線を検出するための方法 | |
JP2018079929A (ja) | 運転支援装置 | |
JP2885216B2 (ja) | 車線変更検出装置 | |
JP2006107000A (ja) | 画像異常判定方法及び画像異常判定装置 | |
CN114820691B (zh) | 本车运动状态检测方法、装置、设备及存储介质 | |
WO2023237072A1 (en) | Method for operating a parking assistance system used for a vehicle and a parking assistance system | |
JP6273789B2 (ja) | 運転支援装置 | |
KR20190012398A (ko) | 사이클리스트 탐지에 기반한 충돌 가능 범위 설정 방법 | |
JP2000123150A (ja) | 追跡用テンプレートの更新方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050303 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |