JP3156817B2 - 車両周辺監視装置 - Google Patents
車両周辺監視装置Info
- Publication number
- JP3156817B2 JP3156817B2 JP04243394A JP4243394A JP3156817B2 JP 3156817 B2 JP3156817 B2 JP 3156817B2 JP 04243394 A JP04243394 A JP 04243394A JP 4243394 A JP4243394 A JP 4243394A JP 3156817 B2 JP3156817 B2 JP 3156817B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- road surface
- difference
- image data
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Mechanical Engineering (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Measurement Of Optical Distance (AREA)
- Emergency Alarm Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【産業上の利用分野】本発明は車両に設置された２台の
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
カメラより撮像された信号に基づいて危険と判定された
とき警報を発する車両周辺監視装置に関する。
【０００２】
【従来の技術】この種の装置としては、例えば特開平４
−２６１００号公報および特開平４−３０１５１３号公
報で示されるように、２台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
−２６１００号公報および特開平４−３０１５１３号公
報で示されるように、２台のカメラで撮像した画像信号
より物体の位置を算出する方法が記載されている。
【０００３】これらの車両周辺監視装置においては、一
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Ｐa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Ｐb を相関法で検出して、Ｐa およびＰb の画像信
号座標より物体の位置Ｐを算出している。
方のカメラで撮像された画像信号の隣接する画素の輝度
差を調べて物体のエッジ点Ｐa を検出し、検出したエッ
ジ点に対応する他方のカメラで撮像された画像信号の対
応点Ｐb を相関法で検出して、Ｐa およびＰb の画像信
号座標より物体の位置Ｐを算出している。
【０００４】
【発明が解決しようとする課題】前述したように、従来
の車両周辺監視装置においては、一方のカメラで撮像さ
れた画像信号の隣接する画素の輝度差を調べて物体のエ
ッジ点を検出するようにしていた。
の車両周辺監視装置においては、一方のカメラで撮像さ
れた画像信号の隣接する画素の輝度差を調べて物体のエ
ッジ点を検出するようにしていた。
【０００５】カメラより撮像される画像信号の中には、
高さ０、すなわち路面上に画かれた白線や文字等の模様
も撮像されるため、これらの路面上に画かれている模様
も物体のエッジ点として検出される。しかし、これらの
路面上に画かれた模様は車両の運行には障害とならな
い。
高さ０、すなわち路面上に画かれた白線や文字等の模様
も撮像されるため、これらの路面上に画かれている模様
も物体のエッジ点として検出される。しかし、これらの
路面上に画かれた模様は車両の運行には障害とならな
い。
【０００６】このため、従来の車両周辺監視装置は、路
面上に画かれた模様に対しても物体と判定して物体位置
の算出を行なわせていたため、不必要な演算処理が多く
行なわれ、処理に長時間を要していた。本発明は路面上
に画かれた模様を完全に除去し、高さのある物体のみを
抽出して物体位置を算出して処理時間を短縮するよう改
良した車両周辺監視装置を提供することを目的とする。
面上に画かれた模様に対しても物体と判定して物体位置
の算出を行なわせていたため、不必要な演算処理が多く
行なわれ、処理に長時間を要していた。本発明は路面上
に画かれた模様を完全に除去し、高さのある物体のみを
抽出して物体位置を算出して処理時間を短縮するよう改
良した車両周辺監視装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】前述の課題を解決するた
めに本発明が採用した手段を図１を参照して説明する。
図１は本発明の基本構成図である。車両に所定距離だけ
離して設置された２台の撮像手段より得られた画像デー
タに基づいて車両の周辺を監視する車両周辺監視装置に
おいて、 前記２台の撮像手段より出力された画像信号
を記録するメモリ（右）（１）とメモリ（左）（２）
と、前記メモリ（１，２）の一方に記録されている全て
の画像を高さ０と仮定し、この画像を他方のカメラで撮
像したとして得られる投影画像データを作成し、作成さ
れた投影画像データと他方のメモリに記録されている画
像データとの差より路面上の画像を除去する路面画像除
去手段（３）と、前記他方のメモリ（１，２）に記録さ
れているデータの水平方向の微分値と前記路面画像除去
手段（３）より出力される画像データより物体のエッジ
を検出する物体エッジ検出手段（４）と、物体エッジ検
出手段（４）で検出された物体エッジについて前記両メ
モリ（１，２）に記録されているデータより物体の位置
を算出する物体位置算出手段（５）と、 前記物体位置
算出手段（５）より算出された位置に基づいて警報を出
力する警報手段（６）と、を備える。
めに本発明が採用した手段を図１を参照して説明する。
図１は本発明の基本構成図である。車両に所定距離だけ
離して設置された２台の撮像手段より得られた画像デー
タに基づいて車両の周辺を監視する車両周辺監視装置に
おいて、 前記２台の撮像手段より出力された画像信号
を記録するメモリ（右）（１）とメモリ（左）（２）
と、前記メモリ（１，２）の一方に記録されている全て
の画像を高さ０と仮定し、この画像を他方のカメラで撮
像したとして得られる投影画像データを作成し、作成さ
れた投影画像データと他方のメモリに記録されている画
像データとの差より路面上の画像を除去する路面画像除
去手段（３）と、前記他方のメモリ（１，２）に記録さ
れているデータの水平方向の微分値と前記路面画像除去
手段（３）より出力される画像データより物体のエッジ
を検出する物体エッジ検出手段（４）と、物体エッジ検
出手段（４）で検出された物体エッジについて前記両メ
モリ（１，２）に記録されているデータより物体の位置
を算出する物体位置算出手段（５）と、 前記物体位置
算出手段（５）より算出された位置に基づいて警報を出
力する警報手段（６）と、を備える。
【０００８】また、前記両メモリ（１，２）に記録され
ているデータを、前記撮像手段のレンズの歪曲収差に対
応して補正を行なう歪曲収差補正手段（７）を、備え
る。また、前記路面画像除去手段（３）の投影画像デー
タと他方のメモリに記録されている画像データとの差を
求める際に、両画像データに差が有る場合、一方の画素
データに対して隣接する複数の他方の画素データとの差
の中で最も差が小となる値をその画素の投影差分画素デ
ータとするようにする。
ているデータを、前記撮像手段のレンズの歪曲収差に対
応して補正を行なう歪曲収差補正手段（７）を、備え
る。また、前記路面画像除去手段（３）の投影画像デー
タと他方のメモリに記録されている画像データとの差を
求める際に、両画像データに差が有る場合、一方の画素
データに対して隣接する複数の他方の画素データとの差
の中で最も差が小となる値をその画素の投影差分画素デ
ータとするようにする。
【０００９】
【作用】メモリ１および２には、２台の撮像手段によっ
て撮像された画像信号が記録される。歪曲収差補正手段
７は、撮像手段のレンズの歪曲収差に対応してメモリ１
および２に記録されているデータを補正する。
て撮像された画像信号が記録される。歪曲収差補正手段
７は、撮像手段のレンズの歪曲収差に対応してメモリ１
および２に記録されているデータを補正する。
【００１０】路面画像除去手段３は、メモリ１または２
のいずれか一方に記録されている画像を全て高さ０と仮
定してこの画像を他方のカメラで撮像したとして得られ
る投影画像データを作成し、作成した投影画像データと
他方のメモリに記録されている画像データと差を求める
ことによって路面上の画像を除去する。
のいずれか一方に記録されている画像を全て高さ０と仮
定してこの画像を他方のカメラで撮像したとして得られ
る投影画像データを作成し、作成した投影画像データと
他方のメモリに記録されている画像データと差を求める
ことによって路面上の画像を除去する。
【００１１】物体エッジ検出手段４は、他方のメモリに
記録されているデータの水平方向の微分値と路面画像除
去手段３より出力される画像データより物体のエッジを
検出する。物体位置算出手段５は、物体エッジ検出手段
４で検出された物体エッジについて両メモリ１および２
に記録されているデータより物体の位置を算出する。
記録されているデータの水平方向の微分値と路面画像除
去手段３より出力される画像データより物体のエッジを
検出する。物体位置算出手段５は、物体エッジ検出手段
４で検出された物体エッジについて両メモリ１および２
に記録されているデータより物体の位置を算出する。
【００１２】警報手段６は、物体位置算出手段５で算出
された物体の位置が車両走行上危険と判定したとき警報
を発する。また、路面画像除去手段３の投影画像データ
と他方のメモリに記録されている画像データとの差が或
るしきい値以上の場合は、隣接する複数の画素データの
差の中の最少値を出力するようにする。
された物体の位置が車両走行上危険と判定したとき警報
を発する。また、路面画像除去手段３の投影画像データ
と他方のメモリに記録されている画像データとの差が或
るしきい値以上の場合は、隣接する複数の画素データの
差の中の最少値を出力するようにする。
【００１３】以上のように、一方のカメラで撮像された
画像を全て高さ０と仮定して、この画像を他方のカメラ
で撮像したとして得られる投影画像を作成し、投影画像
と他方のカメラで撮像された画像との差をとって差分画
像を作成し、また他方のカメラで撮像された画像信号の
水平方向の輝度差より微分画像を作成し、差分画像と微
分画像のアンドより物体のエッジを検出するようにした
ので、エッジとして検出された点には高さ０の部分は含
まれず、不必要な物体位置算出の処理が行なわれず、処
理時間を短縮することができる。
画像を全て高さ０と仮定して、この画像を他方のカメラ
で撮像したとして得られる投影画像を作成し、投影画像
と他方のカメラで撮像された画像との差をとって差分画
像を作成し、また他方のカメラで撮像された画像信号の
水平方向の輝度差より微分画像を作成し、差分画像と微
分画像のアンドより物体のエッジを検出するようにした
ので、エッジとして検出された点には高さ０の部分は含
まれず、不必要な物体位置算出の処理が行なわれず、処
理時間を短縮することができる。
【００１４】また、カメラのレンズの歪曲収差補正を撮
像された画像信号に対して行なうようにしたので、誤差
がなくなり、差分画像の中に高さ０の部分は含まれない
ようになると共に物体位置算出結果の誤差が無くなる。
また、投影画像より他方画像を引いて差分画像を作成す
る際に、対応画素の差が或るしきい値以上となった画素
に対しては、一方の画素データに対して隣接する複数の
他方の画素データとの差の中より最も差が小となる値を
差分画像データとするようにしたので、投影画像に誤差
が含まれたとしても完全に高さ０の部分を投影画像より
除去することができる。
像された画像信号に対して行なうようにしたので、誤差
がなくなり、差分画像の中に高さ０の部分は含まれない
ようになると共に物体位置算出結果の誤差が無くなる。
また、投影画像より他方画像を引いて差分画像を作成す
る際に、対応画素の差が或るしきい値以上となった画素
に対しては、一方の画素データに対して隣接する複数の
他方の画素データとの差の中より最も差が小となる値を
差分画像データとするようにしたので、投影画像に誤差
が含まれたとしても完全に高さ０の部分を投影画像より
除去することができる。
【００１５】
【実施例】本発明の一実施例を図２〜図４を参照して説
明する。図２は本発明の実施例の構成図、図３および図
４は同実施例の動作フローチャートである。図２におい
て、１１および１２は車両の周辺を撮像するカメラ、１
３および１４はカメラ１１および１２で撮像された画像
信号を一時記録するフレームメモリ、１５はフレームメ
モリ１３および１４に記録されている画像データに対し
て、それぞれカメラ１１および１２のレンズの歪曲収差
を補正して、それぞれメモリ（右）１８およびメモリ
（左）１９に記録する歪曲収差補正部、１６はメモリ１
８または１９に記憶されている画像信号の中の路面画像
を除去する路面画像除去部、１７は物体のエッジを検出
する物体エッジ検出部である。
明する。図２は本発明の実施例の構成図、図３および図
４は同実施例の動作フローチャートである。図２におい
て、１１および１２は車両の周辺を撮像するカメラ、１
３および１４はカメラ１１および１２で撮像された画像
信号を一時記録するフレームメモリ、１５はフレームメ
モリ１３および１４に記録されている画像データに対し
て、それぞれカメラ１１および１２のレンズの歪曲収差
を補正して、それぞれメモリ（右）１８およびメモリ
（左）１９に記録する歪曲収差補正部、１６はメモリ１
８または１９に記憶されている画像信号の中の路面画像
を除去する路面画像除去部、１７は物体のエッジを検出
する物体エッジ検出部である。
【００１６】また、２０は物体の位置を算出する物体位
置算出部、２１は走行軌跡推定部、２２は表示警報部、
２３はその他の処理を行なう処理部、２４は車両の舵角
信号を読込むインタフェース（Ｉ／Ｏ）、２５は処理を
実行するプロセッサ（ＣＰＵ）である。
置算出部、２１は走行軌跡推定部、２２は表示警報部、
２３はその他の処理を行なう処理部、２４は車両の舵角
信号を読込むインタフェース（Ｉ／Ｏ）、２５は処理を
実行するプロセッサ（ＣＰＵ）である。
【００１７】なお図１で説明した路面画像除去手段３、
物体エッジ検出手段４、物体位置算出手段５、警報手段
６および歪曲収差補正手段７は、それぞれ、路面画像除
去部１６、物体エッジ検出部１７、物体位置算出部２
０、表示警報部２２および歪曲収差補正部１５に対応す
る。
物体エッジ検出手段４、物体位置算出手段５、警報手段
６および歪曲収差補正手段７は、それぞれ、路面画像除
去部１６、物体エッジ検出部１７、物体位置算出部２
０、表示警報部２２および歪曲収差補正部１５に対応す
る。
【００１８】まず歪曲収差補正部１５について説明す
る。カメラ１１および１２で撮像された画像信号は、カ
メラ１１および１２のレンズに歪曲収差が有る場合は、
以後説明する路面画像除去部１６、物体エッジ検出部１
７、物体位置算出部２０の処理結果に誤差を発生する。
る。カメラ１１および１２で撮像された画像信号は、カ
メラ１１および１２のレンズに歪曲収差が有る場合は、
以後説明する路面画像除去部１６、物体エッジ検出部１
７、物体位置算出部２０の処理結果に誤差を発生する。
【００１９】すなわち、カメラのレンズに収差が無い場
合、格子状の模様を撮像した場合は図５（Ａ）に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図５（Ｂ）ま
たは（Ｃ）に示すように歪んだ格子状画像が記録され
る。
合、格子状の模様を撮像した場合は図５（Ａ）に示すよ
うに格子状の画像データがフレームメモリに記録され
る。しかし、レンズに収差が有る場合は、図５（Ｂ）ま
たは（Ｃ）に示すように歪んだ格子状画像が記録され
る。
【００２０】収差量は光軸の中心より点Ｐの距離の３乗
に比例して大きくなる。すなわち、図５（Ｄ）に示すよ
うに、収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が収差によっ
て点Ｐ′（ｘ，ｙ）に結像したものとすると、収差量Ｄ
は Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（１） となり、このＤはレンズの中心点より点Ｐまでの距離の
３乗に比例する。すなわち、 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ［（ｘ 0 2 ＋ｙ 0 2 ） 0.5 ］3 ・・・（２） ただしｋは比例定数 となる。
に比例して大きくなる。すなわち、図５（Ｄ）に示すよ
うに、収差が無い時の点Ｐ（ｘ0 ，ｙ0 ）が収差によっ
て点Ｐ′（ｘ，ｙ）に結像したものとすると、収差量Ｄ
は Ｄ＝［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ・・・（１） となり、このＤはレンズの中心点より点Ｐまでの距離の
３乗に比例する。すなわち、 ［（ｘ0 −ｘ）2 ＋（ｙ0 −ｙ）2 ］0.5 ＝ｋ［（ｘ 0 2 ＋ｙ 0 2 ） 0.5 ］3 ・・・（２） ただしｋは比例定数 となる。
【００２１】したがって、レンズに収差が存在する場合
は、例えば ｘ0 ≒ｘ（１−ｋ（ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ（ｘ2 ＋ｙ2 ）） ・・・（３） なる演算を行って歪曲収差を補正する。
は、例えば ｘ0 ≒ｘ（１−ｋ（ｘ2 ＋ｙ2 ）） ｙ0 ≒ｙ（１−ｋ（ｘ2 ＋ｙ2 ）） ・・・（３） なる演算を行って歪曲収差を補正する。
【００２２】歪曲収差補正部１５は、フレームメモリ１
３および１４に記録されている画素データについて式
（３）の演算を行ってレンズ収差の補正を行なって、そ
れぞれ、メモリ１８および１９に記録する。また式
（３）の演算を行ってフレームメモリの画素の補正を行
なった場合、補正後のメモリ１８および１９にデータぬ
けが生ずる。このようなデータぬけの画素に対しては隣
接する画素のデータを基にして補間を行なう。
３および１４に記録されている画素データについて式
（３）の演算を行ってレンズ収差の補正を行なって、そ
れぞれ、メモリ１８および１９に記録する。また式
（３）の演算を行ってフレームメモリの画素の補正を行
なった場合、補正後のメモリ１８および１９にデータぬ
けが生ずる。このようなデータぬけの画素に対しては隣
接する画素のデータを基にして補間を行なう。
【００２３】カメラ１１および１２は、例えば、図６に
示すように、車両後部に路面よりＨなる高さに設置され
て、車両後方を撮像する。そこで、以後の説明を容易に
するため、図７に示すように、カメラ設置点での座標を
Ｘ′，Ｙ′およびＺ′で表わし、路面での座標をＸ，Ｙ
およびＹで表わすものとする。したがって、カメラの設
置俯角θS ＝９０のときは、 Ｘ＝Ｘ′，Ｙ＝Ｙ′＋Ｈ，Ｚ＝Ｚ′ ・・・（４） となる。
示すように、車両後部に路面よりＨなる高さに設置され
て、車両後方を撮像する。そこで、以後の説明を容易に
するため、図７に示すように、カメラ設置点での座標を
Ｘ′，Ｙ′およびＺ′で表わし、路面での座標をＸ，Ｙ
およびＹで表わすものとする。したがって、カメラの設
置俯角θS ＝９０のときは、 Ｘ＝Ｘ′，Ｙ＝Ｙ′＋Ｈ，Ｚ＝Ｚ′ ・・・（４） となる。
【００２４】カメラ１１および１２のレンズの光軸は、
図８に示すように、両光軸ともＺ′軸と一致させ、距離
Ｌだけ離れて設置される。まず、物体位置算出部２０で
の物体位置の算出方法について説明する。図８におい
て、Ｘ′軸は両カメラのレンズの中心点を結ぶ方向にと
り、Ｘ′軸は路面と平行になるようにカメラ１１および
１２を設置する。
図８に示すように、両光軸ともＺ′軸と一致させ、距離
Ｌだけ離れて設置される。まず、物体位置算出部２０で
の物体位置の算出方法について説明する。図８におい
て、Ｘ′軸は両カメラのレンズの中心点を結ぶ方向にと
り、Ｘ′軸は路面と平行になるようにカメラ１１および
１２を設置する。
【００２５】Ｙ′軸は、Ｚ′軸とＸ′軸とに垂直となる
軸で、路面に垂直な軸である。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸のＯ点はカメラ（左）１
２のレンズの中心にとる。このように設置されたカメラ
１１および１２によって撮像され、メモリ１８および１
９に記録されている点Ｐ（ＸP ′，ＹP ′，ＺP ′）の
記録を、それぞれＰL （ｘLP，ｙLP）およびＰ
R （ｘRP，ｙRP）とすると、点Ｐまでの距離ＺP ′は ＺP ′＝Ｌｆ／（ｘLP−ｘRP） ・・・（５） ただし、Ｌは両レンズの間隔 ｆはレンズの焦点距離 で表わされる。
軸で、路面に垂直な軸である。以後の説明を容易にする
ため、Ｘ′，Ｙ′およびＺ′軸のＯ点はカメラ（左）１
２のレンズの中心にとる。このように設置されたカメラ
１１および１２によって撮像され、メモリ１８および１
９に記録されている点Ｐ（ＸP ′，ＹP ′，ＺP ′）の
記録を、それぞれＰL （ｘLP，ｙLP）およびＰ
R （ｘRP，ｙRP）とすると、点Ｐまでの距離ＺP ′は ＺP ′＝Ｌｆ／（ｘLP−ｘRP） ・・・（５） ただし、Ｌは両レンズの間隔 ｆはレンズの焦点距離 で表わされる。
【００２６】したがって、物体位置算出部２０は、メモ
リ１９よりｘLPを、またメモリ１８よりｘRPを読取って
ＺP ′を算出する。また、点Ｐ（ＸP ′，ＹP ′，
ＺP ′）のＹP ′は、図８より、 ＹP ′＝Ａtan ΦL ＝ＺP ′tan ΦL ／sin θL ＝ＺP ′ｙLP／ｆ ・・・（６） ＝ＬｙLP／（ｘLP−ｘRP） ・・・（７） で表わされる。
リ１９よりｘLPを、またメモリ１８よりｘRPを読取って
ＺP ′を算出する。また、点Ｐ（ＸP ′，ＹP ′，
ＺP ′）のＹP ′は、図８より、 ＹP ′＝Ａtan ΦL ＝ＺP ′tan ΦL ／sin θL ＝ＺP ′ｙLP／ｆ ・・・（６） ＝ＬｙLP／（ｘLP−ｘRP） ・・・（７） で表わされる。
【００２７】また、点Ｐ（ＸP ′，ＹP ′，ＺP ′）の
ＸP ′は、図８より、 ＸP ′＝Ａcos θL ＝ＺP ′cos θL ／ sinθL ＝ＺP ′ｘLP／ｆ ・・・（８） ＝ＬｘLP／（ｘLP−ｘRP） ・・・（９） で表わされる。
ＸP ′は、図８より、 ＸP ′＝Ａcos θL ＝ＺP ′cos θL ／ sinθL ＝ＺP ′ｘLP／ｆ ・・・（８） ＝ＬｘLP／（ｘLP−ｘRP） ・・・（９） で表わされる。
【００２８】なお、物体のＸ軸方向の位置をカメラ１１
および１２の中央よりの距離としたい場合は、Ｘ軸距離
ＸP ′は ＸP ′＝ＸP ′−Ｌ／２ ・・・（10） なる演算を行なえば良い。
および１２の中央よりの距離としたい場合は、Ｘ軸距離
ＸP ′は ＸP ′＝ＸP ′−Ｌ／２ ・・・（10） なる演算を行なえば良い。
【００２９】カメラが図６で示すように、垂直方向より
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図７に示すようにな
る。Ｘ′，Ｙ′およびＺ′座標で表わした点Ｐの位置Ｘ
P ′，ＹP ′およびＺP ′は路面座標Ｘ，ＹおよびＺで
表わすと図７で示すようになる。
θS 下方向に向けられている場合は補正が必要となる。
カメラの俯角がθS である場合、図７に示すようにな
る。Ｘ′，Ｙ′およびＺ′座標で表わした点Ｐの位置Ｘ
P ′，ＹP ′およびＺP ′は路面座標Ｘ，ＹおよびＺで
表わすと図７で示すようになる。
【００３０】したがって、式（５），（７）および
（９）で算出したＺP ′，ＹP ′およびＸP ′を用いて
Ｘ，ＹおよびＺ座標で表わした点Ｐの値をＸP ，ＹP お
よびＺPとすると、 ＸP ＝ＸP ′ ・・・（11) ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（12） ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（13） となる。
（９）で算出したＺP ′，ＹP ′およびＸP ′を用いて
Ｘ，ＹおよびＺ座標で表わした点Ｐの値をＸP ，ＹP お
よびＺPとすると、 ＸP ＝ＸP ′ ・・・（11) ＹP ＝Ｈ−ＺP ′cos θS ＋ＹP ′sin θS ・・・（12） ＺP ＝ＺP ′sin θS ＋ＹP ′cos θS ・・・（13） となる。
【００３１】物体位置算出部２０は式（１１）〜（１
３）の演算を行って物体位置を算出する。つぎに路面画
像除去部１６について説明する。路面に白線や文字等が
描かれている場合、この白線や文字は物体と判定されて
距離が算出される。しかし、路面の白線や文字は車両の
走行には何んら障害となるものでは無く、このような高
さ０の物体は予め除去すれば物体の位置算出処理が簡単
となる。
３）の演算を行って物体位置を算出する。つぎに路面画
像除去部１６について説明する。路面に白線や文字等が
描かれている場合、この白線や文字は物体と判定されて
距離が算出される。しかし、路面の白線や文字は車両の
走行には何んら障害となるものでは無く、このような高
さ０の物体は予め除去すれば物体の位置算出処理が簡単
となる。
【００３２】路面画像を除去する原理を図９を参照して
説明する。図９（Ａ）はカメラ１１で撮像され、メモリ
１８に記録されている右画像を示す。図９（Ａ）におい
て、３０ａおよびｂは路面上に画かれた白線、また３１
は物体（ポール）を示している。
説明する。図９（Ａ）はカメラ１１で撮像され、メモリ
１８に記録されている右画像を示す。図９（Ａ）におい
て、３０ａおよびｂは路面上に画かれた白線、また３１
は物体（ポール）を示している。
【００３３】そこで、メモリ１８に記録されている右画
像は全て高さ０、すなわち路面上に画かれている画像だ
と仮定する。この右画像を左カメラ１２が撮像したとし
て右画像を左画像に投影した画像を演算によって算出す
る（図９（Ｂ））。このようにして算出した投影画像を
左画像（メモリ１９）に重畳すると図９（Ｃ）のように
なる。
像は全て高さ０、すなわち路面上に画かれている画像だ
と仮定する。この右画像を左カメラ１２が撮像したとし
て右画像を左画像に投影した画像を演算によって算出す
る（図９（Ｂ））。このようにして算出した投影画像を
左画像（メモリ１９）に重畳すると図９（Ｃ）のように
なる。
【００３４】すなわち、右側カメラ１１で撮像された画
像を投影した場合、路面上に画かれている白線等の模様
は左側カメラ１２で撮像された模様と位置、輝度共に一
致し、物体が路面より高くなるに従って差が大きくな
る。したがって、図９（Ｄ）に示すように、左画像デー
タと投影画像データの差を求めることによって高さのあ
る物体を構成する画素以外の路面を構成する画素の輝度
値は０または０に近い値となり、所定しきい値以下を０
とすれば、全て０となる。これにより高さのある部分の
みが０以外の値として取り出されて路面画像を除去する
ことができる。
像を投影した場合、路面上に画かれている白線等の模様
は左側カメラ１２で撮像された模様と位置、輝度共に一
致し、物体が路面より高くなるに従って差が大きくな
る。したがって、図９（Ｄ）に示すように、左画像デー
タと投影画像データの差を求めることによって高さのあ
る物体を構成する画素以外の路面を構成する画素の輝度
値は０または０に近い値となり、所定しきい値以下を０
とすれば、全て０となる。これにより高さのある部分の
みが０以外の値として取り出されて路面画像を除去する
ことができる。
【００３５】そこで、次に右画像を全て高さ０とした投
影画像の算出方法について説明する。右画像の点Ｐ
R （ｘRP，ｙRP）に対応する投影画像の点をＰL ′（ｘ
LP′，ｙ LP′）とする。
影画像の算出方法について説明する。右画像の点Ｐ
R （ｘRP，ｙRP）に対応する投影画像の点をＰL ′（ｘ
LP′，ｙ LP′）とする。
【００３６】図７に示すように、カメラ座標のＸ′軸と
路面座標のＸ軸は平行であり、また、カメラによって撮
像する走査線のｘ軸（図８のｘL 軸およびｘR 軸）も共
に平行であるとすると、同一物体を撮像した場合の撮像
画像のｙL とｙR 値は一致する。
路面座標のＸ軸は平行であり、また、カメラによって撮
像する走査線のｘ軸（図８のｘL 軸およびｘR 軸）も共
に平行であるとすると、同一物体を撮像した場合の撮像
画像のｙL とｙR 値は一致する。
【００３７】したがって、 ｙLP′＝ｙRP ・・・（14） となる。また、ｘLP′は、画像の全てが路面上であると
すれば、式（１２）で示すＹPの値は０となり、 ０＝ＨP −ＺP ′cos θS ＋ＹP ′sin θS ・・・（15） となる。
すれば、式（１２）で示すＹPの値は０となり、 ０＝ＨP −ＺP ′cos θS ＋ＹP ′sin θS ・・・（15） となる。
【００３８】そこで、式（１５）のＺP ′およびＹP ′
に式（５）のＺP ′および式（７）のＹP ′を代入して
ｘLP′を求めると、 ｘLP′＝（Ｌｆcos θS −ＬｙRPsin θS ）／Ｈ＋ｘRP ・・・（16） となる。
に式（５）のＺP ′および式（７）のＹP ′を代入して
ｘLP′を求めると、 ｘLP′＝（Ｌｆcos θS −ＬｙRPsin θS ）／Ｈ＋ｘRP ・・・（16） となる。
【００３９】路面画像除去部１６は式（１４）および
（１６）の演算を行なって投影画像（図９（Ｂ））を算
出する。投影画像が作成されると左画像、すなわちメモ
リ１９に記録されているデータとの差を求めて路面画像
を除去する（図９（Ｄ））。
（１６）の演算を行なって投影画像（図９（Ｂ））を算
出する。投影画像が作成されると左画像、すなわちメモ
リ１９に記録されているデータとの差を求めて路面画像
を除去する（図９（Ｄ））。
【００４０】ここで、作成された投影画像には誤差が含
まれ、左画像との差を求めた結果は、図９（Ｄ）に示す
ような、完全に路面画像を除去することができない場合
もある。すなわち、図１１（Ａ）は作成された投影画
像、（Ｂ）はメモリ１９に記録されている左画像の路面
に画かれている白線部分の画素を示しており、（Ｃ）は
左画像−投影画像を示している。
まれ、左画像との差を求めた結果は、図９（Ｄ）に示す
ような、完全に路面画像を除去することができない場合
もある。すなわち、図１１（Ａ）は作成された投影画
像、（Ｂ）はメモリ１９に記録されている左画像の路面
に画かれている白線部分の画素を示しており、（Ｃ）は
左画像−投影画像を示している。
【００４１】なお図１１（Ｃ）の黒は両画像の輝度差が
無いことを、また白は差が有ることを示している。投影
画像に誤差が含まれると完全に左画像と一致せずに、路
面上に画かれている模様に対しても、図１１（Ｃ）の白
で示したように除去されない部分が生ずる。
無いことを、また白は差が有ることを示している。投影
画像に誤差が含まれると完全に左画像と一致せずに、路
面上に画かれている模様に対しても、図１１（Ｃ）の白
で示したように除去されない部分が生ずる。
【００４２】このため、左画像と投影画像との差を求め
る際には次のような処理を行なう。図１１（Ｄ）および
（Ｅ）に示すように、投影画像の各画素の輝度Ｉ1 〜Ｉ
7と対応する左画像の各画素の輝度Ｉ1 ′〜Ｉ7 ′との
差を順次求め、差が或る値Ｉ0 以上となった画素（図１
１（Ｆ）のＩ5 に対応）は、隣接する画素との差を求
め、その差の最小値をその画素の差分値とする。
る際には次のような処理を行なう。図１１（Ｄ）および
（Ｅ）に示すように、投影画像の各画素の輝度Ｉ1 〜Ｉ
7と対応する左画像の各画素の輝度Ｉ1 ′〜Ｉ7 ′との
差を順次求め、差が或る値Ｉ0 以上となった画素（図１
１（Ｆ）のＩ5 に対応）は、隣接する画素との差を求
め、その差の最小値をその画素の差分値とする。
【００４３】すなわち、左画像と投影画像との差より得
られ画像を差分画像と呼ぶと、差分画像の画素（ｍ，
ｎ）の値をＤm,n とすると、 ｜Ｉm,n −Ｉm,n ′｜＜Ｉ0 ならば Ｄm,n ＝０ ｜Ｉm,n −Ｉm,n ′｜≧Ｉ0 ならば ｜Ｉm,n −Ｉm,n-1 ′｜≧Ｉ0 で、かつ ｜Ｉm,n −Ｉm,n+1 ′｜≧Ｉ0 ならば Ｄm,n ＝１ それ以外ならばＤm,n ＝０ ・・・（17） として差分画像を求める。
られ画像を差分画像と呼ぶと、差分画像の画素（ｍ，
ｎ）の値をＤm,n とすると、 ｜Ｉm,n −Ｉm,n ′｜＜Ｉ0 ならば Ｄm,n ＝０ ｜Ｉm,n −Ｉm,n ′｜≧Ｉ0 ならば ｜Ｉm,n −Ｉm,n-1 ′｜≧Ｉ0 で、かつ ｜Ｉm,n −Ｉm,n+1 ′｜≧Ｉ0 ならば Ｄm,n ＝１ それ以外ならばＤm,n ＝０ ・・・（17） として差分画像を求める。
【００４４】なお式（１７）で示した例では、Ｉm,n に
対して隣接するＩm,n-1 ′およびＩ m,n+1 ′との差より
Ｄm,n を求めるようにしたが、連続して隣接するＩ
m,n-k ′〜Ｉm,n+k ′の差より求めるようにしても良
い。このようにして差分画像のデータ値Ｄm,n を求める
ようにしたので、図１１（Ｆ）で示すように、｜Ｉ5 −
Ｉ5 ′｜＝１となっても｜Ｉ5 −Ｉ4 ′｜＝０となり、
路面上に画かれている模様は完全に除去することができ
る。
対して隣接するＩm,n-1 ′およびＩ m,n+1 ′との差より
Ｄm,n を求めるようにしたが、連続して隣接するＩ
m,n-k ′〜Ｉm,n+k ′の差より求めるようにしても良
い。このようにして差分画像のデータ値Ｄm,n を求める
ようにしたので、図１１（Ｆ）で示すように、｜Ｉ5 −
Ｉ5 ′｜＝１となっても｜Ｉ5 −Ｉ4 ′｜＝０となり、
路面上に画かれている模様は完全に除去することができ
る。
【００４５】つぎに物体エッジ検出部１７について説明
する。図１０（Ａ）は、図９（Ａ）で説明したと同様な
路面上に画かれた白線３０ａおよびｂと路面上の物体
（ポール）３１を左側カメラ１２が撮像し、メモリ１９
に記録されている画像データを示す。
する。図１０（Ａ）は、図９（Ａ）で説明したと同様な
路面上に画かれた白線３０ａおよびｂと路面上の物体
（ポール）３１を左側カメラ１２が撮像し、メモリ１９
に記録されている画像データを示す。
【００４６】メモリ１９に記録されているｍ行ｎ列の画
像データの輝度値Ｉm,n を水平方向に走査し、 ｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（18） ただし、Ｅ0 はしきい値 なる処理を行なって微分画像を求めると、図１０（Ｂ）
に示すように、物体や路面に画かれている文字等の縦方
向エッジ部分が“１”に、その他の部分は“０”とな
る。
像データの輝度値Ｉm,n を水平方向に走査し、 ｜Ｉm,n+1 −Ｉm,n ｜≧Ｅ0 ならば Ｅm,n ＝１ ｜Ｉm,n+1 −Ｉm,n ｜＜Ｅ0 ならば Ｅm,n ＝０ ・・・（18） ただし、Ｅ0 はしきい値 なる処理を行なって微分画像を求めると、図１０（Ｂ）
に示すように、物体や路面に画かれている文字等の縦方
向エッジ部分が“１”に、その他の部分は“０”とな
る。
【００４７】このようにして求めた微分画像（図１０
（Ｂ））と、前述した路面画像除去部１６で求めた差分
画像（図９（Ｄ））と重ね合せてアンドを取ると、図１
０（Ｃ）で示す物体のエッジ部分のみが抽出される。し
たがって、この抽出された物体のエッジ部分について物
体の３次元位置を算出させるようにすることによって、
演算処理を大幅に低減させることができる。
（Ｂ））と、前述した路面画像除去部１６で求めた差分
画像（図９（Ｄ））と重ね合せてアンドを取ると、図１
０（Ｃ）で示す物体のエッジ部分のみが抽出される。し
たがって、この抽出された物体のエッジ部分について物
体の３次元位置を算出させるようにすることによって、
演算処理を大幅に低減させることができる。
【００４８】なお前述した微分画像（図１０（Ｂ））の
作成方法として空間フィルタを使用するようにしてもよ
い。図１２（Ａ）は３×３の空間フィルタを、また
（Ｂ）は１×３の空間フィルタを示しており、微分画像
の画素（ｍ，ｎ）の画素値Ｅm,n を求めるには、メモリ
１９の画素（ｍ，ｎ）にフィルタの中心を一致させ、各
画素の輝度Ｉに（ ）で示した係数を乗算する。
作成方法として空間フィルタを使用するようにしてもよ
い。図１２（Ａ）は３×３の空間フィルタを、また
（Ｂ）は１×３の空間フィルタを示しており、微分画像
の画素（ｍ，ｎ）の画素値Ｅm,n を求めるには、メモリ
１９の画素（ｍ，ｎ）にフィルタの中心を一致させ、各
画素の輝度Ｉに（ ）で示した係数を乗算する。
【００４９】すなわち、図１２（Ａ）の３×３空間フィ
ルタの場合は、 ｜（Ｉm-1,n+1 ＋Ｉm,n+1 ＋Ｉm+1,n+1 ） −（Ｉm-1,n-1 ＋Ｉm,n-1 ＋Ｉm+1,n-1 ）｜ ≧Ｅ0 ′ ならば Ｅm,n ＝１ ＜Ｅ0 ′ ならば Ｅm,n ＜０ ただし、Ｅ0 ′はしきい値 ・・・（19） また、図１２（Ｂ）の１×３空間フィルタの場合は、 ｜Ｉm,n+1 −Ｉm,n-1 ｜≧Ｅ0 ″ ならば Ｅm,n ＝１ ＜Ｅ0 ″ ならば Ｅm,n ＝０ ・・・（20） として微分画像の各画素値Ｅm,n を求めるようにしても
良い。
ルタの場合は、 ｜（Ｉm-1,n+1 ＋Ｉm,n+1 ＋Ｉm+1,n+1 ） −（Ｉm-1,n-1 ＋Ｉm,n-1 ＋Ｉm+1,n-1 ）｜ ≧Ｅ0 ′ ならば Ｅm,n ＝１ ＜Ｅ0 ′ ならば Ｅm,n ＜０ ただし、Ｅ0 ′はしきい値 ・・・（19） また、図１２（Ｂ）の１×３空間フィルタの場合は、 ｜Ｉm,n+1 −Ｉm,n-1 ｜≧Ｅ0 ″ ならば Ｅm,n ＝１ ＜Ｅ0 ″ ならば Ｅm,n ＝０ ・・・（20） として微分画像の各画素値Ｅm,n を求めるようにしても
良い。
【００５０】つぎに、図３および図４を参照して実施例
の動作を説明する。処理Ｓ１では、処理部２３は、カメ
ラ１１および１２で撮像した画像データを、それぞれフ
レームメモリ１３および１４に記録する。処理Ｓ２で
は、歪曲収差補正部１５は、フレームメモリ１３および
１４に記録されているデータに対して、カメラ１１およ
び１２のレンズの収差に対応する補正を行なって、それ
ぞれ、メモリ１８および１９に記録する。
の動作を説明する。処理Ｓ１では、処理部２３は、カメ
ラ１１および１２で撮像した画像データを、それぞれフ
レームメモリ１３および１４に記録する。処理Ｓ２で
は、歪曲収差補正部１５は、フレームメモリ１３および
１４に記録されているデータに対して、カメラ１１およ
び１２のレンズの収差に対応する補正を行なって、それ
ぞれ、メモリ１８および１９に記録する。
【００５１】処理Ｓ３では、物体エッジ検出部１７は、
メモリ１９に記録されている左画像データを水平方向に
走査して、式（１８）、（１９）または（２０）で示す
演算を行なわせて左画像の微分画像（図１０（Ｂ））を
作成して図示しないメモリに記録する。
メモリ１９に記録されている左画像データを水平方向に
走査して、式（１８）、（１９）または（２０）で示す
演算を行なわせて左画像の微分画像（図１０（Ｂ））を
作成して図示しないメモリに記録する。
【００５２】処理Ｓ４では、路面画像除去部１６は、メ
モリ１８に記録されている右画像を路面上画像と仮定し
て左画像に投影した投影画像（図９（Ｂ））を作成して
図示しないメモリに記録する。処理Ｓ５では、路面画像
除去部１６は、メモリ１８に記録されている左画像より
処理Ｓ４で作成した投影画像データを減算した差分画像
（図９（Ｄ））を作成して図示しないメモリに記録す
る。
モリ１８に記録されている右画像を路面上画像と仮定し
て左画像に投影した投影画像（図９（Ｂ））を作成して
図示しないメモリに記録する。処理Ｓ５では、路面画像
除去部１６は、メモリ１８に記録されている左画像より
処理Ｓ４で作成した投影画像データを減算した差分画像
（図９（Ｄ））を作成して図示しないメモリに記録す
る。
【００５３】処理Ｓ６では、物体エッジ検出部１７は、
処理Ｓ３で作成した微分画像（図１０（Ｂ））と処理Ｓ
５で作成した差分画像（図９（Ｄ））より物体のエッジ
を表わす物体エッジ画像（図１０（Ｃ））を作成して図
示しないメモリに記録する。処理Ｓ７では、処理部２３
は、処理Ｓ６で作成した物体エッジ画像データのエッジ
部分について、測定すべき物体の左右画像の対応点をメ
モリ１８および１９より抽出する。
処理Ｓ３で作成した微分画像（図１０（Ｂ））と処理Ｓ
５で作成した差分画像（図９（Ｄ））より物体のエッジ
を表わす物体エッジ画像（図１０（Ｃ））を作成して図
示しないメモリに記録する。処理Ｓ７では、処理部２３
は、処理Ｓ６で作成した物体エッジ画像データのエッジ
部分について、測定すべき物体の左右画像の対応点をメ
モリ１８および１９より抽出する。
【００５４】処理Ｓ８では、物体位置算出部２０は、処
理Ｓ７で抽出された点に対応する位置を算出する。処理
Ｓ９では、走行軌跡推定部２１は、Ｉ／Ｏ２４を介して
舵角信号を読込む。
理Ｓ７で抽出された点に対応する位置を算出する。処理
Ｓ９では、走行軌跡推定部２１は、Ｉ／Ｏ２４を介して
舵角信号を読込む。
【００５５】処理Ｓ１０では、走行軌跡推定部２１は、
処理Ｓ９で読込んだ舵角より車両が走行する軌跡を推定
する。処理Ｓ１１では、表示警報部２２は、処理Ｓ８の
算出結果より障害物が有か否かの判定を行ない、判定が
ＮＯの場合は処理Ｓ１に移り、ＹＥＳの場合は処理Ｓ１
２に移る。
処理Ｓ９で読込んだ舵角より車両が走行する軌跡を推定
する。処理Ｓ１１では、表示警報部２２は、処理Ｓ８の
算出結果より障害物が有か否かの判定を行ない、判定が
ＮＯの場合は処理Ｓ１に移り、ＹＥＳの場合は処理Ｓ１
２に移る。
【００５６】処理Ｓ１２では、表示警報部２２は、検出
された障害物に対して車両が衝突の可能性が有るか否か
を処理Ｓ１０の走行軌跡と比較して判定し、判定がＹＥ
Ｓの場合は処理Ｓ１３に移って図示しないブザーより警
報を発すると共に衝突予想位置を表示する。また、衝突
の可能性が無い場合は処理Ｓ１４に移って障害物の位置
を表示して処理Ｓ１に移る。
された障害物に対して車両が衝突の可能性が有るか否か
を処理Ｓ１０の走行軌跡と比較して判定し、判定がＹＥ
Ｓの場合は処理Ｓ１３に移って図示しないブザーより警
報を発すると共に衝突予想位置を表示する。また、衝突
の可能性が無い場合は処理Ｓ１４に移って障害物の位置
を表示して処理Ｓ１に移る。
【００５７】なお、以上説明した実施例では、右側画像
より投影画像を作成して左側画像に重畳したが、左側画
像より投影画像を作成して右側画像に重畳するようにし
てもよい。また、実施例ではカメラによって撮像された
全画像データの全てに対して行なうようにしていたが、
車両にとって障害物となりうる程度の大きさの物体であ
れば画像データ中の例えば２０本程度の水平方向の検査
ラインを設定し、この設定された範囲の物体に対して処
理することによって演算処理を大幅に短縮できる。
より投影画像を作成して左側画像に重畳したが、左側画
像より投影画像を作成して右側画像に重畳するようにし
てもよい。また、実施例ではカメラによって撮像された
全画像データの全てに対して行なうようにしていたが、
車両にとって障害物となりうる程度の大きさの物体であ
れば画像データ中の例えば２０本程度の水平方向の検査
ラインを設定し、この設定された範囲の物体に対して処
理することによって演算処理を大幅に短縮できる。
【００５８】以上、本発明の一実施例について説明した
が、本発明はこの実施例に限定されるものではなく、そ
の発明の主旨に従った各種変形が可能である。
が、本発明はこの実施例に限定されるものではなく、そ
の発明の主旨に従った各種変形が可能である。
【００５９】
【発明の効果】以上説明したように、本発明によれば次
の効果が得られる。一方のカメラで撮像された画像を全
て高さ０と仮定して他方のカメラで撮像したとして得ら
れる投影画像を作成し、投影画像と他方のカメラで撮像
された画像との差をとって差分画像を作成し、また他方
のカメラで撮像された画像信号の水平方向の輝度差より
微分画像を作成し、差分画像と微分画像のアンドより物
体のエッジを検出するようにしたので、エッジとして検
出された点には高さ０の部分は含まれず、不必要な物体
位置算出の処理が行なわれず、処理時間を短縮すること
ができる。
の効果が得られる。一方のカメラで撮像された画像を全
て高さ０と仮定して他方のカメラで撮像したとして得ら
れる投影画像を作成し、投影画像と他方のカメラで撮像
された画像との差をとって差分画像を作成し、また他方
のカメラで撮像された画像信号の水平方向の輝度差より
微分画像を作成し、差分画像と微分画像のアンドより物
体のエッジを検出するようにしたので、エッジとして検
出された点には高さ０の部分は含まれず、不必要な物体
位置算出の処理が行なわれず、処理時間を短縮すること
ができる。
【００６０】また、カメラのレンズの歪曲収差補正を撮
像された画像信号に対して行なうようにしたので、誤差
がなくなり、差分画像の中に高さ０の部分は含まれない
ようになると共に物体位置算出結果の誤差が無くなる。
また、投影画像より他方画像を引いて差分画像を作成す
る際に、対応画素の差が或るしきい値以上となった画素
に対しては、一方の画素データに対して隣接する複数の
他方の画素データと差の中より最も差が小となる値を差
分画像データとするようにしたので、投影画像に誤差が
含まれたとしても完全に高さ０の物体を投影画像より除
去することができる。
像された画像信号に対して行なうようにしたので、誤差
がなくなり、差分画像の中に高さ０の部分は含まれない
ようになると共に物体位置算出結果の誤差が無くなる。
また、投影画像より他方画像を引いて差分画像を作成す
る際に、対応画素の差が或るしきい値以上となった画素
に対しては、一方の画素データに対して隣接する複数の
他方の画素データと差の中より最も差が小となる値を差
分画像データとするようにしたので、投影画像に誤差が
含まれたとしても完全に高さ０の物体を投影画像より除
去することができる。
【図１】本発明の基本構成図である。
【図２】本発明の実施例の構成図である。
【図３】同実施例の動作フローチャートである。
【図４】同実施例の動作フローチャートである。
【図５】同実施例のレンズ収差補正の説明図である。
【図６】同実施例のカメラ設置側説明図である。
【図７】同実施例のカメラ俯角補正の説明図である。
【図８】同実施例の３次元位置測定説明図である。
【図９】同実施例の路面画像除去の説明図である。
【図１０】同実施例の物体エッジ検出の説明図である。
【図１１】差分画像作成説明図である。
【図１２】微分画像作成説明図である。
【符号の説明】 １，２，１８，１９ メモリ ３ 路面画像除去手段 ４ 物体エッジ検出手段 ５ 物体位置算出手段 ６ 警報手段 ７ 歪曲収差補正手段 １１，１２ カメラ １３，１４ フレームメモリ １５ 歪曲収差補正部 １６ 路面画像除去部 １７ 物体エッジ検出部 ２０ 物体位置算出部 ２１ 走行軌跡推定部 ２２ 表示警報部 ２３ 処理部 ２４ インタフェース（Ｉ／Ｏ） ２５ プロセッサ（ＣＰＵ）
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ Ｈ０４Ｎ 5/225 Ｇ０６Ｆ 15/62 ３８０ (56)参考文献 特開 平３−96451（ＪＰ，Ａ) 特開 平５−216534（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 7/18 B60R 1/00 G01C 3/06 G06T 1/00 G08G 1/16 H04N 5/225
Claims (3)
- 【請求項１】 車両に所定距離だけ離して設置された２
台の撮像手段より得られた画像データに基づいて車両の
周辺を監視する車両周辺監視装置において、 前記２台の撮像手段より出力された画像信号を記録する
メモリ（右）（１）とメモリ（左）（２）と、 前記メモリ（１，２）の一方に記録されている全ての画
像を高さ０と仮定し、この画像を他方のカメラで撮像し
たとして得られる投影画像データを作成し、作成された
投影画像データと他方のメモリに記録されている画像デ
ータとの差より路面上の画像を除去する路面画像除去手
段（３）と、 前記他方のメモリ（１，２）に記録されているデータの
水平方向の微分値と前記路面画像除去手段（３）より出
力される画像データより物体のエッジを検出する物体エ
ッジ検出手段（４）と、 物体エッジ検出手段（４）で検出された物体エッジにつ
いて前記両メモリ（１，２）に記録されているデータよ
り物体の位置を算出する物体位置算出手段（５）と、
前記物体位置算出手段（５）より算出された位置に基づ
いて警報を出力する警報手段（６）と、を備えたこと特
徴とする車両周辺監視装置。 - 【請求項２】 前記両メモリ（１，２）に記録されてい
るデータを、前記撮像手段のレンズの歪曲収差に対応し
て補正を行なう歪曲収差補正手段（７）を備えたことを
特徴とする請求項１記載の車両周辺監視装置。 - 【請求項３】 前記路面画像除去手段（３）の投影画像
データと他方のメモリに記録されている画像データとの
差を求める際に、両画像データに差が有る場合、一方の
画素データに対して隣接する複数の他方の画素データと
の差の中で最も差が小となる値をその画素の投影差分画
素データとするようにしたことを特徴とする請求項１ま
たは２記載の車両周辺監視装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04243394A JP3156817B2 (ja) | 1994-03-14 | 1994-03-14 | 車両周辺監視装置 |
| US08/847,989 US5729216A (en) | 1994-03-14 | 1997-04-22 | Apparatus for monitoring vehicle periphery |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP04243394A JP3156817B2 (ja) | 1994-03-14 | 1994-03-14 | 車両周辺監視装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07250319A JPH07250319A (ja) | 1995-09-26 |
| JP3156817B2 true JP3156817B2 (ja) | 2001-04-16 |
Family
ID=12635942
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP04243394A Expired - Fee Related JP3156817B2 (ja) | 1994-03-14 | 1994-03-14 | 車両周辺監視装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5729216A (ja) |
| JP (1) | JP3156817B2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3540005B2 (ja) * | 1994-04-22 | 2004-07-07 | 株式会社デンソー | 障害物検出装置 |
| JP3599255B2 (ja) * | 1995-12-04 | 2004-12-08 | 本田技研工業株式会社 | 車両用環境認識装置 |
| US6760061B1 (en) * | 1997-04-14 | 2004-07-06 | Nestor Traffic Systems, Inc. | Traffic sensor |
| JPH11328365A (ja) * | 1998-05-14 | 1999-11-30 | Toshiba Corp | 画像監視装置及びその方法 |
| JP4021026B2 (ja) * | 1998-01-29 | 2007-12-12 | 富士重工業株式会社 | ステレオ画像処理システム |
| US6281808B1 (en) | 1998-11-23 | 2001-08-28 | Nestor, Inc. | Traffic light collision avoidance system |
| US6754663B1 (en) | 1998-11-23 | 2004-06-22 | Nestor, Inc. | Video-file based citation generation system for traffic light violations |
| US6396535B1 (en) * | 1999-02-16 | 2002-05-28 | Mitsubishi Electric Research Laboratories, Inc. | Situation awareness system |
| JP3243234B2 (ja) * | 1999-07-23 | 2002-01-07 | 松下電器産業株式会社 | 混雑度計測方法、計測装置、およびそれを用いたシステム |
| ATE333192T1 (de) * | 1999-10-12 | 2006-08-15 | Matsushita Electric Ind Co Ltd | Überwachungskamera, verfahren zum anpassen einer kamera und fahrzeugüberwachungssystem |
| JP2002189075A (ja) * | 2000-12-20 | 2002-07-05 | Fujitsu Ten Ltd | 道路上方静止物検知方法 |
| JP3651419B2 (ja) * | 2001-08-03 | 2005-05-25 | 日産自動車株式会社 | 環境認識装置 |
| JP2003098424A (ja) * | 2001-09-25 | 2003-04-03 | Fujitsu Ten Ltd | 画像処理測距装置 |
| JP2003132349A (ja) * | 2001-10-24 | 2003-05-09 | Matsushita Electric Ind Co Ltd | 描画装置 |
| US7305115B2 (en) * | 2002-02-22 | 2007-12-04 | Siemens Energy And Automation, Inc. | Method and system for improving ability of a machine vision system to discriminate features of a target |
| JP3868876B2 (ja) * | 2002-09-25 | 2007-01-17 | 株式会社東芝 | 障害物検出装置及び方法 |
| JP4556494B2 (ja) * | 2004-05-31 | 2010-10-06 | 日産自動車株式会社 | 車両周囲表示装置及び車両周囲表示方法 |
| JP2006306241A (ja) * | 2005-04-27 | 2006-11-09 | Aisin Aw Co Ltd | 駐車支援方法及び駐車支援装置 |
| JP2007118762A (ja) * | 2005-10-27 | 2007-05-17 | Aisin Seiki Co Ltd | 周辺監視モニタリングシステム |
| JP4104631B2 (ja) * | 2006-03-27 | 2008-06-18 | 三洋電機株式会社 | 運転支援装置 |
| JP5161619B2 (ja) * | 2008-03-13 | 2013-03-13 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
| JP5156972B2 (ja) * | 2009-07-07 | 2013-03-06 | Ｓｍｃ株式会社 | 位置測定装置及び位置測定方法 |
| AU2010200875A1 (en) * | 2010-03-09 | 2011-09-22 | The University Of Sydney | Sensor data processing |
| JP5906696B2 (ja) * | 2011-11-30 | 2016-04-20 | アイシン精機株式会社 | 車両周辺撮影装置および車両周辺画像の処理方法 |
| JP2014020978A (ja) * | 2012-07-20 | 2014-02-03 | Fujitsu Ltd | 照射装置、距離測定装置、照射装置のキャリブレーションプログラム及びキャリブレーション方法 |
| EP2911028B1 (en) * | 2012-10-22 | 2018-07-25 | Yamaha Hatsudoki Kabushiki Kaisha | Distance measurement device and vehicle using same |
| JP6257919B2 (ja) * | 2013-05-16 | 2018-01-10 | 住友建機株式会社 | ショベル |
| US9785852B2 (en) * | 2013-11-06 | 2017-10-10 | Xiaomi Inc. | Method, TV set and system for recognizing TV station logo |
| WO2016035215A1 (ja) * | 2014-09-05 | 2016-03-10 | 横浜ゴム株式会社 | 衝突回避システム及び衝突回避方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4449144A (en) * | 1981-06-26 | 1984-05-15 | Omron Tateisi Electronics Co. | Apparatus for detecting moving body |
| US4809178A (en) * | 1986-05-22 | 1989-02-28 | Kabushiki Kaisha Toyota Chuo Kenkyusho | Obstacle data processing system for unmanned vehicle |
| US5155684A (en) * | 1988-10-25 | 1992-10-13 | Tennant Company | Guiding an unmanned vehicle by reference to overhead features |
| JPH04120413A (ja) * | 1990-09-10 | 1992-04-21 | Mitsubishi Electric Corp | 車間距離計における追尾装置 |
| JP2671611B2 (ja) * | 1991-01-22 | 1997-10-29 | 三菱電機株式会社 | 追尾式車間距離センサ |
| JP3081660B2 (ja) * | 1991-03-28 | 2000-08-28 | ダイハツ工業株式会社 | 距離検出方法 |
| JPH04301512A (ja) * | 1991-03-29 | 1992-10-26 | Mazda Motor Corp | 移動車の環境認識装置 |
| JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
| JP3263699B2 (ja) * | 1992-12-22 | 2002-03-04 | 三菱電機株式会社 | 走行環境監視装置 |
-
1994
- 1994-03-14 JP JP04243394A patent/JP3156817B2/ja not_active Expired - Fee Related
-
1997
- 1997-04-22 US US08/847,989 patent/US5729216A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5729216A (en) | 1998-03-17 |
| JPH07250319A (ja) | 1995-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3156817B2 (ja) | 車両周辺監視装置 | |
| US7218207B2 (en) | Method for detecting position of lane marker, apparatus for detection position of lane marker and alarm apparatus for lane deviation | |
| JP5083841B2 (ja) | 車両周辺監視装置、車両周辺監視用プログラム、車両周辺監視方法 | |
| JP3284190B2 (ja) | ステレオカメラの画像補正装置 | |
| JP3280001B2 (ja) | ステレオ画像の位置ずれ調整装置 | |
| CN112102409B (zh) | 目标检测方法、装置、设备及存储介质 | |
| JP3209828B2 (ja) | 車間距離計測装置とステレオ画像取り込み装置 | |
| JP3255360B2 (ja) | 距離データの検査方法およびその検査装置 | |
| CN111768332A (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| US8044998B2 (en) | Sensing apparatus and method for vehicles | |
| JP4397573B2 (ja) | 画像処理装置 | |
| JPH07250268A (ja) | 車両周辺監視装置 | |
| JP3260503B2 (ja) | 走路認識装置および走路認識方法 | |
| JP3516118B2 (ja) | 物体認識方法および物体認識装置 | |
| JP3570635B2 (ja) | 車両周辺監視装置 | |
| JP3244850B2 (ja) | ナンバープレート読み取り装置 | |
| JP3605955B2 (ja) | 車輌判別装置 | |
| JP3503840B2 (ja) | 車両周辺監視装置 | |
| JP2003317033A (ja) | 画像処理におけるアフィン変換係数算出方法および画像処理装置 | |
| JP3125836B2 (ja) | 車両周辺監視装置 | |
| CN113674361B (zh) | 一种车载环视校准实现方法及系统 | |
| JPH0894353A (ja) | 車両周辺監視装置 | |
| JPH11190611A (ja) | ３次元計測方法およびその方法を用いた３次元計測処理装置 | |
| JP2001092979A (ja) | 不適切画像検出方法 | |
| JP3478432B2 (ja) | 車両周辺監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20001226 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080209 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090209 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 13 |
|
| LAPS | Cancellation because of no payment of annual fees |