JP3503543B2 - 道路構造認識方法、距離測定方法及び距離測定装置 - Google Patents
道路構造認識方法、距離測定方法及び距離測定装置Info
- Publication number
- JP3503543B2 JP3503543B2 JP29068599A JP29068599A JP3503543B2 JP 3503543 B2 JP3503543 B2 JP 3503543B2 JP 29068599 A JP29068599 A JP 29068599A JP 29068599 A JP29068599 A JP 29068599A JP 3503543 B2 JP3503543 B2 JP 3503543B2
- Authority
- JP
- Japan
- Prior art keywords
- road
- current time
- camera
- real space
- road structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、画像中に存在する
物体までの距離を算出するための距離測定技術に関す
る。
物体までの距離を算出するための距離測定技術に関す
る。
【０００２】
【従来の技術】従来、距離を測定する技術として、レー
ザーレーダーを用いるものや、２台の可視カメラを用い
るステレオ法によるものがある。
ザーレーダーを用いるものや、２台の可視カメラを用い
るステレオ法によるものがある。
【０００３】また、１台の可視カメラのみを用いる方式
として、特開平１１−４４５３３号公報「先行車両検出
装置」に示されるものがある。
として、特開平１１−４４５３３号公報「先行車両検出
装置」に示されるものがある。
【０００４】図１０に従来方式の説明図を示す。図１０
において、９１は撮像面、９２はレンズを表す。先行車
両推定点の画像中央からのｙ座標のが素数をｄｙ２、画
像入力部のＣＣＤカメラのレンズ９２の焦点距離をｆ、
撮像面９１の画素数をＩＹ、画面サイズをＤＨとすると
き、撮像面９１上の先行車両推定点とレンズ９２の中心
点を結ぶ直線と光軸のなす角度ｄθ２は、次式で表され
る。
において、９１は撮像面、９２はレンズを表す。先行車
両推定点の画像中央からのｙ座標のが素数をｄｙ２、画
像入力部のＣＣＤカメラのレンズ９２の焦点距離をｆ、
撮像面９１の画素数をＩＹ、画面サイズをＤＨとすると
き、撮像面９１上の先行車両推定点とレンズ９２の中心
点を結ぶ直線と光軸のなす角度ｄθ２は、次式で表され
る。
【０００５】
ｄθ２＝ａｔａｎ（ＤＨ／ＩＹ・ｄｙ２／ｆ）
このとき、先行車両推定点までの実空間での距離をＬ２
とし、レンズ９２の光軸方向と水平線のなす上下方向の
角度をθ１、ＣＣＤカメラの取り付け高さをＨとする
と、距離Ｌ２は次式で表される。
とし、レンズ９２の光軸方向と水平線のなす上下方向の
角度をθ１、ＣＣＤカメラの取り付け高さをＨとする
と、距離Ｌ２は次式で表される。
【０００６】Ｌ２＝Ｈ／ｔａｎ（θ１−ｄθ２）
上式で得られた距離Ｌ２を車間距離と見なすものであ
る。
る。
【０００７】
【発明が解決しようとする課題】このような従来の技術
においては、距離を測定するためにレーザーレーダーや
２台の可視カメラを必要とした。また、１台の可視カメ
ラから距離を測定するには、カメラが固定されている場
合、あるいは固定されていない場合でもカメラから対象
物体までの道路が水平面である場合に限られてしまう。
においては、距離を測定するためにレーザーレーダーや
２台の可視カメラを必要とした。また、１台の可視カメ
ラから距離を測定するには、カメラが固定されている場
合、あるいは固定されていない場合でもカメラから対象
物体までの道路が水平面である場合に限られてしまう。
【０００８】本発明は、カメラ自身が動いている場合、
かつ道路面が水平でない場合においても、可視カメラ１
台のみを用いて距離を正確に測定することを目的とす
る。
かつ道路面が水平でない場合においても、可視カメラ１
台のみを用いて距離を正確に測定することを目的とす
る。
【０００９】
【課題を解決するための手段】この課題を解決するため
に本発明は、カメラより入力した画像の中から道路上に
存在する物体を検出する物体検出手段と、同時にその道
路面の構造を認識する道路構造認識手段と、検出した物
体の画像中における位置と道路面構造とを用いてカメラ
から物体までの実空間における距離を算出する距離算出
手段とを備え、距離を測定するように構成したものであ
る。
に本発明は、カメラより入力した画像の中から道路上に
存在する物体を検出する物体検出手段と、同時にその道
路面の構造を認識する道路構造認識手段と、検出した物
体の画像中における位置と道路面構造とを用いてカメラ
から物体までの実空間における距離を算出する距離算出
手段とを備え、距離を測定するように構成したものであ
る。
【００１０】これにより、カメラ自身が動いている場
合、かつ道路面が水平でない場合においても、可視カメ
ラ１台のみの画像から距離を正確に算出可能な距離測定
装置が得られる。
合、かつ道路面が水平でない場合においても、可視カメ
ラ１台のみの画像から距離を正確に算出可能な距離測定
装置が得られる。
【００１１】
【発明の実施の形態】本発明の請求項１に記載の発明
は、走行車両に設置されたカメラに十分近い位置では道
路は水平であることを仮定し、この仮定の基に現時刻の
入力画像のカメラに十分近い範囲の道路エッジの位置か
ら実空間の前記道路エッジの位置を求め、更に、前記実
空間の前記道路エッジの位置から現時刻の道路構造を算
出し、前時刻から現時刻までの前記走行車両の実空間の
移動量を用いて、前記前時刻までに求めた前記道路構造
と前記現時刻の道路構造とを接続し、前記現時刻までの
道路構造を算出する道路構造認識方法とするものであ
り、カメラ自身が動いている場合、かつ道路面が水平で
ない場合においても、可視カメラ１台のみの画像から道
路構造を認識することができるという作用を有する。
は、走行車両に設置されたカメラに十分近い位置では道
路は水平であることを仮定し、この仮定の基に現時刻の
入力画像のカメラに十分近い範囲の道路エッジの位置か
ら実空間の前記道路エッジの位置を求め、更に、前記実
空間の前記道路エッジの位置から現時刻の道路構造を算
出し、前時刻から現時刻までの前記走行車両の実空間の
移動量を用いて、前記前時刻までに求めた前記道路構造
と前記現時刻の道路構造とを接続し、前記現時刻までの
道路構造を算出する道路構造認識方法とするものであ
り、カメラ自身が動いている場合、かつ道路面が水平で
ない場合においても、可視カメラ１台のみの画像から道
路構造を認識することができるという作用を有する。
【００１２】請求項２に記載の発明は、走行車両の実空
間の移動量は、前時刻の入力画像の座標軸から現時刻の
入力画像の座標軸への平行移動量及び回転角度である請
求項１記載の道路構造認識方法とするもので、カメラ自
身が動いている場合、かつ道路面が水平でない場合にお
いても、現時刻の道路構造と前時刻までの道路構造とを
正確に接続することができるという作用を有する。
間の移動量は、前時刻の入力画像の座標軸から現時刻の
入力画像の座標軸への平行移動量及び回転角度である請
求項１記載の道路構造認識方法とするもので、カメラ自
身が動いている場合、かつ道路面が水平でない場合にお
いても、現時刻の道路構造と前時刻までの道路構造とを
正確に接続することができるという作用を有する。
【００１３】請求項３に記載の発明は、実空間の道路エ
ッジの位置は、部分画像に含まれる道路エッジの位置、
カメラの焦点距離、カメラのレンズ中心の高さ及びカメ
ラ光軸の傾きから算出される請求項１又は２記載の道路
構造認識方法とするもので、カメラ自身が動いている場
合、かつ道路面が水平でない場合においても、可視カメ
ラ１台のみの画像から実空間の道路エッジの位置を算出
することができるという作用を有する。
ッジの位置は、部分画像に含まれる道路エッジの位置、
カメラの焦点距離、カメラのレンズ中心の高さ及びカメ
ラ光軸の傾きから算出される請求項１又は２記載の道路
構造認識方法とするもので、カメラ自身が動いている場
合、かつ道路面が水平でない場合においても、可視カメ
ラ１台のみの画像から実空間の道路エッジの位置を算出
することができるという作用を有する。
【００１４】 請求項４に記載の発明は、走行車両に設
置されたカメラにより撮影された現時刻の入力画像を用
いて、道路上に存在する物体の前記入力画像中の位置を
検出する第１のステップと、前記カメラに十分近い位置
では道路は水平であることを仮定し、この仮定の基に前
記現時刻の前記入力画像のカメラに十分近い範囲の道路
エッジの位置から実空間の前記道路エッジの位置を求
め、更に、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出し、前時刻から現時刻までの前記走
行車両の実空間の移動量を用いて、前記前時刻までに求
めた前記道路構造と前記現時刻の道路構造とを接続し、
前記現時刻までの道路構造を算出する第２のステップ
と、検出した前記物体の入力画像中の位置と前記現時刻
までの道路構造とを用いて、カメラから前記物体までの
実空間の距離を算出する第３のステップとを有する距離
測定方法とするもので、カメラ自身が動いている場合、
かつ道路面が水平でない場合においても、可視カメラ１
台のみの画像から距離を測定できるという作用を有す
る。
置されたカメラにより撮影された現時刻の入力画像を用
いて、道路上に存在する物体の前記入力画像中の位置を
検出する第１のステップと、前記カメラに十分近い位置
では道路は水平であることを仮定し、この仮定の基に前
記現時刻の前記入力画像のカメラに十分近い範囲の道路
エッジの位置から実空間の前記道路エッジの位置を求
め、更に、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出し、前時刻から現時刻までの前記走
行車両の実空間の移動量を用いて、前記前時刻までに求
めた前記道路構造と前記現時刻の道路構造とを接続し、
前記現時刻までの道路構造を算出する第２のステップ
と、検出した前記物体の入力画像中の位置と前記現時刻
までの道路構造とを用いて、カメラから前記物体までの
実空間の距離を算出する第３のステップとを有する距離
測定方法とするもので、カメラ自身が動いている場合、
かつ道路面が水平でない場合においても、可視カメラ１
台のみの画像から距離を測定できるという作用を有す
る。
【００１５】請求項５に記載の発明は、走行車両の実空
間の移動量は、前時刻の入力画像の座標軸から現時刻の
入力画像の座標軸への平行移動量及び回転角度である請
求項４記載の距離測定方法とするもので、カメラ自身が
動いている場合、かつ道路面が水平でない場合において
も、現時刻の道路構造と前時刻までの道路構造とを正確
に接続することができるという作用を有する。
間の移動量は、前時刻の入力画像の座標軸から現時刻の
入力画像の座標軸への平行移動量及び回転角度である請
求項４記載の距離測定方法とするもので、カメラ自身が
動いている場合、かつ道路面が水平でない場合において
も、現時刻の道路構造と前時刻までの道路構造とを正確
に接続することができるという作用を有する。
【００１６】請求項６に記載の発明は、実空間の道路エ
ッジの位置は、部分画像に含まれる道路エッジの位置、
カメラの焦点距離、カメラのレンズ中心の高さ、カメラ
光軸の傾きから算出される請求項４又は５記載の距離測
定方法とするもので、カメラ自身が動いている場合、か
つ道路面が水平でない場合においても、可視カメラ１台
のみの画像から実空間の道路エッジの位置を算出するこ
とができるという作用を有する。
ッジの位置は、部分画像に含まれる道路エッジの位置、
カメラの焦点距離、カメラのレンズ中心の高さ、カメラ
光軸の傾きから算出される請求項４又は５記載の距離測
定方法とするもので、カメラ自身が動いている場合、か
つ道路面が水平でない場合においても、可視カメラ１台
のみの画像から実空間の道路エッジの位置を算出するこ
とができるという作用を有する。
【００１７】請求項７に記載の発明は、第１のステップ
は、予め複数の検出対象物体の特徴を保持しておき、入
力画像に含まれる物体の微分２値画像から直線成分を抽
出し、前記直線成分の長さで表現される前記物体の特徴
を求め、前記検出対象物体の特徴と最も類似する前記物
体を抽出し、抽出された前記物体の位置を検出する請求
項４ないし６のいずれか記載の距離測定方法とするもの
で、カメラ自身が動いている場合、かつ道路面が水平で
ない場合においても、可視カメラ１台のみの画像から距
離を測定できるという作用を有する。
は、予め複数の検出対象物体の特徴を保持しておき、入
力画像に含まれる物体の微分２値画像から直線成分を抽
出し、前記直線成分の長さで表現される前記物体の特徴
を求め、前記検出対象物体の特徴と最も類似する前記物
体を抽出し、抽出された前記物体の位置を検出する請求
項４ないし６のいずれか記載の距離測定方法とするもの
で、カメラ自身が動いている場合、かつ道路面が水平で
ない場合においても、可視カメラ１台のみの画像から距
離を測定できるという作用を有する。
【００１８】請求項８に記載の発明は、第１のステップ
は、予めカメラからの距離が異なる複数の検出対象物体
の画像である学習画像を登録しておき、入力画像に対し
て前記学習画像を照合し、最も類似する領域を求めるこ
とにより、物体の位置を検出する請求項４ないし６のい
ずれか記載の距離測定方法とするもので、カメラ自身が
動いている場合、かつ道路面が水平でない場合において
も、可視カメラ１台のみの画像から距離を測定できると
いう作用を有する。
は、予めカメラからの距離が異なる複数の検出対象物体
の画像である学習画像を登録しておき、入力画像に対し
て前記学習画像を照合し、最も類似する領域を求めるこ
とにより、物体の位置を検出する請求項４ないし６のい
ずれか記載の距離測定方法とするもので、カメラ自身が
動いている場合、かつ道路面が水平でない場合において
も、可視カメラ１台のみの画像から距離を測定できると
いう作用を有する。
【００１９】 請求項９に記載の発明は、走行車両に設
置されたカメラに十分近い位置では道路は水平であるこ
とを仮定し、この仮定の基に現時刻の入力画像のカメラ
に十分近い範囲の部分画像を抽出する部分画像抽出手段
と、前記部分画像に含まれる道路エッジの位置から実空
間の前記道路エッジの位置を求める実空間道路エッジ検
出手段と、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出する現時刻道路構造算出手段と、前
時刻から現時刻までの前記走行車両の実空間の移動量を
用いて、前記前時刻までに求めた前記道路構造と前記現
時刻の道路構造とを接続し、前記現時刻までの道路構造
を算出する道路構造接続手段とを有する道路構造認識装
置とするもので、カメラ自身が動いている場合、かつ道
路面が水平でない場合においても、可視カメラ１台のみ
の画像から道路構造を認識することができるという作用
を有する。
置されたカメラに十分近い位置では道路は水平であるこ
とを仮定し、この仮定の基に現時刻の入力画像のカメラ
に十分近い範囲の部分画像を抽出する部分画像抽出手段
と、前記部分画像に含まれる道路エッジの位置から実空
間の前記道路エッジの位置を求める実空間道路エッジ検
出手段と、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出する現時刻道路構造算出手段と、前
時刻から現時刻までの前記走行車両の実空間の移動量を
用いて、前記前時刻までに求めた前記道路構造と前記現
時刻の道路構造とを接続し、前記現時刻までの道路構造
を算出する道路構造接続手段とを有する道路構造認識装
置とするもので、カメラ自身が動いている場合、かつ道
路面が水平でない場合においても、可視カメラ１台のみ
の画像から道路構造を認識することができるという作用
を有する。
【００２０】請求項１０に記載の発明は、走行車両の実
空間の移動量は、前時刻の入力画像の座標軸から現時刻
の入力画像の座標軸への平行移動量と回転角度である請
求項９記載の道路構造認識装置とするもので、カメラ自
身が動いている場合、かつ道路面が水平でない場合にお
いても、現時刻の道路構造と前時刻までの道路構造とを
正確に接続することができるという作用を有する。
空間の移動量は、前時刻の入力画像の座標軸から現時刻
の入力画像の座標軸への平行移動量と回転角度である請
求項９記載の道路構造認識装置とするもので、カメラ自
身が動いている場合、かつ道路面が水平でない場合にお
いても、現時刻の道路構造と前時刻までの道路構造とを
正確に接続することができるという作用を有する。
【００２１】請求項１１に記載の発明は、実空間の道路
エッジの位置は、部分画像に含まれる道路エッジの位
置、カメラの焦点距離、カメラのレンズ中心の高さ、カ
メラ光軸の傾きから算出される請求項９又は１０記載の
道路構造認識装置とするもので、カメラ自身が動いてい
る場合、かつ道路面が水平でない場合においても、可視
カメラ１台のみの画像から実空間の道路エッジの位置を
算出することができるという作用を有する。
エッジの位置は、部分画像に含まれる道路エッジの位
置、カメラの焦点距離、カメラのレンズ中心の高さ、カ
メラ光軸の傾きから算出される請求項９又は１０記載の
道路構造認識装置とするもので、カメラ自身が動いてい
る場合、かつ道路面が水平でない場合においても、可視
カメラ１台のみの画像から実空間の道路エッジの位置を
算出することができるという作用を有する。
【００２２】 請求項１２に記載の発明は、走行車両に
設置されたカメラにより撮影された現時刻の入力画像を
用いて、道路上に存在する物体の前記入力画像中の位置
を検出する物体検出手段と、前記カメラに十分近い位置
では道路は水平であることを仮定し、この仮定の基に前
記現時刻の前記入力画像のカメラに十分近い範囲の道路
エッジの位置から実空間の前記道路エッジの位置を求
め、更に、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出し、前時刻から現時刻までの前記走
行車両の実空間の移動量を用いて、前記前時刻までに求
めた前記道路構造と前記現時刻の道路構造とを接続し、
前記現時刻までの道路構造を算出する道路構造認識手段
と、検出した前記物体の入力画像中の位置と前記現時刻
までの道路構造とを用いて、カメラから前記物体までの
実空間の距離を算出する距離算出手段を有する距離測定
装置とするもので、カメラ自身が動いている場合、かつ
道路面が水平でない場合においても、可視カメラ１台の
みの画像から道路構造を認識することができるという作
用を有する。
設置されたカメラにより撮影された現時刻の入力画像を
用いて、道路上に存在する物体の前記入力画像中の位置
を検出する物体検出手段と、前記カメラに十分近い位置
では道路は水平であることを仮定し、この仮定の基に前
記現時刻の前記入力画像のカメラに十分近い範囲の道路
エッジの位置から実空間の前記道路エッジの位置を求
め、更に、前記実空間の前記道路エッジの位置から現時
刻の道路構造を算出し、前時刻から現時刻までの前記走
行車両の実空間の移動量を用いて、前記前時刻までに求
めた前記道路構造と前記現時刻の道路構造とを接続し、
前記現時刻までの道路構造を算出する道路構造認識手段
と、検出した前記物体の入力画像中の位置と前記現時刻
までの道路構造とを用いて、カメラから前記物体までの
実空間の距離を算出する距離算出手段を有する距離測定
装置とするもので、カメラ自身が動いている場合、かつ
道路面が水平でない場合においても、可視カメラ１台の
みの画像から道路構造を認識することができるという作
用を有する。
【００２３】以下、本発明の実施の形態について、図１
から図９を用いて説明する。
から図９を用いて説明する。
【００２４】（実施の形態１）図１は、本発明の実施の
形態１における距離測定装置のブロック図を示してい
る。図１において、１１は物体を撮影した画像を入力す
る画像入力部、１２は画像入力部１１により入力された
画像データ１５に対して物体の領域を抽出し位置情報１
６を検出する物体検出手段、１３は画像入力部１１によ
り入力された画像データ１５に対して道路構造情報１７
を認識する道路構造認識手段、１４は位置情報１６と道
路構造情報１７とを用いてカメラから物体までの距離を
算出し測定結果１８を出力する距離算出手段である。
形態１における距離測定装置のブロック図を示してい
る。図１において、１１は物体を撮影した画像を入力す
る画像入力部、１２は画像入力部１１により入力された
画像データ１５に対して物体の領域を抽出し位置情報１
６を検出する物体検出手段、１３は画像入力部１１によ
り入力された画像データ１５に対して道路構造情報１７
を認識する道路構造認識手段、１４は位置情報１６と道
路構造情報１７とを用いてカメラから物体までの距離を
算出し測定結果１８を出力する距離算出手段である。
【００２５】以上のように構成された距離測定装置につ
いて、以下にその動作を説明する。ここで、図２は画像
データ１５の例を示しており、道路２３の上に検出対象
物体２１があり、検出対象物体２１と道路２３とが位置
２２において接している。また、道路２３の上には白線
２４、２５が描かれている。図３は微分２値画像の例を
示しており、３１は検出した先行車両のモデルを表す。
図４は道路構造認識結果の例を示しており、４１は上か
ら見たときの水平面上の道路形状、４２は横から見たと
きの縦断面上の道路形状を表し、線分４３の両端の左右
道路エッジがそれぞれ１対１対応している。また、４４
は実空間における位置を表す。図５は画像データ１５か
ら検出した道路エッジとその対応を示しており、５１、
５２は検出した道路エッジ、５３は左右道路エッジの対
応を表す線分を表す。
いて、以下にその動作を説明する。ここで、図２は画像
データ１５の例を示しており、道路２３の上に検出対象
物体２１があり、検出対象物体２１と道路２３とが位置
２２において接している。また、道路２３の上には白線
２４、２５が描かれている。図３は微分２値画像の例を
示しており、３１は検出した先行車両のモデルを表す。
図４は道路構造認識結果の例を示しており、４１は上か
ら見たときの水平面上の道路形状、４２は横から見たと
きの縦断面上の道路形状を表し、線分４３の両端の左右
道路エッジがそれぞれ１対１対応している。また、４４
は実空間における位置を表す。図５は画像データ１５か
ら検出した道路エッジとその対応を示しており、５１、
５２は検出した道路エッジ、５３は左右道路エッジの対
応を表す線分を表す。
【００２６】画像入力部１１は、認識対象となる道路
と、その道路上にある検出対象となる物体とを１台のカ
メラにより撮影した画像を入力する。本発明において
は、カメラが車などに搭載されることによりカメラ自身
が動いている場合、かつ道路面が図２に示すような坂道
などで水平でない場合においても対応可能である。
と、その道路上にある検出対象となる物体とを１台のカ
メラにより撮影した画像を入力する。本発明において
は、カメラが車などに搭載されることによりカメラ自身
が動いている場合、かつ道路面が図２に示すような坂道
などで水平でない場合においても対応可能である。
【００２７】物体検出手段１２は、前記画像入力部１１
により入力された図２に示すような画像データ１５を読
み込み、検出対象物体２１の画像中における位置２２を
検出し、これを位置情報１６として保持する。
により入力された図２に示すような画像データ１５を読
み込み、検出対象物体２１の画像中における位置２２を
検出し、これを位置情報１６として保持する。
【００２８】ここで、画像の中から物体の位置を検出す
る方式の例としては、情処研報ＣＶ３７−４（１９８５
年）「高速道路における先行車の同定と追跡」に示され
ているもの等がある。上記の方式は、検出対象物体とし
て特に前方を走行する車両を想定したもので、以下に簡
単にその内容を説明する。まず、先行車両の後面を撮影
した入力画像に対して、２次微分処理、２値化処理を施
し図３に示すような微分２値画像を得る。次に得られた
画像から対象な水平エッジ成分を抽出し、この集合を先
行車のモデル３１とするものである。
る方式の例としては、情処研報ＣＶ３７−４（１９８５
年）「高速道路における先行車の同定と追跡」に示され
ているもの等がある。上記の方式は、検出対象物体とし
て特に前方を走行する車両を想定したもので、以下に簡
単にその内容を説明する。まず、先行車両の後面を撮影
した入力画像に対して、２次微分処理、２値化処理を施
し図３に示すような微分２値画像を得る。次に得られた
画像から対象な水平エッジ成分を抽出し、この集合を先
行車のモデル３１とするものである。
【００２９】道路構造認識手段１３は、前記画像入力部
１１により入力された図２に示すような画像データ１５
を読み込み、道路２３の実空間における構造を認識し、
これを道路構造情報１７として保持する。ここで、画像
から実空間における道路面の構造を認識する方式の例と
しては、情処研報ＣＶ６２−３（１９８９年）「局所平
面近似による道路形状復元」に示されているもの等があ
る。上記の方式は、画像中の道路エッジから、道路モデ
ルと呼ばれる道路形状に関する知識に基づいて、図４に
示すような道路構造を得るもので、以下に簡単にその内
容を説明する。道路モデルとは、滑らかな曲線上を長さ
一定の線分が中点で垂直に交わりながら水平に動いたと
きの端点の軌跡を道路エッジとする。
１１により入力された図２に示すような画像データ１５
を読み込み、道路２３の実空間における構造を認識し、
これを道路構造情報１７として保持する。ここで、画像
から実空間における道路面の構造を認識する方式の例と
しては、情処研報ＣＶ６２−３（１９８９年）「局所平
面近似による道路形状復元」に示されているもの等があ
る。上記の方式は、画像中の道路エッジから、道路モデ
ルと呼ばれる道路形状に関する知識に基づいて、図４に
示すような道路構造を得るもので、以下に簡単にその内
容を説明する。道路モデルとは、滑らかな曲線上を長さ
一定の線分が中点で垂直に交わりながら水平に動いたと
きの端点の軌跡を道路エッジとする。
【００３０】まず、入力画像に対して図５に示すよう
に、道路エッジ５１，５２を検出し、左右の道路エッジ
間の１対１の対応を前記長さ一定の線分の両端となるよ
うに求める。次にこの左右の道路エッジの対応点に対し
て、道路モデルに基づき３次元位置を復元し、滑らかな
曲線をあてはめることにより３次元の道路形状４１，４
２とするものである。
に、道路エッジ５１，５２を検出し、左右の道路エッジ
間の１対１の対応を前記長さ一定の線分の両端となるよ
うに求める。次にこの左右の道路エッジの対応点に対し
て、道路モデルに基づき３次元位置を復元し、滑らかな
曲線をあてはめることにより３次元の道路形状４１，４
２とするものである。
【００３１】距離算出手段１４は、前記物体検出手段１
２により検出された位置情報１６と、前記道路構造認識
手段１３により認識された道路構造情報１７とから検出
対象物体２１の実空間における位置を求めることにより
カメラからの距離を算出し、これを測定結果１８として
出力する。例えば、図２に示すような画像データに対し
て、前記物体検出手段１２により対象物体２１を検出
し、画像中における位置２２を求める。
２により検出された位置情報１６と、前記道路構造認識
手段１３により認識された道路構造情報１７とから検出
対象物体２１の実空間における位置を求めることにより
カメラからの距離を算出し、これを測定結果１８として
出力する。例えば、図２に示すような画像データに対し
て、前記物体検出手段１２により対象物体２１を検出
し、画像中における位置２２を求める。
【００３２】一方、前記道路構造認識手段１３により図
４に示すような道路構造を認識する。このとき、図５に
示すように画像中の白線を道路エッジ５１，５２として
検出し、左右の道路エッジの対応を求めているので、検
出した位置２２に対応する画像中の線分５３を求める。
線分５３は前記道路構造認識手段１３において線分４３
に復元されているので、それに対応して画像中における
位置２２から実空間における位置４４が求められる。こ
の位置４４より、カメラから物体までの距離を算出する
ものである。
４に示すような道路構造を認識する。このとき、図５に
示すように画像中の白線を道路エッジ５１，５２として
検出し、左右の道路エッジの対応を求めているので、検
出した位置２２に対応する画像中の線分５３を求める。
線分５３は前記道路構造認識手段１３において線分４３
に復元されているので、それに対応して画像中における
位置２２から実空間における位置４４が求められる。こ
の位置４４より、カメラから物体までの距離を算出する
ものである。
【００３３】（実施の形態２）図６に、本発明の実施の
形態２における距離測定装置のブロック図を示すが、実
施の形態１と異なるのは物体検出手段１２と物体学習画
像データベース１９であり、異なる部分のみを以下に説
明する。
形態２における距離測定装置のブロック図を示すが、実
施の形態１と異なるのは物体検出手段１２と物体学習画
像データベース１９であり、異なる部分のみを以下に説
明する。
【００３４】実施の形態２における物体検出手段１２に
ついて、以下にその動作を説明する。ここで、図７は学
習画像の例を示している。
ついて、以下にその動作を説明する。ここで、図７は学
習画像の例を示している。
【００３５】物体検出手段１２において物体の位置を検
出するに際し、あらかじめ図７に示すような複数の学習
画像を物体学習画像データベース１９に登録しておく。
物体学習画像データベース１９に登録する学習画像は、
各検出対象物体に対して、適当な間隔で設定したカメラ
からの距離毎に、それぞれの距離における見え方に応じ
たサイズの画像が登録されている。
出するに際し、あらかじめ図７に示すような複数の学習
画像を物体学習画像データベース１９に登録しておく。
物体学習画像データベース１９に登録する学習画像は、
各検出対象物体に対して、適当な間隔で設定したカメラ
からの距離毎に、それぞれの距離における見え方に応じ
たサイズの画像が登録されている。
【００３６】画像入力部１１により入力された図２に示
すような画像データ１５を読み込み、それぞれの物体学
習画像データベース１９に登録されている学習画像と照
合し、最も類似する学習画像と入力画像中の領域とを求
める。このときの入力画像中の位置を位置情報１６とし
て保持する。
すような画像データ１５を読み込み、それぞれの物体学
習画像データベース１９に登録されている学習画像と照
合し、最も類似する学習画像と入力画像中の領域とを求
める。このときの入力画像中の位置を位置情報１６とし
て保持する。
【００３７】また、同時に、照合した距離における見え
方に応じたサイズの学習画像よりカメラから対象物体ま
での大まかな距離を求めることができる。
方に応じたサイズの学習画像よりカメラから対象物体ま
での大まかな距離を求めることができる。
【００３８】（実施の形態３）
次に、本発明の実施の形態３の距離測定装置について説
明するが、実施の形態１とは道路構造認識手段１３の処
理が異なるもので、異なる道路構造認識手段１３につい
て以下に説明する。
明するが、実施の形態１とは道路構造認識手段１３の処
理が異なるもので、異なる道路構造認識手段１３につい
て以下に説明する。
【００３９】実施の形態３における道路構造認識手段に
ついて、以下にその動作を説明する。ここで、図８は画
像と実空間の関係を示しており、７１はレンズ中心、７
２は画像の座標軸、７３は実空間の座標軸、７４は画像
中の位置、７５は実空間の位置を表す。ただし、ともに
ｙ軸は紙面に垂直な方向とする。図９は実空間における
道路構造を示しており、図９（ａ）は現時刻におけるカ
メラに十分近い位置での道路構造、図９（ｂ）は前時刻
における道路構造認識結果、図９（ｃ）は現時刻におけ
る道路構造認識結果を表し、８１は前時刻における座標
軸を表す。
ついて、以下にその動作を説明する。ここで、図８は画
像と実空間の関係を示しており、７１はレンズ中心、７
２は画像の座標軸、７３は実空間の座標軸、７４は画像
中の位置、７５は実空間の位置を表す。ただし、ともに
ｙ軸は紙面に垂直な方向とする。図９は実空間における
道路構造を示しており、図９（ａ）は現時刻におけるカ
メラに十分近い位置での道路構造、図９（ｂ）は前時刻
における道路構造認識結果、図９（ｃ）は現時刻におけ
る道路構造認識結果を表し、８１は前時刻における座標
軸を表す。
【００４０】道路構造認識手段１３において、カメラが
走行車両後方に設置され進行方向と反対方向を連続撮影
しているような場合を考え、カメラに十分近い位置では
道路は水平であることを仮定する。前記画像入力部１１
により入力された図２に示すような画像データ１５を読
み込み、カメラに十分近い位置で画像中の白線の位置
（ｉｘ，ｉｙ）を検出する。図８に示すように、焦点距
離をｆ、レンズ中心の高さをｈ、水平方向からカメラ光
軸への角度をθとすると、前記仮定に基づき、実空間に
おける白線の位置（ｐｘ，ｐｙ，ｐｚ）は（数１）のよ
うになる。
走行車両後方に設置され進行方向と反対方向を連続撮影
しているような場合を考え、カメラに十分近い位置では
道路は水平であることを仮定する。前記画像入力部１１
により入力された図２に示すような画像データ１５を読
み込み、カメラに十分近い位置で画像中の白線の位置
（ｉｘ，ｉｙ）を検出する。図８に示すように、焦点距
離をｆ、レンズ中心の高さをｈ、水平方向からカメラ光
軸への角度をθとすると、前記仮定に基づき、実空間に
おける白線の位置（ｐｘ，ｐｙ，ｐｚ）は（数１）のよ
うになる。
【００４１】
【数１】
検出した画像中のカメラに十分近い範囲の白線のすべて
の位置から（数１）により実空間における白線の位置を
算出し、曲線をあてはめると図９（ａ）に示すようなカ
メラに十分近い位置の実空間における道路構造が求めら
れる。
の位置から（数１）により実空間における白線の位置を
算出し、曲線をあてはめると図９（ａ）に示すようなカ
メラに十分近い位置の実空間における道路構造が求めら
れる。
【００４２】ここで前時刻において、前時刻における座
標軸で図９（ｂ）に示すような実空間における道路構造
が出力されていたとする。また、前時刻から現時刻まで
の車両自身の移動量、つまり前時刻における座標軸から
現時刻における座標軸への平行移動量と回転角度を車両
側から別途入手する。そこで、現時刻において求めた図
９（ａ）に示すカメラに十分近い位置の道路構造に、前
時刻における図９（ｂ）に示す道路構造を、前記移動量
を基に接続することにより図９（ｃ）に示すような現時
刻における道路構造を得ることができ、これを道路構造
情報１７として保持する。
標軸で図９（ｂ）に示すような実空間における道路構造
が出力されていたとする。また、前時刻から現時刻まで
の車両自身の移動量、つまり前時刻における座標軸から
現時刻における座標軸への平行移動量と回転角度を車両
側から別途入手する。そこで、現時刻において求めた図
９（ａ）に示すカメラに十分近い位置の道路構造に、前
時刻における図９（ｂ）に示す道路構造を、前記移動量
を基に接続することにより図９（ｃ）に示すような現時
刻における道路構造を得ることができ、これを道路構造
情報１７として保持する。
【００４３】
【発明の効果】以上のように本発明によれば、カメラ自
身が動いている場合、かつ道路面が水平でない場合にお
いても、可視カメラ１台のみの画像から距離を正確に測
定できるという有利な効果が得られる。
身が動いている場合、かつ道路面が水平でない場合にお
いても、可視カメラ１台のみの画像から距離を正確に測
定できるという有利な効果が得られる。
【図１】本発明の実施の形態１における距離測定装置を
示すブロック図
示すブロック図
【図２】本発明の実施の形態１における画像データの例
を示す図
を示す図
【図３】本発明の実施の形態１における微分２値画像の
例を示す図
例を示す図
【図４】本発明の実施の形態１における道路構造の認識
結果の例を示す図
結果の例を示す図
【図５】本発明の実施の形態１における道路エッジ検出
とその対応の例を示す図
とその対応の例を示す図
【図６】本発明の実施の形態２における距離測定装置を
示すブロック図
示すブロック図
【図７】本発明の実施の形態２における学習画像の例を
示す図
示す図
【図８】本発明の実施の形態３における画像と実空間の
関係を示す図
関係を示す図
【図９】本発明の実施の形態３における実空間の道路構
造を示す図
造を示す図
【図１０】従来の距離測定方式の説明図
１１ 画像入力部
１２ 物体検出手段
１３ 道路構造認識手段
１４ 距離算出手段
１５ 画像データ
１６ 位置情報
１７ 道路構造情報
１８ 測定結果
１９ 物体学習画像データベース
２１ 検出対象物体
２２ 物体の位置
２３ 道路
２４、２５ 白線
３１ 先行車両モデル
４１ 水平面上の道路形状
４２ 縦断面上の道路形状
４３ 道路エッジの対応を表す線分
４４ 実空間上の位置
５１、５２ 道路エッジ
５３ 道路エッジの対応を表す線分
７１ レンズ中心
７２ 画像の座標軸
７３ 実空間の座標軸
７４ 画像中の位置
７５ 実空間の位置
８１ 前時刻における座標軸
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平９−48299（ＪＰ，Ａ)
特開 平11−259658（ＪＰ，Ａ)
特開 平５−46730（ＪＰ，Ａ)
特開 平11−232426（ＪＰ，Ａ)
特開 平７−120258（ＪＰ，Ａ)
中嶋正之 外２名，高速道路における
先行車の同定と追跡，情報処理学会研究
報告，社団法人情報処理学会，1985年
７月18日，Ｖｏｌ．85，Ｎｏ．26，ＣＶ
37−４，ｐ．１〜８
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01C 3/06
G01B 11/00
G06T 7/60 180
Claims (12)
- 【請求項１】 走行車両に設置されたカメラに十分近い
位置では道路は水平であることを仮定し、この仮定の基
に現時刻の入力画像のカメラに十分近い範囲の道路エッ
ジの位置から実空間の前記道路エッジの位置を求め、更
に、前記実空間の前記道路エッジの位置から現時刻の道
路構造を算出し、前時刻から現時刻までの前記走行車両
の実空間の移動量を用いて、前記前時刻までに求めた前
記道路構造と前記現時刻の道路構造とを接続し、前記現
時刻までの道路構造を算出する道路構造認識方法。 - 【請求項２】 走行車両の実空間の移動量は、前時刻の
入力画像の座標軸から現時刻の入力画像の座標軸への平
行移動量及び回転角度である請求項１記載の道路構造認
識方法。 - 【請求項３】 実空間の道路エッジの位置は、部分画像
に含まれる道路エッジの位置、カメラの焦点距離、カメ
ラのレンズ中心の高さ及びカメラ光軸の傾きから算出さ
れる請求項１又は２記載の道路構造認識方法。 - 【請求項４】 走行車両に設置されたカメラにより撮影
された現時刻の入力画像を用いて、道路上に存在する物
体の前記入力画像中の位置を検出する第１のステップ
と、前記カメラに十分近い位置では道路は水平であるこ
とを仮定し、この仮定の基に前記現時刻の前記入力画像
のカメラに十分近い範囲の道路エッジの位置から実空間
の前記道路エッジの位置を求め、更に、前記実空間の前
記道路エッジの位置から現時刻の道路構造を算出し、前
時刻から現時刻までの前記走行車両の実空間の移動量を
用いて、前記前時刻までに求めた前記道路構造と前記現
時刻の道路構造とを接続し、前記現時刻までの道路構造
を算出する第２のステップと、検出した前記物体の入力
画像中の位置と前記現時刻までの道路構造とを用いて、
カメラから前記物体までの実空間の距離を算出する第３
のステップとを有する距離測定方法。 - 【請求項５】 走行車両の実空間の移動量は、前時刻の
入力画像の座標軸から現時刻の入力画像の座標軸への平
行移動量及び回転角度である請求項４記載の距離測定方
法。 - 【請求項６】 実空間の道路エッジの位置は、部分画像
に含まれる道路エッジの位置、カメラの焦点距離、カメ
ラのレンズ中心の高さ、カメラ光軸の傾きから算出され
る請求項４又は５記載の距離測定方法。 - 【請求項７】 第１のステップは、予め複数の検出対象
物体の特徴を保持しておき、入力画像に含まれる物体の
微分２値画像から直線成分を抽出し、前記直線成分の長
さで表現される前記物体の特徴を求め、前記検出対象物
体の特徴と最も類似する前記物体を抽出し、抽出された
前記物体の位置を検出する請求項４ないし６のいずれか
記載の距離測定方法。 - 【請求項８】 第１のステップは、予めカメラからの距
離が異なる複数の検出対象物体の画像である学習画像を
登録しておき、入力画像に対して前記学習画像を照合
し、最も類似する領域を求めることにより、物体の位置
を検出する請求項４ないし６のいずれか記載の距離測定
方法。 - 【請求項９】 走行車両に設置されたカメラに十分近い
位置では道路は水平であることを仮定し、この仮定の基
に現時刻の入力画像のカメラに十分近い範囲の部分画像
を抽出する部分画像抽出手段と、前記部分画像に含まれ
る道路エッジの位置から実空間の前記道路エッジの位置
を求める実空間道路エッジ検出手段と、前記実空間の前
記道路エッジの位置から現時刻の道路構造を算出する現
時刻道路構造算出手段と、前時刻から現時刻までの前記
走行車両の実空間の移動量を用いて、前記前時刻までに
求めた前記道路構造と前記現時刻の道路構造とを接続
し、前記現時刻までの道路構造を算出する道路構造接続
手段とを有する道路構造認識装置。 - 【請求項１０】 走行車両の実空間の移動量は、前時刻
の入力画像の座標軸から現時刻の入力画像の座標軸への
平行移動量と回転角度である請求項９記載の道路構造認
識装置。 - 【請求項１１】 実空間の道路エッジの位置は、部分画
像に含まれる道路エッジの位置、カメラの焦点距離、カ
メラのレンズ中心の高さ、カメラ光軸の傾きから算出さ
れる請求項９又は１０記載の道路構造認識装置。 - 【請求項１２】 走行車両に設置されたカメラにより撮
影された現時刻の入力画像を用いて、道路上に存在する
物体の前記入力画像中の位置を検出する物体検出手段
と、前記カメラに十分近い位置では道路は水平であるこ
とを仮定し、この仮定の基に前記現時刻の前記入力画像
のカメラに十分近い範囲の道路エッジの位置から実空間
の前記道路エッジの位置を求め、更に、前記実空間の前
記道路エッジの位置から現時刻の道路構造を算出し、前
時刻から現時刻までの前記走行車両の実空間の移動量を
用いて、前記前時刻までに求めた前記道路構造と前記現
時刻の道路構造とを接続し、前記現時刻までの道路構造
を算出する道路構造認識手段と、検出した前記物体の入
力画像中の位置と前記現時刻までの道路構造とを用い
て、カメラから前記物体までの実空間の距離を算出する
距離算出手段を有する距離測定装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29068599A JP3503543B2 (ja) | 1999-10-13 | 1999-10-13 | 道路構造認識方法、距離測定方法及び距離測定装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29068599A JP3503543B2 (ja) | 1999-10-13 | 1999-10-13 | 道路構造認識方法、距離測定方法及び距離測定装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001108434A JP2001108434A (ja) | 2001-04-20 |
| JP3503543B2 true JP3503543B2 (ja) | 2004-03-08 |
Family
ID=17759186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29068599A Expired - Fee Related JP3503543B2 (ja) | 1999-10-13 | 1999-10-13 | 道路構造認識方法、距離測定方法及び距離測定装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3503543B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003315458A (ja) * | 2002-04-23 | 2003-11-06 | Daihatsu Motor Co Ltd | 前方車両の認識装置及び認識方法 |
| US20060061008A1 (en) | 2004-09-14 | 2006-03-23 | Lee Karner | Mounting assembly for vehicle interior mirror |
| JP4810893B2 (ja) * | 2005-06-20 | 2011-11-09 | 株式会社豊田中央研究所 | 距離計測装置 |
| US8698894B2 (en) | 2006-02-07 | 2014-04-15 | Magna Electronics Inc. | Camera mounted at rear of vehicle |
| JP2009169776A (ja) * | 2008-01-18 | 2009-07-30 | Hitachi Ltd | 検出装置 |
| US9264672B2 (en) | 2010-12-22 | 2016-02-16 | Magna Mirrors Of America, Inc. | Vision display system for vehicle |
| EP3364336B1 (en) * | 2017-02-20 | 2023-12-20 | Continental Autonomous Mobility Germany GmbH | A method and apparatus for estimating a range of a moving object |
| JP7204326B2 (ja) * | 2018-01-15 | 2023-01-16 | キヤノン株式会社 | 情報処理装置及びその制御方法及びプログラム、並びに、車両の運転支援システム |
-
1999
- 1999-10-13 JP JP29068599A patent/JP3503543B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 中嶋正之 外２名，高速道路における先行車の同定と追跡，情報処理学会研究報告，社団法人情報処理学会，１９８５年 ７月１８日，Ｖｏｌ．８５，Ｎｏ．２６，ＣＶ３７−４，ｐ．１〜８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001108434A (ja) | 2001-04-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Toulminet et al. | Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis | |
| US7667581B2 (en) | Pedestrian detector and detecting method using change of velocity of object in image | |
| JP4328692B2 (ja) | 物体検出装置 | |
| CN102317954B (zh) | 检测对象的方法 | |
| EP0747870B1 (en) | An object observing method and device with two or more cameras | |
| JP3937414B2 (ja) | 平面検出装置及び検出方法 | |
| US20020134151A1 (en) | Apparatus and method for measuring distances | |
| US20130010074A1 (en) | Measurement apparatus, measurement method, and feature identification apparatus | |
| CN107272021A (zh) | 使用雷达和视觉定义的图像检测区域的对象检测 | |
| JP2016029557A (ja) | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム | |
| JP2000357233A (ja) | 物体認識装置 | |
| JP2000517452A (ja) | 視認の方法 | |
| JPH11252587A (ja) | 物体追跡装置 | |
| JP3503543B2 (ja) | 道路構造認識方法、距離測定方法及び距離測定装置 | |
| Soheilian et al. | 3D road marking reconstruction from street-level calibrated stereo pairs | |
| JPH09297849A (ja) | 車両検出装置 | |
| JP2006053754A (ja) | 平面検出装置及び検出方法 | |
| JP5981284B2 (ja) | 対象物検出装置、及び対象物検出方法 | |
| JP4270386B2 (ja) | 移動体移動量算出装置 | |
| JP3465531B2 (ja) | 物体認識方法およびその装置 | |
| JP3586938B2 (ja) | 車載用距離測定装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| GB2344205A (en) | Vehicle identification | |
| JPH1055446A (ja) | 物体認識装置 | |
| JP5472928B2 (ja) | 対象物検出装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20031201 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071219 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081219 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091219 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |