[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2003098424A - 画像処理測距装置 - Google Patents

画像処理測距装置

Info

Publication number
JP2003098424A
JP2003098424A JP2001292160A JP2001292160A JP2003098424A JP 2003098424 A JP2003098424 A JP 2003098424A JP 2001292160 A JP2001292160 A JP 2001292160A JP 2001292160 A JP2001292160 A JP 2001292160A JP 2003098424 A JP2003098424 A JP 2003098424A
Authority
JP
Japan
Prior art keywords
image
pattern
unit
images
distance measuring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001292160A
Other languages
English (en)
Inventor
Nobukazu Shima
伸和 島
Akihiro Ota
明宏 太田
Kenji Oka
謙治 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Ten Ltd
Original Assignee
Denso Ten Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Ten Ltd filed Critical Denso Ten Ltd
Priority to JP2001292160A priority Critical patent/JP2003098424A/ja
Priority to US10/254,035 priority patent/US7266221B2/en
Publication of JP2003098424A publication Critical patent/JP2003098424A/ja
Priority to US11/839,701 priority patent/US7729516B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Focusing (AREA)

Abstract

(57)【要約】 【課題】 斜め成分の多いエッジを有する物体を認識し
測距するに際し、未認識をなくし、高速処理を実現した
画像処理測距装置を提供する。 【解決手段】 画像入力部１から取得した元画像の一方
の画像サイズを、横縮小変更部７により横方向に縮小す
る。横縮小することにより、斜め成分が多いエッジにつ
いても特徴抽出部１１にて、縦エッジとして抽出しやす
くなり、物体の認識を確実にできるようになる。抽出し
たエッジにより他方の元画像から所定のパターンを抽出
し、左右の画像の視差に基づいて測距を行う。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像処理により前
方の物体の認識及び測距を行う画像処理測距装置に関す
る。本発明の画像処理測距装置は、例えば、自動車の運
転支援装置などに使用される。
【０００２】
【従来の技術】複眼カメラを使用した画像処理による測
距システムは距離画像方式が一般的である。この方式で
は、処理量が多く、高性能なＣＰＵ及び大規模な回路構
成が要求される。処理量を減らし、かつ精度を出すため
の方式として、特徴の多い箇所を画面中から抽出し、そ
の抽出位置でのみ測距を行う方式がある。特徴箇所の抽
出方式としては、例えばエッジ抽出などによる特徴抽出
処理を用いる。また、距離の測定（測距）のために、パ
ターンマッチング処理が用いられる。この方式によれ
ば、より少ない処理量で上記距離画像方式と同レベルの
高性能な測距を行える。
【０００３】
【発明が解決しようとする課題】しかし、上記のエッジ
抽出及びパターンマッチング処理を用いた方式には、以
下の問題点がある。 （１）特徴抽出処理で縦エッジが抽出されないと、前方
に認識対象物体があるにもかかわらず未測距をしてしま
う。特に、斜め成分の多いエッジを有する物体は、エッ
ジ抽出処理により特徴の多い箇所を検出しにくい。 （２）精度良く特徴抽出をしようとすると、処理量が増
え、処理時間がかかる。このため、処理量を減らす必要
がある。 （３）ワイパーなどが複眼カメラの前を通過して画面に
映り込むことがある。映り込んだワイパーによる未測
距、誤測距は防止しなければならない。
【０００４】本発明は、斜め成分の多いエッジを有する
物体などが測距対象となる場合においても、正確で高速
な処理を実現した画像処理測距装置を提供することを目
的とするものである。また、本発明は、画像処理測距装
置において、ワイパーなどの影響による誤測距を取り除
くためのダイアグノーシス機能を有する画像処理測距装
置を提供することを目的とする。
【０００５】
【課題を解決するための手段】本発明は、上記問題点を
達成するためになされたものである。本発明の画像処理
測距装置においては、複眼カメラから入力される２つの
元画像の一方から特徴端点抽出用に画像サイズを変更し
た画像を取得する。例えば、物体の縦エッジが斜め成分
の多いものであっても、画像サイズを横方向に縮小する
ことにより斜めエッジが縦エッジに近くなるため、特徴
抽出部にて特徴端点を確実に抽出することができ、未測
距を防止することができる。
【０００６】前記画像サイズを変更した画像から、抽出
された特徴端点の座標が抽出される。前記一方の元画像
から特徴端点を含む既定サイズのパターンが抽出され
る。前記元画像の他方において、前記パターンと同一軸
上が探索され、前記パターンに対して最も相関が取れた
位置の座標が検出される。そして、前記２つの画像にお
けるパターンの抽出座標の視差から、前方の物体の認識
及び測距がされる。
【０００７】本発明の画像処理測距装置によれば、上記
のように、物体のエッジが斜め成分の多いものであって
も、特徴端点（縦エッジ）を確実に抽出することがで
き、未測距を防止できる。なお、画像サイズの変更は、
横縮小に限定されるものではなく、抽出しようとするエ
ッジの方向に応じて、縦方向にあるいは斜め方向に縮小
することもできる。
【０００８】本発明は種々の変形が可能である。横縮小
した２画像を用いて特徴端点抽出と測距をすると同時
に、２つの元画像を用いて特徴端点抽出と測距をし、２
つの結果を融合処理することにより、より精度の高い物
体の認識及び測距が可能になる。ただし、この方式で
は、処理量が増加する。これに対して、元画像の代わり
に、画像サイズを縦縮小した画像を用いることにより、
処理量を減らすことができる。縦縮小した画像を使用す
ることにより、測距の精度は維持したまま、処理量を減
らすことができる。
【０００９】上記のように横縮小した画像と縦縮小した
画像を使用する場合、横縮小した画像では特徴端点を抽
出するのみとし、測距を縦縮小した画像にて行うことが
できる。これにより、処理の高速化と測距精度の向上の
両方を実現することができる。この場合、更に、縦縮小
した画像によっても特徴端点の抽出を行い、横縮小画像
から抽出した特徴端点と融合処理することにより、精度
の高い物体の認識ができる。
【００１０】本発明は、上記のような画像処理測距装置
において、カメラに目標の物体以外のものが映り込んで
いることを診断するダイアグノーシス機能（以下、「ダ
イアグノーシス」は「ダイアグ」と略称する。）を提供
する。このダイアグ機能として、複眼カメラから入力さ
れる２画像又は、１つのカメラから前後して入力されて
くる２画像のそれぞれにおいて、画面の縦方向の濃度投
影値を求め、２つの投影値の差が大きいときは、画像に
写りこみがあると判断し、ダイアグ信号を出力する。
【００１１】画像処理測距装置のカメラは、車両の前方
に配置されるため、カメラにワイパーなどが映り込むこ
とがある。ワイパーはカメラに接近した位置を通過し、
その移動速度は、カメラからの画像取り込み速度に比べ
ると遅い。このため、映り込みは２つの画像のうちの１
つの画像のみに発生するので、上記縦方向の濃度投影値
の差の大小により、映り込みの有無を判定することがで
きる。映り込みがあると判定されると信号が出力され
る。この信号が出力された画像については、物体の認識
及び測距の対象から除外することができる。
【００１２】
【発明の実施の形態】本発明の実施形態について図を用
いて説明する。 （実施形態１）図１を用いて、本発明の実施形態１の画
像処理測距装置について説明する。図示の画像処理測距
装置は、自動車走行制御装置に使用した例を説明する。
ＣＣＤカメラ等の画像入力部が、車両の前方に向けて取
り付けられる。画像入力部は複眼カメラを構成し、左画
像入力部１と右画像入力部２を有する。各画像入力部
１、２から出力された画像は、画像処理測距装置３に入
力される。画像処理測距装置３にて測距された結果のデ
ータは、例えば車間制御装置などの制御装置４に出力さ
れる。
【００１３】画像処理測距装置３においては、入力され
た左右の画像は、それぞれ左画像メモリ５、右画像メモ
リ６に記憶される。これらの画像が元画像となる。横縮
小変更部７は、左画像メモリ５に記憶された元画像の画
像サイズを横方向に縮小した横縮小画像を作成し、記憶
する。図２を用いて、横縮小画像について説明する。
（Ａ）が元画像、（Ｂ）が横縮小画像である。元画像の
画像サイズは、横がＸ画素分、縦がＹ画素分であれば、
横縮小画像の画像サイズは、横Ｘ／４画素分、縦Ｙ画素
分である。
【００１４】特徴抽出部１１は、横縮小画像から特徴端
点（縦エッジ）を抽出する。画面の水平軸上を走査し、
明度、色相などの変化があったときにエッジが検出され
る。このエッジが縦方向に連続して検出されると、縦エ
ッジとして抽出される。図２に示した例では、元画像
（Ａ）における前方の車両は、その外形に斜め方向のエ
ッジを含んでいる。斜め方向のエッジは、通常のエッジ
抽出では、縦エッジとして抽出されにくい。これに対
し、横縮小画像（Ｂ）においては、斜め方向のエッジが
立ってきて縦エッジに近くなるので、特徴端点を確実に
抽出することができる。
【００１５】パターン抽出部１３は、左画像メモリ５に
記憶された元画像において、抽出した特徴端点に対応す
る位置から、既定サイズのパターンと、その座標を抽出
する。測距部１５は、右画像メモリ６に記憶された元画
像において、左元画像から抽出したパターンの座標と同
一水平軸上を探索し、パターンと最も相関が取れた位置
の座標を検出する。そして、左元画像のパターン座標と
右元画像のパターン座標との視差から、物体までの距離
を算出する。
【００１６】測距部１５は、測距の結果として物体の認
識と物体までの距離を制御装置４に出力する。制御装置
４では、入力された測距の結果を使用して、車間距離制
御などを行う。
【００１７】以上説明した画像処理測距装置によれば、
画像サイズを横縮小することにより、斜め成分の多いエ
ッジについても特徴抽出部１１で特徴端点として縦エッ
ジを確実に検出できるようになり、未測距をなくすこと
ができる。なお、本例においては、画像サイズを横方向
に縮小しているが、これは縦縮小又はその他の方向の縮
小に変更可能である。例えば、縦縮小は、複眼カメラを
縦方向に配置して横エッジを抽出する場合に有効であ
る。
【００１８】（実施形態２）図３を用いて、画像処理測
距装置の実施形態２について説明する。以下の説明にお
いては、前述の図１と異なる点を中心に説明し、重複す
る説明は省略する。本例においては、左右両方の元画像
が横縮小され、左右の横縮小画像同士の視差による測距
と、左右の元画像同士の視差による測距がされ、横縮小
画像による結果と元画像による結果との融合により、更
に測距がされる。
【００１９】左右の横縮小変更部７、８が、左右の画像
メモリ５、６に記憶された元画像の両方を横方向に縮小
し、記憶する。特徴抽出部１１が左横縮小画像から縦エ
ッジを抽出すると、パターン抽出部１３は、同じ左横縮
小画像において、縦エッジの抽出位置から、既定サイズ
のパターンと、その座標を抽出する。
【００２０】測距部１５は、右横縮小画像から、前記パ
ターンに対して最も相関が取れた位置の座標を抽出す
る。そして、左横縮小画像と右横縮小画像のパターン座
標の視差から、物体までの距離を算出する。この測距結
果は、融合処理部１７に出力される。
【００２１】左右の画像メモリ５、６に記憶された元画
像についても同様の処理がされる。特徴抽出部１２が左
元画像から縦エッジを抽出する。パターン抽出部１４
は、同じ左元画像において、縦エッジの抽出位置から、
既定サイズのパターンと、その座標を抽出する。測距部
１６は、右元画像から、前記パターンに対して最も相関
が取れた位置の座標を抽出する。そして、左右画像のパ
ターン座標の視差から、物体までの距離を算出する。こ
の測距結果は、融合処理部１７に出力される。
【００２２】融合処理部１７では、横縮小画像から得た
結果と元画像から得た結果の両方を考慮して、物体の認
識と物体までの距離の決定する。横縮小画像から得た結
果は、物体の認識の精度が高く、元画像から得た結果
は、距離の精度が高い。融合処理部１７では、このよう
な特徴を考慮に入れて、精度の高い測距を行う。
【００２３】（実施形態３）上記の実施形態２において
は、測距の精度は向上するが、横縮小画像と元画像の両
方に対しエッジ抽出とパターン抽出処理を行うことにな
るので、処理量が２倍かかることになる。したがって、
処理時間などに影響を及ぼす。本例においては、上記実
施形態２における元画像の代わりに縦縮小画像を使用す
ることで、処理量を低減する。
【００２４】図４は、画像処理測距装置の実施形態３の
回路構成を示す。前述の図３と異なる点は、左右の画像
メモリ５、６に記憶した元画像を縦方向に縮小し、記憶
する縦縮小変更部９、１０が設けられた点である。図５
を用いて、縦縮小画像について説明する。（Ａ）が横縮
小画像、（Ｂ）が縦縮小画像である。縦縮小画像の画像
サイズは、横がＸ画素分、縦がＹ画素分であれば、縦縮
小画像の画像サイズは、横Ｘ画素分、縦Ｙ／２画素分で
ある。縦縮小画像では、測距の精度を決定する横方向の
画像数は減らないので、高精度の測距が補償される。縦
方向の画像数が減少することにより処理量が減少する。
したがって、縦縮小画像を使用することにより処理を高
速化できる。
【００２５】左右の縦縮小画像は、上記の実施形態２に
おける元画像と同様に、特徴抽出部１２、パターン抽出
部１４、測距部１６により測距処理される。測距の結果
は、測距部１６から融合処理部１７に出力される。融合
処理部１７では、横縮小画像から得た結果と縦縮小画像
から得た結果の両方を考慮して、物体の認識と物体まで
の距離の決定する。
【００２６】（実施形態４）図６を用いて、画像処理測
距装置の実施形態４について説明する。横縮小変更部７
が左画像メモリ５の元画像から横方向に縮小した画像を
作成し、記憶する。特徴抽出部１１が、横縮小画像から
抽出した物体の縦エッジを抽出して縦エッジ融合抽出部
１８に出力する。本例では、横縮小画像については、縦
エッジを抽出するのみで、測距は行わない。
【００２７】縦縮小画像については、縦縮小変更部９、
１０により縦縮小画像が作成記憶され、特徴抽出部１２
により抽出された縦エッジが縦エッジ融合処理部１８に
入力される。縦エッジ融合抽出部１８では、両方の縦エ
ッジを考慮して更に物体の縦エッジを決定する。例え
ば、横縮小画像から抽出した特徴端点の検出位置を中心
にして、縦縮小画像から、同一物体に対する特徴端点を
検出する。
【００２８】パターン抽出部１４は、縦エッジ融合抽出
部１８が抽出した縦エッジに基づいて、左縦縮小画像か
らパターンを抽出する。測距部１６は、左右縦縮小画像
のパターン座標の視差から物体までの距離を算出する。
本例によれば、精度の高い方の画像中から縦エッジを得
て、物体の認識及び測距処理を行えるので、処理時間の
高速化と距離精度の両立を実現することができる。
【００２９】（実施形態５）左右画像入力部１、２は、
前方を監視するために、フロントガラスの車両内側に配
置される。このため、ワイパーが動作したときワイパー
自身が画像に映り込むことがある。ワイパーが映りこん
だ画像を処理して測距を行うと、未測距、誤測距の原因
となる。本例は、ワイパーの映り込みによる不都合を防
止するためのダイアグ機能に関するものである。
【００３０】図７は、画像処理測距装置３のダイアグ機
能の部分を取り出して示す図である。左右の画像メモリ
５、６に記憶された元画像のそれぞれについて、濃度投
影部１９、２０により、それぞれの画面の縦方向の濃度
投影を行う。
【００３１】図８を用いて、濃度投影について説明す
る。（Ａ）は左画像入力部１により取得した画像であ
り、ワイパー２１が映りこんだ状況にある。（Ｂ）は右
画像入力部２により取得した画像であり、ここにはワイ
パー２１は映っていない。ワイパーの移動速度は、画像
入力部からの画像取り込み速度に比べるとはるかに遅
い。したがって、（Ａ）（Ｂ）に示すように、ワイパー
が左右画像入力部１、２に同時に写ることはない。
【００３２】（Ｃ）は、左右の画像（Ａ）（Ｂ）の縦方
向に濃度を投影したものである。つまり、縦方向の画素
の輝度値を集計したものである。図示の例では、左画像
（Ａ）のワイパー２１が映り込んだ部分は濃度が低下し
ている。比較部２２により左右の濃度投影値を比較し、
判定部２３にて、その差が所定の基準値を超えるか否か
を判定する。比較の結果、濃度差が基準値を超えると、
映り込みがあったと判定してダイアグ信号を出力する。
【００３３】このダイアグ信号は、前述の測距部１５、
１６に出力される。測距部１５、１６では、ダイアグ信
号が検出された画像については、測距処理を行わない。
本例によれば、ワイパーが動作する雨天においても、良
好な測距結果が得られる。
【００３４】（実施形態６）前述の実施形態５のよう
に、左右の画像から得た濃度投影値を比較する代わり
に、左右いずれか一方の画像において、時間的に前後し
て入力された画像の比較によってダイアグ信号を得るこ
とができる。図９は、一つの画像を使用してダイアグ信
号を得る場合の回路構成を示す。濃度投影部１９が、左
画像メモリ５に記憶された画像の濃度投影を行う。この
濃度投影の結果は、比較部２２に入力され、その後メモ
リ２４に前回濃度投影値として記憶される。
【００３５】比較部２２は、濃度投影部１９に記憶され
た今回の濃度値とメモリ２４に記憶された前回の濃度投
影値とを比較する。判定部２３の動作は、前述の実施形
態５と同様である。
【００３６】
【発明の効果】本発明によれば、斜め成分の多いエッジ
を有する物体を認識し、測距するに際し、未認識をなく
し、高速処理を実現した画像処理測距装置を提供するこ
とができる。また、本発明によれば、画像処理測距装置
において、ワイパーなどの影響による誤測距を取り除く
ためのダイアグノーシス機能を有する画像処理測距装置
を提供することができる。
【図面の簡単な説明】
【図１】本発明の画像処理測距装置の実施形態１の構成
を示す図である。
【図２】図１における元画像と横縮小画像を示す図であ
る。
【図３】本発明の画像処理測距装置の実施形態２の構成
を示す図である。
【図４】本発明の画像処理測距装置の実施形態３の構成
を示す図である。
【図５】図４における横縮小画像と縦縮小画像を示す図
である。
【図６】本発明の画像処理測距装置の実施形態４の構成
を示す図である。
【図７】本発明の画像処理測距装置の実施形態５の構成
を示す図である。
【図８】図７における濃度投影を説明する図である。
【図９】本発明の画像処理測距装置の実施形態６の構成
を示す図である。
【符号の説明】
１、２…左右の画像入力部 ３…画像処理測距装置 ４…制御装置 ５、６…左右の画像メモリ ７、８…横縮小変更部 ９、１０…縦縮小変更部 １１、１２…特徴抽出部 １３、１４…パターン抽出部 １５、１６…測距部 １７…融合処理部 １８…縦エッジ融合抽出部 １９、２０…濃度投影部 ２１…ワイパー ２２…比較部 ２３…判定部 ２４…メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３１５ Ｈ０４Ｎ 7/18 Ｃ ５Ｃ０２２ 7/60 １５０ Ｊ ５Ｃ０５４ １８０ Ｇ０２Ｂ 7/11 Ｎ ５Ｌ０９６ Ｈ０４Ｎ 5/225 Ｈ 7/18 Ｄ Ｇ０３Ｂ 3/00 Ａ Ｇ０１Ｂ 11/24 Ｋ (72)発明者 岡 謙治 兵庫県神戸市兵庫区御所通１丁目２番28号 富士通テン株式会社内 Ｆターム(参考） 2F065 AA06 AA12 AA51 DD04 DD06 FF04 JJ05 JJ26 QQ24 QQ25 QQ31 QQ38 2F112 AC06 BA05 BA07 CA02 FA03 FA21 FA38 2H011 AA06 BA31 BB03 BB06 2H051 AA07 BA47 CB26 CE11 CE14 CE21 5B057 AA16 BA13 CA08 CA13 CA16 CD05 DA07 DA08 DB03 DC02 DC16 DC32 5C022 AA04 AB61 AC69 5C054 AA01 CA04 CE15 CH01 EA01 EC07 ED07 ED12 FC15 FF07 HA30 5L096 AA06 AA09 BA04 CA05 DA02 EA03 FA06 FA34 FA66 FA69 HA07

Claims (9)

    【特許請求の範囲】
  1. 【請求項１】 前方に向けて取り付けた複眼カメラから
    入力される２つの元画像の一方から、画像サイズを変更
    した画像を取得する画像サイズ変更部と、 画像サイズを変更した画像中から特徴端点を抽出する特
    徴抽出部と、 前記一方の元画像から前記特徴端点を含む既定サイズの
    パターン及びその座標を抽出するパターン抽出部と、 前記２画像の他方の元画像において、前記パターンと同
    一軸上を探索し、前記パターンに対して最も相関が取れ
    た位置の座標を検出し、前記２つの元画像におけるパタ
    ーン抽出位置の視差から、前方の物体の認識及び物体ま
    での距離を求める測距部と、 を具備することを特徴とする画像処理測距装置。
  2. 【請求項２】 前記画像サイズ変更部は、前記元画像の
    横方向のサイズを縮小する請求項１に記載の画像処理測
    距装置。
  3. 【請求項３】 前方に向けて取り付けた複眼カメラから
    入力される２つの元画像のそれぞれから、横方向の画像
    サイズを縮小した横縮小画像を取得する第１の画像サイ
    ズ変更部と、 前記横縮小画像の一方から特徴端点を抽出する第１の特
    徴抽出部と、 前記一方の横縮小画像から前記特徴端点を含む規定サイ
    ズのパターン及びその座標を抽出する第１のパターン抽
    出部と、 前記横縮小画像の他方の画像において、前記パターンと
    同一軸上を探索し、前記パターンに対して最も相関が取
    れた位置の座標を検出し、前記２つの横縮小画像におけ
    るパターン抽出位置の視差から、前方の物体の認識及び
    物体までの距離を求める第１の測距部と、 前記複眼カメラから入力される２つの元画像の一方か
    ら、特徴端点を抽出する第２の特徴抽出部と、 前記一方の元画像から前記特徴端点を含む規定サイズの
    パターン及びその座標を抽出する第２のパターン抽出部
    と、 前記２つの画像の他方の画像において、前記パターンと
    同一軸上を探索し、前記パターンに対して最も相関が取
    れた位置の座標を検出し、前記２つの元画像のパターン
    抽出位置の視差から、前方の物体の認識及び物体までの
    距離を求める第２の測距部と、 前記第１及び第２の測距装置の測距結果を融合処理し
    て、更に物体の認識及び測距を行う融合処理部と、 を具備することを特徴とする画像処理測距装置。
  4. 【請求項４】 前方に向けて取り付けた複眼カメラから
    入力される２つの元画像のそれぞれから、横方向のサイ
    ズを縮小した横縮小画像を取得する第１の画像サイズ変
    更部と、 前記横縮小画像の一方から特徴端点を抽出する第１の特
    徴抽出部と、 前記一方の横縮小画像から前記特徴端点を含む規定サイ
    ズのパターン及びその座標を抽出する第１のパターン抽
    出部と、 前記横縮小画像の他方の画像において、前記パターンと
    同一軸上を探索し、前記パターンに対して最も相関が取
    れた位置の座標を検出し、前記２つの横縮小画像におけ
    るパターン抽出位置の視差から、前方の物体の認識及び
    物体までの距離を求める第１の測距部と、 前記２つの元画像のそれぞれから、縦方向のサイズを縮
    小した縦縮小画像を取得する第２の画像サイズ変更部
    と、 前記縦縮小画像の一方から特徴端点を抽出する第２の特
    徴抽出部と、 前記一方の縦縮小画像から前記特徴端点を含む規定サイ
    ズのパターン及びその座標を抽出する第２のパターン抽
    出部と、 前記縦縮小画像の他方の画像において、前記パターンと
    同一軸上を探索し、前記パターンに対して最も相関が取
    れた位置の座標を検出し、前記２つの縦縮小画像におけ
    るパターン抽出位置の視差から、前方の物体の認識及び
    物体までの距離を求める第２の測距部と、 前記第１及び第２の測距装置の測距結果を融合処理し
    て、更に物体の認識及び測距を行う融合処理部と、 を具備することを特徴とする画像処理測距装置。
  5. 【請求項５】 前方に向けて取り付けた複眼カメラから
    入力される２つの元画像のそれぞれから、横方向のサイ
    ズを縮小した横縮小画像を取得する第１の画像サイズ変
    更部と、 前記横縮小画像の一方から特徴端点を抽出する第１の特
    徴抽出部と、 前記２つの元画像のそれぞれから、縦方向のサイズを縮
    小した縦縮小画像を取得する第２の画像サイズ変更部
    と、 前記縦縮小画像の一方から特徴端点を抽出する第２の特
    徴抽出部と、 前記第１及び第２の特徴抽出部の抽出結果を融合処理し
    て、更に特徴端点を抽出する特徴端点融合抽出部と、 前記縦縮小画像の一方から、前記特徴端点融合抽出部が
    抽出した特徴端点を含む規定サイズのパターン及びその
    座標を抽出するパターン抽出部と、 前記縦縮小画像の他方の画像において、前記パターンと
    同一軸上を探索し、前記パターンに対して最も相関が取
    れた位置の座標を検出し、前記２つの縦縮小画像におけ
    るパターン抽出位置の視差から、前方の物体の認識及び
    物体までの距離を求める第２の測距部と、 を具備することを特徴とする画像処理測距装置。
  6. 【請求項６】 前記特徴端点融合抽出部は、前記第２の
    特徴抽出部の抽出結果中から、前記第１の特徴抽出部の
    抽出結果を中心に、同一物体に対する特徴端点を検出す
    る請求項５に記載の画像処理測距装置。
  7. 【請求項７】 前方に向けて取り付けた複眼カメラから
    入力される２画像を処理することにより前方の物体の認
    識及び測距を行う画像処理測距装置において、 前記２画像のそれぞれにおいて、画面の縦方向の濃度投
    影値を求める濃度投影部と、 前記２つの投影値を比較する比較部と、 この比較部の比較の結果、２つの投影値の差が大きいと
    きは、一方の画像に映り込みがあると判断することで、
    信号を出力する判定部と、 を具備することを特徴とする画像処理測距装置。
  8. 【請求項８】 前方に向けて取り付けたカメラから入力
    される画像を処理することにより前方の物体の認識及び
    測距を行う画像処理測距装置において、 前記カメラから今回入力された画像と、前回入力された
    画像のそれぞれにおいて、画面の縦方向の濃度投影値を
    求める濃度投影部と、 前記２つの投影値を比較する比較部と、 この比較部の比較の結果、２つの投影値の差が大きいと
    きは、一方の画像にワイパーが映り込んでいると判断す
    ることで、信号を出力する判定部と、 を具備することを特徴とする画像処理測距装置。
  9. 【請求項９】 前記信号が出力された画像を除外して、
    前記前方の物体の認識及び測距を行う測距部を具備する
    請求項７又は８に記載の画像処理測距装置。
JP2001292160A 2001-09-25 2001-09-25 画像処理測距装置 Pending JP2003098424A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2001292160A JP2003098424A (ja) 2001-09-25 2001-09-25 画像処理測距装置
US10/254,035 US7266221B2 (en) 2001-09-25 2002-09-24 Ranging device utilizing image processing
US11/839,701 US7729516B2 (en) 2001-09-25 2007-08-16 Ranging device utilizing image processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001292160A JP2003098424A (ja) 2001-09-25 2001-09-25 画像処理測距装置

Publications (1)

Publication Number Publication Date
JP2003098424A true JP2003098424A (ja) 2003-04-03

Family

ID=19114175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001292160A Pending JP2003098424A (ja) 2001-09-25 2001-09-25 画像処理測距装置

Country Status (2)

Country Link
US (2) US7266221B2 (ja)
JP (1) JP2003098424A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005351711A (ja) * 2004-06-09 2005-12-22 Topcon Corp 測量機
JP2007271386A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム
JP2011118182A (ja) * 2009-12-03 2011-06-16 Canon Inc レンズ装置及び撮像装置
JP2018032986A (ja) * 2016-08-24 2018-03-01 ソニー株式会社 情報処理装置および方法、車両、並びに情報処理システム
JP2018096798A (ja) * 2016-12-12 2018-06-21 株式会社Ｓｏｋｅｎ 物標検出装置

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
US7196305B2 (en) * 2005-01-18 2007-03-27 Ford Global Technologies, Llc Vehicle imaging processing system and method having obstructed image detection
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4426535B2 (ja) * 2006-01-17 2010-03-03 本田技研工業株式会社 車両の周辺監視装置
KR100762670B1 (ko) * 2006-06-07 2007-10-01 삼성전자주식회사 스테레오 이미지로부터 디스패리티 맵을 생성하는 방법 및장치와 그를 위한 스테레오 매칭 방법 및 장치
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
US8576281B2 (en) * 2007-09-12 2013-11-05 Its-7 Pty Ltd Smart network camera system-on-a-chip
FR2921027B1 (fr) * 2007-09-17 2010-02-26 Valeo Vision Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique
JP2009225322A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 車両用情報表示システム
DE102009006125A1 (de) 2009-01-26 2009-09-10 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
EP2249288A3 (en) * 2009-05-08 2014-05-21 Citysync Limited Object detection
DE102009024634A1 (de) 2009-06-12 2010-03-11 Daimler Ag Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten
JP5235798B2 (ja) * 2009-06-22 2013-07-10 富士フイルム株式会社 撮影装置及びその制御方法
DE102009031804A1 (de) 2009-07-06 2010-03-11 Daimler Ag Verfahren zur Objekterkennung und Objektverfolgung
JP5156972B2 (ja) * 2009-07-07 2013-03-06 Ｓｍｃ株式会社 位置測定装置及び位置測定方法
DE102009032443A1 (de) 2009-07-09 2010-03-04 Daimler Ag Verfahren zur Rektifizierung stereoskopisch aufgenommener Bilder
DE102010034262A1 (de) * 2010-08-13 2012-02-16 Valeo Schalter Und Sensoren Gmbh Nachrüstsystem für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Führen eines Kraftfahrzeugs
WO2016033252A2 (en) * 2014-08-26 2016-03-03 Cellepathy Ltd. Transportation-related mobile device context inferences
EP2797050B1 (en) * 2013-04-26 2019-07-10 Veoneer Sweden AB A safety system and method for a motor vehicle
GB2547809A (en) * 2014-08-26 2017-08-30 Cellepathy Ltd Transportation-related mobile device context inferences
CN108596116B (zh) * 2018-04-27 2021-11-05 深圳市商汤科技有限公司 测距方法、智能控制方法及装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152912A (ja) * 1993-12-01 1995-06-16 Matsushita Electric Ind Co Ltd パターンマッチング方法
JPH07274214A (ja) * 1994-03-30 1995-10-20 Sanyo Electric Co Ltd 立体ビデオカメラ
JPH07280561A (ja) * 1994-04-12 1995-10-27 Nippon Soken Inc 車両用距離測定装置
JPH0814861A (ja) * 1994-07-01 1996-01-19 Canon Inc ３次元形状の計測方法及び装置
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JPH10326341A (ja) * 1997-05-27 1998-12-08 Nissan Motor Co Ltd イメージセンサ
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2000209432A (ja) * 1999-01-18 2000-07-28 Dainippon Screen Mfg Co Ltd 画像処理方法
JP2001012919A (ja) * 1999-06-30 2001-01-19 Fuji Photo Film Co Ltd 奥行検出装置及び撮像装置
JP2001082954A (ja) * 1999-09-13 2001-03-30 Fujitsu Ten Ltd 画像処理装置及び画像処理測距方法
JP2001216501A (ja) * 2000-02-03 2001-08-10 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570315B2 (ja) * 1987-09-01 1997-01-08 アイシン精機株式会社 車上距離検出装置
US5196929A (en) * 1989-07-05 1993-03-23 Olympus Optical Co., Ltd. Display system of camera having tracking apparatus
US5177606A (en) * 1990-09-28 1993-01-05 Isuzu Motors Limited Image detection system for a car with adjustment for wiper image
JPH04331311A (ja) * 1991-01-24 1992-11-19 Mitsubishi Electric Corp 車間距離検出装置
JPH0696397A (ja) * 1992-09-16 1994-04-08 Mitsubishi Electric Corp 画像追尾装置および画像追尾方法
DE59305180D1 (de) * 1992-11-10 1997-02-27 Siemens Ag Verfahren zur detektion und abspaltung des schattens sich bewegender objekte in einer digitalen bildsequenz
JP2983407B2 (ja) * 1993-03-31 1999-11-29 三菱電機株式会社 画像追尾装置
JP3288474B2 (ja) * 1993-03-31 2002-06-04 富士通株式会社 画像処理装置
JP3156817B2 (ja) * 1994-03-14 2001-04-16 矢崎総業株式会社 車両周辺監視装置
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
JP3214364B2 (ja) * 1996-08-14 2001-10-02 富士電機株式会社 車間距離測定装置
US5898791A (en) * 1997-08-26 1999-04-27 The United States Of America As Represented By The Secretary Of The Navy Spinning focal plane array camera particularly suited for real time pattern recognition
US6531959B1 (en) * 1999-07-13 2003-03-11 Honda Giken Kogyo Kabushiki Kaisha Position detecting device
JP2001101415A (ja) * 1999-09-29 2001-04-13 Fujitsu Ten Ltd 画像認識装置および画像処理装置
ES2158827B1 (es) * 2000-02-18 2002-03-16 Fico Mirrors Sa Dispositivo de deteccion de presencia de objetos.
US6801244B2 (en) * 2000-02-29 2004-10-05 Kabushiki Kaisha Toshiba Obstacle detection apparatus and method
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP2002216113A (ja) * 2001-01-16 2002-08-02 Fujitsu Ten Ltd 物体認識装置
JP2003004442A (ja) * 2001-06-20 2003-01-08 Fujitsu Ten Ltd 測距装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07152912A (ja) * 1993-12-01 1995-06-16 Matsushita Electric Ind Co Ltd パターンマッチング方法
JPH07274214A (ja) * 1994-03-30 1995-10-20 Sanyo Electric Co Ltd 立体ビデオカメラ
JPH07280561A (ja) * 1994-04-12 1995-10-27 Nippon Soken Inc 車両用距離測定装置
JPH0814861A (ja) * 1994-07-01 1996-01-19 Canon Inc ３次元形状の計測方法及び装置
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JPH10326341A (ja) * 1997-05-27 1998-12-08 Nissan Motor Co Ltd イメージセンサ
JPH11339017A (ja) * 1998-05-29 1999-12-10 Mitsubishi Heavy Ind Ltd ナンバープレート認識装置
JP2000209432A (ja) * 1999-01-18 2000-07-28 Dainippon Screen Mfg Co Ltd 画像処理方法
JP2001012919A (ja) * 1999-06-30 2001-01-19 Fuji Photo Film Co Ltd 奥行検出装置及び撮像装置
JP2001082954A (ja) * 1999-09-13 2001-03-30 Fujitsu Ten Ltd 画像処理装置及び画像処理測距方法
JP2001216501A (ja) * 2000-02-03 2001-08-10 Minolta Co Ltd 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005351711A (ja) * 2004-06-09 2005-12-22 Topcon Corp 測量機
JP4630004B2 (ja) * 2004-06-09 2011-02-09 株式会社トプコン 測量機
JP2007271386A (ja) * 2006-03-30 2007-10-18 Toyota Central Res & Dev Lab Inc 位置計測装置、方法及びプログラム、並びに移動量検出装置、方法及びプログラム
JP2011118182A (ja) * 2009-12-03 2011-06-16 Canon Inc レンズ装置及び撮像装置
JP2018032986A (ja) * 2016-08-24 2018-03-01 ソニー株式会社 情報処理装置および方法、車両、並びに情報処理システム
US11195292B2 (en) 2016-08-24 2021-12-07 Sony Corporation Information processing apparatus and method, vehicle, and information processing system
JP2018096798A (ja) * 2016-12-12 2018-06-21 株式会社Ｓｏｋｅｎ 物標検出装置

Also Published As

Publication number Publication date
US7729516B2 (en) 2010-06-01
US7266221B2 (en) 2007-09-04
US20030081815A1 (en) 2003-05-01
US20070291992A1 (en) 2007-12-20

Similar Documents

Publication Publication Date Title
JP2003098424A (ja) 画像処理測距装置
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
JP2000357233A (ja) 物体認識装置
JP5466610B2 (ja) 視線推定装置
JP2003296736A (ja) 障害物検知装置及びその方法
US11928805B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP3656056B2 (ja) 割り込み車両検出装置及びその方法
JP2000207693A (ja) 車載用障害物検出装置
KR101236223B1 (ko) 차선 검출 방법
JP2000331148A (ja) 障害物検出装置
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JPH11345336A (ja) 障害物検出装置
JPH07244717A (ja) 車両用走行環境認識装置
JPH07294251A (ja) 障害物検出装置
JP3760426B2 (ja) 走行車線検出方法及びその装置
JP3969984B2 (ja) 移動物体の認識方法
JP3226415B2 (ja) 自動車用移動体認識装置
JP2001116545A (ja) 距離画像算出装置
JP3507857B2 (ja) 交通流検出装置
JP4825349B2 (ja) 通過物体計数装置及び計数方法
JP3196559B2 (ja) ライン認識方法
JP2003323627A (ja) 車両検出装置及び方法
JPH10124687A (ja) 道路白線検出方法及び道路白線検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329