JP4157620B2 - 移動物体検出装置及びその方法 - Google Patents
移動物体検出装置及びその方法 Download PDFInfo
- Publication number
- JP4157620B2 JP4157620B2 JP17283798A JP17283798A JP4157620B2 JP 4157620 B2 JP4157620 B2 JP 4157620B2 JP 17283798 A JP17283798 A JP 17283798A JP 17283798 A JP17283798 A JP 17283798A JP 4157620 B2 JP4157620 B2 JP 4157620B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- movement amount
- vanishing point
- image
- search
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、時系列画像を利用して移動物体を検出する移動物体検出装置に係り、特に移動カメラによって撮影された画像から移動物体を高精度に検出可能な移動物体検出装置及びその方法と記録媒体に関する。
【０００２】
【従来の技術】
従来、例えばテレビカメラから順次得られる時系列画像がら移動物体を検出する方法としては、既にいくつかの方式が提案されている。なお、「移動物体」とは、例えば車等のことであり、直線的に移動している物体のことである。
【０００３】
この移動物体を背景と共にカメラで撮影したときに、その画像中のどの領域が移動物体であるのかを検出する方法として、以下のようなものがある。
【０００４】
例えば、D.MurrayとA ．Basuは“Ｍotion Tracking with an Active Camera"PAMI,Vol.１６,No.5 ，449-459 ．1994において、既知のカメラの移動量を利用して画像を変換することによって時系列画像間の対応を求め、移動物体を抽出する手法を提案している。
【０００５】
また、“移動カメラで撮影した動画像からの移動物体の抽出”（情報処理学会第５１回全国大会、1995：寺久保他著）において、画像上に注目点を配置し、これらの点を頂点とする領域の対応を時系列画像間で探索することによって画像間でのアフィン変換パラメータを２段階に分けて求めることによって高精度に移動物体を抽出する手法を提案している。
【０００６】
また、特開平７−１１０８６４号公報には、移動ベクトル場に２次元ラプラシアンフィルタを掛け、その出力値をしきい値処理することによって移動物体を抽出する方式が開示されている。
【０００７】
これらの方法では、画像中の大半の領域を占める背景の動きとそれ以外の動きを持つ物体を区別することを基本としている。しかし、カメラが光軸方向に動いた場合は、背景の動きを一意に求めることができず、結果的に移動物体を検出することも困難となる。
【０００８】
さらに、カメラが光軸方向に動く場合は、背景の動きベクトルの大きさが一定でないため、シーン中の移動物体を抽出するための動きの向きや大きさのしきい値を一意に決定することも困難となる。
【０００９】
【発明が解決しようとする課題】
ところで、光軸方向に移動するカメラで他の移動物体と背景を撮影した場合、カメラの動きによって生じる背景の動きベクトルはＦＯＥに向かう方向に現れるので、それ以外の動きを持つ部分を移動物体として検出することができる。しかし、背景の中に背景の動きベクトルと同じ方向を向いたエッジが存在した場合、アパーチャ問題のためにこれらのエッジの動き成分を正確に求めることができなくなる。
【００１０】
例えば、道路上を走る自動車などの移動物体に固定されたカメラで周囲を撮影した場合には、画像中の特徴量として移動物体のエッジだけでなく道路上の白線なども得られる。この白線は、自動車の動きによって生じるＦＯＥに向かって延びているため、白線の動き方向を求めることが困難となる。
【００１１】
この場合、道路上の白線はほぼ平行に引かれており、これらの白線の間を移動物体が移動するとすれば、白線は画像中の一点で交わることになる。この交点は消失点と呼ばれ、白線はすべてこの点から放射状に延びることになる。さらに、カメラの光軸が白線とほぼ平行であり、カメラがその光軸に平行に進む場合は、カメラの動きによるＦＯＥと白線の消失点が一致する。そこで、動き探索をする前に消失点から延びる白線を消去することによって動き情報を抽出するときの曖昧性を減少させることが可能となる。また、消失点（またはＦＯＥ）からの距離によって動きの大きさのしきい値や動きを求めるときの画像間の時間間隔を制御することによって、安定した移動物体抽出が可能となる。
【００１２】
ここで、「ＦＯＥ」とは、カメラを平行移動させている場合に、その画面中の静止点が集中する点を言い、動きの消失点ともいう。
【００１３】
また、「消失点」とは、カメラを固定した状態で、三次元シーン中で平行な線が画像中で集中する点をいう。
【００１４】
「集中線」とは、各消失点に集中する道路上の白線やガードレールのエッジなどの平行線と定義する。但し、発明の実施の形態の説明では、集中線を総称して「白線」として説明する。
【００１５】
本発明は、道路などの背景と移動物体をカメラで撮影した際に、その画像中から移動物体を高精度に検出することのできる移動物体検出装置及びその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、時系列的に画像を入力する画像入力手段と、前記画像入力手段によって入力される各画像から集中線が集中する消失点を検出する消失点検出手段と、前記消失点検出手段によって検出した消失点に基づいて前記各画像から移動物体を検出する移動物体検出手段とを具備し、前記移動物体検出手段は、移動量演算手段と移動物体獲得手段を有し、前記移動量演算手段は、前記画像中の強い特徴を持つ領域を探索領域とし、 前記画像中の強い特徴を持つ領域を探索領域とし、前記各探索領域内の輝度またはエッジ成分に基づいて、この探索領域を時系列的に探索することによって、前記各探索領域の移動量をそれぞれ求め、前記移動物体獲得手段は、前記各探索領域と前記消失点との距離に基づいて、前記各探索領域の前記移動量を足し併せた合計移動量を求め、前記各合計移動量を、前記合計移動量と前記探索領域の数をパラメータとしたパラメータ空間へ投票してヒストグラムを作成し、前記ヒストグラムのピーク値を検出し、前記ピーク値の前記合計移動量に対応する前記探索領域を検出し、前記対応している探索領域の位置関係において、隣接している前記探索領域を併合して、この併合した領域を前記移動物体の位置とする、ことを特徴とする移動物体検出装置である。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２４】
（移動物体検出装置１０の構成）
図１は本実施形態に係る移動物体検出装置１０の構成を示すブロック図である。
【００２５】
移動物体検出装置１０は、時系列画像を利用して移動物体を検出するものであり、ここでは画像入力部１２、消失点検出部１４、移動物体検出部１６を有する。
【００２６】
画像入力部１２は、道路及び移動物体の撮影により得られる時系列画像を入力する。この画像入力部１２によって入力された時系列画像は消失点検出部１４に与えられる。
【００２７】
消失点検出部１４は、画像入力部１２から得られる時系列画像から白線を検出し、その白線群の消失点を算出する。画像と求められた消失点の位置は、移動物体検出部１６に与えられる。
【００２８】
移動物体検出部１６は、図２に示したように白線消去部１８、移動量演算部２０及び移動物体獲得部２２の３つの処理に分割できる。
【００２９】
但し、これらの処理は必ずしもすべてが必要なわけではなく、対象シーンによっては白線消去部１８などを省略することが可能である。
【００３０】
白線消去部１８は、消失点の位置を中心とした放射状の領域の特徴を調べ、放射状の各直線と同じ方向を持つエッジを消去し、処理画像を移動量演算部２０に与える。
【００３１】
移動量演算部２０では、白線消去部１８から与えられた画像中から初期検出対象領域を設定し、その領域内の分割された各小領域の動き情報を検出する。また、前画面から探索を行なっている領域に対しても同様に動き情報を検出する。ここで検出された動き情報はバッファに蓄積される。
【００３２】
移動物体獲得部２２では、領域の画像中での位置に応じて移動量を求める時間間隔を調整し、それぞれの時間間隔での移動量を計算する。そして、計算された移動量に基づいて、まとまった移動量の存在する領域を消失点からの距離に関連づけられたしきい値に基づいて抽出して、移動物体であると判断する。
【００３３】
ここで、画像入力部１２は、移動するカメラ（例えば、自動車に搭載されたテレビカメラ）を用いて、運動している物体を撮影することによって得られる時系列画像を入力する。また、ここで画像として入力される物体は、移動する自動車から撮影された自動車、道路及び看板などであり、これらの対象を検出するために特別な色や印などを付加する必要はない。
【００３４】
（移動物体検出装置１０の動作）
次に、本装置１０の動作を説明する。
【００３５】
画像入力部１２
図３は本装置１０によって実現される移動物体検出方法を説明するための図である。
【００３６】
ここでは、道路上を走行している自動車を移動物体として、これを走行中の自動車に搭載したカメラで撮影した場合を想定する。図３(a) は時刻ｔのときに得られた画像、同図（ｂ）は時刻ｔ＋1 のときに得られた画像である。これらの画像は、画像入力部１２から時系列で順次得られる。
【００３７】
消失点検出部１４
カメラから時系列で送られてくる画像には移動物体だけでなく道路上の白線なども含まれているため、移動物体を検出するためにはこれらを正確に分割する必要がある。
【００３８】
そこで、白線は道路上に存在する輝度値の高い複数本の平行線によって構成されているという事実に基づいて、道路上に存在する白線を大まかに検出し、その交点である消失点を求める。
【００３９】
図４に示すように消失点検出部１４では、まず画像の時系列で得られることから前画面での白線の位置に基づいてその近傍にある白線を探索する。
【００４０】
具体的には、前画面で得られた白線の直線近似方程式に基づいてこの直線との距離がしきい値以内のコントラストが高い点を抽出する（ステップａ１）。
【００４１】
次に、抽出された直線を最小自乗近似して、その誤差がしきい値以内であれば、これを対象とする直線であると考える（ステップａ２）。
【００４２】
さらに、ここで近似された直線のデータを、消失点検出バッファ上に足し込む。この時、図５に示すように近似直線に垂直の方向に正規分布を持つように直線のデータを足し込むことによって検出誤差の影響を削減する。
【００４３】
次に、新しい白線を検出するためには、図６に示すように画面の端の部分を処理して白線の候補を検出する。ここで、白線の候補は強いコントラストと明度を持つ線分とした（ステップａ３）。
【００４４】
次に、検索領域内の白線候補の近傍を探索して、領域内での各線分の傾きを計算する。そして、図７に示すように、この傾き情報に基づいて線分を延し、延長線上のエッジ位置を検出する（ステップａ４）。これを複数回繰り返すことによってエッジの大まかな位置が求められる。
【００４５】
次に、このエッジの端点同士を結ぶ直線の方程式を求め（ステップａ５）、パラメータ空間への投票を行う。すなわち、バッファ上にこの線分のデータを足し込む（ステップａ６、図５（ｂ）参照）。
【００４６】
すべての線分に対してデータを足し込んだ後に、バッファ上のピークを検出すると、そのピークが消失点に対応する（ステップａ７、図５（ｂ）参照）。
【００４７】
ここでは、時系列的に検出した白線と新しく発見された白線の上方を重みをつけて足し併せることによって消失点を求めたが、道路に対するカメラの市などが大きく変化しない場合は白線の位置を予測することができるので、この予測値の近傍を探索して輝度の高い領域として白線を抽出することが可能であり、この場合には求められた白線群の交点を最小自乗法等によって求めるだけで消失点の位置を求めることが可能となる。さらに、道路に対するカメラの位置の変化が小さい場合は、予め消失点の位置をカメラパラメータから求めることが可能であり、この値を消失点検出部の出力として用いることも可能である。
【００４８】
消失点が求められれば、すべての白線は消失点から放射状に延びることになるので、各画素点を白線が通過するとした場合には、その点での白線の傾きは消失点とその画素点を結ぶ直線の傾きに等しくなる。すなわち、消失点が求まれば画像上のすべての点での白線の傾きの理論値が計算によって求められることになる。
【００４９】
ここでは白線を直線として求めたが、三次元シーン中の直線でもレンズ歪み等によっては画像中で直線とならない場合がある。このようなときには、予め格子などを撮影した画像を利用してレンズの歪みパラメータを求め、このパラメータを利用して画像を補正した後に白線を検出する必要がある。
【００５０】
白線消去部１８
白線消去部１８では、図８に示すように、求められた消失点を使ってこれらの白線の傾きの理論値をすべての画素に対し計算する（ステップｂ２）。
【００５１】
次に、画像特徴に基づいてソーベルフィルターなどを利用して各画素点のエッジ強度と傾きを求める（ステップｂ３）。
【００５２】
そして、このエッジの傾きと白線の傾きの理論値の差がしきい値以下の場合には（ステップｂ４）、そのエッジは白線のエッジであると仮定して、エッジを消去する（ステップｂ５）。
【００５３】
この手法では、白線だけでなく、検出対象である自動車などの移動物体のエッジを消去する可能性もあるが、自動車などは白線と平行なエッジだけでなく、白線に垂直なエッジの成分も持つので本手法による移動物体検出では大きな問題とはならない。画面上の白線に対応するエッジがすべて消去されれば、画面上に残るエッジはほとんどが自動車と白線以外の背景のものとなるので移動物体の検出はより簡単になる。
【００５４】
移動量演算部２０
移動量演算部２０の動作を図９に示すフローチャートに基づいて説明する。
【００５５】
まず、ステップｃ１からｃ５の流れについて説明する。
【００５６】
消失点の位置に基づいて初期探索領域を設定し、その初期探索領域をＮ×Ｎ画素（例えばＮ＝５）の格子状に分割する（ステップｃ１）。
【００５７】
次に、この各格子領域が強いエッジ成分を持つかどうかを検証し、強いエッジ成分を持つ格子領域を探索候補格子領域とする（ステップｃ２）。これは、既に白線が消去され、前述したように、画面上に残るエッジはほとんどが自動車と白線以外の背景のものとなるので、これらのエッジの中に検出対象となる移動物体の上方が含まれると考えられる。
【００５８】
そこで、各探索候補格子領域に対して、次の時刻での位置を探索する（ステップｃ３）。これは、例えば、時刻ｔにおける探索候補格子領域を初期位置として、時刻ｔ＋１における対応領域を探索する。この探索をする場合には、時刻ｔにおける探索候補格子領域内の輝度やエッジ成分と同じ成分を持つ領域を、時刻ｔにおける探索候補格子領域の位置を中心としてその周りの領域を探索して発見する。
【００５９】
なお、地面と光軸が平行になるように自動車に取りつけたカメラで後方を探索する場合は、他の自動車の動きは画像中ではＸ（横）成分が多く、Ｙ（縦）方向にはあまり動かないことになる。したがって、探索領域を横長の長方形領域に限定することが可能となる。さらに、検出対象を自車を追い越す障害物と限定すれば、消失点の左側の領域では、対応領域は探索候補格子領域の位置に対してＸ軸のマイナス方向に存在することになる。ただし、対応付けの輝度を上げるためには、探索はＸ軸に対してプラス、マイナスの両方向に行い、その中でマイナス方向にのみ強い対応を持つ領域を対応領域として抽出することが考えられる。
【００６０】
次に、この探索候補格子領域の移動量を決定する（ステップｃ４）。具体的には、時刻ｔにおける探索候補格子領域の初期位置と、時刻ｔ＋１における対応領域の位置との距離の差（ここでは、画素数）を移動量とする。
【００６１】
そして、この探索候補格子領域の位置、エッジ承保よび探索によって求められた画像間での移動量を併せて保存する（ステップｃ５）。
【００６２】
ステップｃ６からｃ５の流れについては、すでに過去の各時刻で対応が得られている探索候補格子領域に対してそれぞれの領域の輝度やエッジの成分などを蓄積しているので、これらの情報を用いて順次新しい画像に対して対応領域を探索する。この時、過去に得られているすべての探索候補格子領域について探索を続けることも可能であるが、処理量が膨大となるので、過去のある時点以降の格子領域のみを対象としたり、各時刻での対応の評価値が高い領域のみを対象として探索を続けることによって高速な処理を実現することが可能である。
【００６３】
また、探索によって得られた移動量は過去Ｎフレーム分蓄積されており、これを利用することによって任意の時間（フレーム）間隔での移動量を求めることもできる。
【００６４】
実際の探索では、それぞれの格子領域を探索範囲内で動かした場合に、相関値が最も小さくなる領域を検出する。このとき、最小相関値がしきい値より大きい場合は、その領域は対応が取れないということになる。ここで、評価基準としては相関値だけでなく、明度の差分値やエッジ強度の差分値なども用いることも可能である。
【００６５】
移動物体獲得部２２
移動物体獲得部２２では、図１０に示す手順に基づいて、それぞれの移動領域について画像中の位置と移動量が似たもの同士を併合することによって移動物体を検出する。
【００６６】
まず、各領域の中心と消失点との距離に基づいて、それぞれの領域の移動量を求める時間間隔を決定する（ステップｄ１）。これは、同じ速度で移動する物体でも、消失点に近い領域ほど画像上での移動量が小さくなるためである。
【００６７】
そこで、消失点に近い領域ほど移動量を算出する時間間隔を長く取ることによって、どの領域でも同程度な移動量を算出することが可能となる。ここで、時間間隔を制御するためには、対応付けをする２画面の時間間隔そのものを領域毎に変えることも可能であるが、領域毎に処理時間間隔を変えるのは処理が煩雑になるため、対応付けはすべて最も時間間隔が短くなるように行い、領域毎に移動量を求める画面間隔数を変えることによって時間間隔を制御する。
【００６８】
具体的には、消失点の近傍の領域Ｘと、消失点から離れた領域Ｙとがある場合に、領域Ｘについては、移動量演算部２０に蓄積された領域Ｘの移動量を呼び出すときに、基準時刻ｔ０から時刻（ｔ０−α）（例えばα＝１０）までの移動量を呼び出して、すべてを足し併せる。一方、領域Ｙについては、移動量演算部２０に蓄積された領域Ｙの移動量を呼び出すときに、基準時間ｔ０から時刻（ｔ０−β）（例えばβ＝２）までの移動量を呼び出して、すべてを足し併せる。このように、移動量を算出する時間（フレーム）間隔を消失点の位置に基づいて、領域毎に制御する。
【００６９】
さらに、車速センサ等が利用可能な場合は、自車の速度に応じて時間間隔を制御することも可能である。例えば、速度が速い場合は処理時間間隔を短くし、速度が遅い場合は処理時間間隔を長くすることによって、常に画像中での同程度の移動量を得ることが可能となる。
【００７０】
次に、移動物体を求める時のしきい値となる基準速度Ｖを必要に応じて決定する（ステップｄ２）。例えば、基準速度Ｖ＝２の場合には、移動量が２以下の領域がカットされるので、雑音や静止物体の情報が除かれる。なお、基準速度Ｖは画面全体で一つの値を設定することも可能であるが、必要に応じて画面中の場所ごとに基準速度Ｖを変えることも可能である。
【００７１】
次に、移動量のパラメータ空間への投票を行う（ステップｄ３）。すなわち、それぞれの移動領域に対して、図１１に示す対応領域の移動量のヒストグラムを作成する。
【００７２】
この図１１に示すヒストグラムは、横軸が移動量で、縦軸がその移動量を有する領域数である。そして、移動物体が存在している場合には、その移動物体の移動量（速度）の位置にピーク値が現れる。例えば、図１１に示すヒストグラムの場合には、ピーク値が１０と２０に表れているため、このピーク値の１０と２０の移動量をもつ移動物体が存在していると考えられるので、このピーク値を検出する（ステップｄ４）。
【００７３】
しかし、このピーク値を検出しただけでは、そのピーク値の移動量（速度）を持つ移動物体が、幾つ存在しているかが不明である。そこで、ヒストグラムをピーク値で分割して、それぞれのピーク値との差がしきい値以内の領域（例えば、ピーク値が２０の場合には、±１づつのしきい値内にある移動量（ここでは１９〜２１）の領域）を検出すれば、移動物体の候補を検出することが可能となる。そして、移動物体の候補の領域の画像中の位置関係を調べて、隣接している領域を併合すれば、個々の移動障害物を検出することが可能となる。図１２がピーク値が２０の移動物体候補が２個存在する画面であり、図１３がピーク値が２０の移動物体候補が１個存在する画面である。
【００７４】
なお、上記各装置の動作を実現するプログラムを記憶した記録媒体をパソコン等に記憶させて、上記装置を実現させてもよい。
【００７５】
【発明の効果】
本発明によれば、消失点を求めてこれを利用して、移動物体を検出するために、安定して移動物体を検出することを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動物体検出装置１０の構成を示すブロック図。
【図２】本装置１０の移動物体検出部１６の詳細ブロック図である。
【図３】本装置１０によって実現される移動物体検出方法の説明図である。
【図４】本装置１０の消失点検出部１４のフローチャートである。
【図５】消失点検出のためのデータ足し込み空間の説明図である。
【図６】白線検出領域の説明図である。
【図７】白線延長手法の説明図である。
【図８】本装置１０の白線消去部１８のフローチャートである。
【図９】本装置１０の移動量演算部２０のフローチャートである。
【図１０】本装置１０の移動物体獲得部２２のフローチャートである。
【図１１】移動物体獲得部２２のヒストグラフである。
【図１２】移動物体獲得部２２の移動物体を検出する場合の画像である。
【図１３】移動物体獲得部２２の移動物体を検出する場合の他の画像である。
【符号の説明】
１０ 移動物体検出装置
１２ 画像入力部
１４ 消失点検出部
１６ 移動物体検出部
１８ 白線消去部
２０ 移動量演算部
２２ 移動物体獲得部
【発明の属する技術分野】
本発明は、時系列画像を利用して移動物体を検出する移動物体検出装置に係り、特に移動カメラによって撮影された画像から移動物体を高精度に検出可能な移動物体検出装置及びその方法と記録媒体に関する。
【０００２】
【従来の技術】
従来、例えばテレビカメラから順次得られる時系列画像がら移動物体を検出する方法としては、既にいくつかの方式が提案されている。なお、「移動物体」とは、例えば車等のことであり、直線的に移動している物体のことである。
【０００３】
この移動物体を背景と共にカメラで撮影したときに、その画像中のどの領域が移動物体であるのかを検出する方法として、以下のようなものがある。
【０００４】
例えば、D.MurrayとA ．Basuは“Ｍotion Tracking with an Active Camera"PAMI,Vol.１６,No.5 ，449-459 ．1994において、既知のカメラの移動量を利用して画像を変換することによって時系列画像間の対応を求め、移動物体を抽出する手法を提案している。
【０００５】
また、“移動カメラで撮影した動画像からの移動物体の抽出”（情報処理学会第５１回全国大会、1995：寺久保他著）において、画像上に注目点を配置し、これらの点を頂点とする領域の対応を時系列画像間で探索することによって画像間でのアフィン変換パラメータを２段階に分けて求めることによって高精度に移動物体を抽出する手法を提案している。
【０００６】
また、特開平７−１１０８６４号公報には、移動ベクトル場に２次元ラプラシアンフィルタを掛け、その出力値をしきい値処理することによって移動物体を抽出する方式が開示されている。
【０００７】
これらの方法では、画像中の大半の領域を占める背景の動きとそれ以外の動きを持つ物体を区別することを基本としている。しかし、カメラが光軸方向に動いた場合は、背景の動きを一意に求めることができず、結果的に移動物体を検出することも困難となる。
【０００８】
さらに、カメラが光軸方向に動く場合は、背景の動きベクトルの大きさが一定でないため、シーン中の移動物体を抽出するための動きの向きや大きさのしきい値を一意に決定することも困難となる。
【０００９】
【発明が解決しようとする課題】
ところで、光軸方向に移動するカメラで他の移動物体と背景を撮影した場合、カメラの動きによって生じる背景の動きベクトルはＦＯＥに向かう方向に現れるので、それ以外の動きを持つ部分を移動物体として検出することができる。しかし、背景の中に背景の動きベクトルと同じ方向を向いたエッジが存在した場合、アパーチャ問題のためにこれらのエッジの動き成分を正確に求めることができなくなる。
【００１０】
例えば、道路上を走る自動車などの移動物体に固定されたカメラで周囲を撮影した場合には、画像中の特徴量として移動物体のエッジだけでなく道路上の白線なども得られる。この白線は、自動車の動きによって生じるＦＯＥに向かって延びているため、白線の動き方向を求めることが困難となる。
【００１１】
この場合、道路上の白線はほぼ平行に引かれており、これらの白線の間を移動物体が移動するとすれば、白線は画像中の一点で交わることになる。この交点は消失点と呼ばれ、白線はすべてこの点から放射状に延びることになる。さらに、カメラの光軸が白線とほぼ平行であり、カメラがその光軸に平行に進む場合は、カメラの動きによるＦＯＥと白線の消失点が一致する。そこで、動き探索をする前に消失点から延びる白線を消去することによって動き情報を抽出するときの曖昧性を減少させることが可能となる。また、消失点（またはＦＯＥ）からの距離によって動きの大きさのしきい値や動きを求めるときの画像間の時間間隔を制御することによって、安定した移動物体抽出が可能となる。
【００１２】
ここで、「ＦＯＥ」とは、カメラを平行移動させている場合に、その画面中の静止点が集中する点を言い、動きの消失点ともいう。
【００１３】
また、「消失点」とは、カメラを固定した状態で、三次元シーン中で平行な線が画像中で集中する点をいう。
【００１４】
「集中線」とは、各消失点に集中する道路上の白線やガードレールのエッジなどの平行線と定義する。但し、発明の実施の形態の説明では、集中線を総称して「白線」として説明する。
【００１５】
本発明は、道路などの背景と移動物体をカメラで撮影した際に、その画像中から移動物体を高精度に検出することのできる移動物体検出装置及びその方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明は、時系列的に画像を入力する画像入力手段と、前記画像入力手段によって入力される各画像から集中線が集中する消失点を検出する消失点検出手段と、前記消失点検出手段によって検出した消失点に基づいて前記各画像から移動物体を検出する移動物体検出手段とを具備し、前記移動物体検出手段は、移動量演算手段と移動物体獲得手段を有し、前記移動量演算手段は、前記画像中の強い特徴を持つ領域を探索領域とし、 前記画像中の強い特徴を持つ領域を探索領域とし、前記各探索領域内の輝度またはエッジ成分に基づいて、この探索領域を時系列的に探索することによって、前記各探索領域の移動量をそれぞれ求め、前記移動物体獲得手段は、前記各探索領域と前記消失点との距離に基づいて、前記各探索領域の前記移動量を足し併せた合計移動量を求め、前記各合計移動量を、前記合計移動量と前記探索領域の数をパラメータとしたパラメータ空間へ投票してヒストグラムを作成し、前記ヒストグラムのピーク値を検出し、前記ピーク値の前記合計移動量に対応する前記探索領域を検出し、前記対応している探索領域の位置関係において、隣接している前記探索領域を併合して、この併合した領域を前記移動物体の位置とする、ことを特徴とする移動物体検出装置である。
【００２３】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態を説明する。
【００２４】
（移動物体検出装置１０の構成）
図１は本実施形態に係る移動物体検出装置１０の構成を示すブロック図である。
【００２５】
移動物体検出装置１０は、時系列画像を利用して移動物体を検出するものであり、ここでは画像入力部１２、消失点検出部１４、移動物体検出部１６を有する。
【００２６】
画像入力部１２は、道路及び移動物体の撮影により得られる時系列画像を入力する。この画像入力部１２によって入力された時系列画像は消失点検出部１４に与えられる。
【００２７】
消失点検出部１４は、画像入力部１２から得られる時系列画像から白線を検出し、その白線群の消失点を算出する。画像と求められた消失点の位置は、移動物体検出部１６に与えられる。
【００２８】
移動物体検出部１６は、図２に示したように白線消去部１８、移動量演算部２０及び移動物体獲得部２２の３つの処理に分割できる。
【００２９】
但し、これらの処理は必ずしもすべてが必要なわけではなく、対象シーンによっては白線消去部１８などを省略することが可能である。
【００３０】
白線消去部１８は、消失点の位置を中心とした放射状の領域の特徴を調べ、放射状の各直線と同じ方向を持つエッジを消去し、処理画像を移動量演算部２０に与える。
【００３１】
移動量演算部２０では、白線消去部１８から与えられた画像中から初期検出対象領域を設定し、その領域内の分割された各小領域の動き情報を検出する。また、前画面から探索を行なっている領域に対しても同様に動き情報を検出する。ここで検出された動き情報はバッファに蓄積される。
【００３２】
移動物体獲得部２２では、領域の画像中での位置に応じて移動量を求める時間間隔を調整し、それぞれの時間間隔での移動量を計算する。そして、計算された移動量に基づいて、まとまった移動量の存在する領域を消失点からの距離に関連づけられたしきい値に基づいて抽出して、移動物体であると判断する。
【００３３】
ここで、画像入力部１２は、移動するカメラ（例えば、自動車に搭載されたテレビカメラ）を用いて、運動している物体を撮影することによって得られる時系列画像を入力する。また、ここで画像として入力される物体は、移動する自動車から撮影された自動車、道路及び看板などであり、これらの対象を検出するために特別な色や印などを付加する必要はない。
【００３４】
（移動物体検出装置１０の動作）
次に、本装置１０の動作を説明する。
【００３５】
画像入力部１２
図３は本装置１０によって実現される移動物体検出方法を説明するための図である。
【００３６】
ここでは、道路上を走行している自動車を移動物体として、これを走行中の自動車に搭載したカメラで撮影した場合を想定する。図３(a) は時刻ｔのときに得られた画像、同図（ｂ）は時刻ｔ＋1 のときに得られた画像である。これらの画像は、画像入力部１２から時系列で順次得られる。
【００３７】
消失点検出部１４
カメラから時系列で送られてくる画像には移動物体だけでなく道路上の白線なども含まれているため、移動物体を検出するためにはこれらを正確に分割する必要がある。
【００３８】
そこで、白線は道路上に存在する輝度値の高い複数本の平行線によって構成されているという事実に基づいて、道路上に存在する白線を大まかに検出し、その交点である消失点を求める。
【００３９】
図４に示すように消失点検出部１４では、まず画像の時系列で得られることから前画面での白線の位置に基づいてその近傍にある白線を探索する。
【００４０】
具体的には、前画面で得られた白線の直線近似方程式に基づいてこの直線との距離がしきい値以内のコントラストが高い点を抽出する（ステップａ１）。
【００４１】
次に、抽出された直線を最小自乗近似して、その誤差がしきい値以内であれば、これを対象とする直線であると考える（ステップａ２）。
【００４２】
さらに、ここで近似された直線のデータを、消失点検出バッファ上に足し込む。この時、図５に示すように近似直線に垂直の方向に正規分布を持つように直線のデータを足し込むことによって検出誤差の影響を削減する。
【００４３】
次に、新しい白線を検出するためには、図６に示すように画面の端の部分を処理して白線の候補を検出する。ここで、白線の候補は強いコントラストと明度を持つ線分とした（ステップａ３）。
【００４４】
次に、検索領域内の白線候補の近傍を探索して、領域内での各線分の傾きを計算する。そして、図７に示すように、この傾き情報に基づいて線分を延し、延長線上のエッジ位置を検出する（ステップａ４）。これを複数回繰り返すことによってエッジの大まかな位置が求められる。
【００４５】
次に、このエッジの端点同士を結ぶ直線の方程式を求め（ステップａ５）、パラメータ空間への投票を行う。すなわち、バッファ上にこの線分のデータを足し込む（ステップａ６、図５（ｂ）参照）。
【００４６】
すべての線分に対してデータを足し込んだ後に、バッファ上のピークを検出すると、そのピークが消失点に対応する（ステップａ７、図５（ｂ）参照）。
【００４７】
ここでは、時系列的に検出した白線と新しく発見された白線の上方を重みをつけて足し併せることによって消失点を求めたが、道路に対するカメラの市などが大きく変化しない場合は白線の位置を予測することができるので、この予測値の近傍を探索して輝度の高い領域として白線を抽出することが可能であり、この場合には求められた白線群の交点を最小自乗法等によって求めるだけで消失点の位置を求めることが可能となる。さらに、道路に対するカメラの位置の変化が小さい場合は、予め消失点の位置をカメラパラメータから求めることが可能であり、この値を消失点検出部の出力として用いることも可能である。
【００４８】
消失点が求められれば、すべての白線は消失点から放射状に延びることになるので、各画素点を白線が通過するとした場合には、その点での白線の傾きは消失点とその画素点を結ぶ直線の傾きに等しくなる。すなわち、消失点が求まれば画像上のすべての点での白線の傾きの理論値が計算によって求められることになる。
【００４９】
ここでは白線を直線として求めたが、三次元シーン中の直線でもレンズ歪み等によっては画像中で直線とならない場合がある。このようなときには、予め格子などを撮影した画像を利用してレンズの歪みパラメータを求め、このパラメータを利用して画像を補正した後に白線を検出する必要がある。
【００５０】
白線消去部１８
白線消去部１８では、図８に示すように、求められた消失点を使ってこれらの白線の傾きの理論値をすべての画素に対し計算する（ステップｂ２）。
【００５１】
次に、画像特徴に基づいてソーベルフィルターなどを利用して各画素点のエッジ強度と傾きを求める（ステップｂ３）。
【００５２】
そして、このエッジの傾きと白線の傾きの理論値の差がしきい値以下の場合には（ステップｂ４）、そのエッジは白線のエッジであると仮定して、エッジを消去する（ステップｂ５）。
【００５３】
この手法では、白線だけでなく、検出対象である自動車などの移動物体のエッジを消去する可能性もあるが、自動車などは白線と平行なエッジだけでなく、白線に垂直なエッジの成分も持つので本手法による移動物体検出では大きな問題とはならない。画面上の白線に対応するエッジがすべて消去されれば、画面上に残るエッジはほとんどが自動車と白線以外の背景のものとなるので移動物体の検出はより簡単になる。
【００５４】
移動量演算部２０
移動量演算部２０の動作を図９に示すフローチャートに基づいて説明する。
【００５５】
まず、ステップｃ１からｃ５の流れについて説明する。
【００５６】
消失点の位置に基づいて初期探索領域を設定し、その初期探索領域をＮ×Ｎ画素（例えばＮ＝５）の格子状に分割する（ステップｃ１）。
【００５７】
次に、この各格子領域が強いエッジ成分を持つかどうかを検証し、強いエッジ成分を持つ格子領域を探索候補格子領域とする（ステップｃ２）。これは、既に白線が消去され、前述したように、画面上に残るエッジはほとんどが自動車と白線以外の背景のものとなるので、これらのエッジの中に検出対象となる移動物体の上方が含まれると考えられる。
【００５８】
そこで、各探索候補格子領域に対して、次の時刻での位置を探索する（ステップｃ３）。これは、例えば、時刻ｔにおける探索候補格子領域を初期位置として、時刻ｔ＋１における対応領域を探索する。この探索をする場合には、時刻ｔにおける探索候補格子領域内の輝度やエッジ成分と同じ成分を持つ領域を、時刻ｔにおける探索候補格子領域の位置を中心としてその周りの領域を探索して発見する。
【００５９】
なお、地面と光軸が平行になるように自動車に取りつけたカメラで後方を探索する場合は、他の自動車の動きは画像中ではＸ（横）成分が多く、Ｙ（縦）方向にはあまり動かないことになる。したがって、探索領域を横長の長方形領域に限定することが可能となる。さらに、検出対象を自車を追い越す障害物と限定すれば、消失点の左側の領域では、対応領域は探索候補格子領域の位置に対してＸ軸のマイナス方向に存在することになる。ただし、対応付けの輝度を上げるためには、探索はＸ軸に対してプラス、マイナスの両方向に行い、その中でマイナス方向にのみ強い対応を持つ領域を対応領域として抽出することが考えられる。
【００６０】
次に、この探索候補格子領域の移動量を決定する（ステップｃ４）。具体的には、時刻ｔにおける探索候補格子領域の初期位置と、時刻ｔ＋１における対応領域の位置との距離の差（ここでは、画素数）を移動量とする。
【００６１】
そして、この探索候補格子領域の位置、エッジ承保よび探索によって求められた画像間での移動量を併せて保存する（ステップｃ５）。
【００６２】
ステップｃ６からｃ５の流れについては、すでに過去の各時刻で対応が得られている探索候補格子領域に対してそれぞれの領域の輝度やエッジの成分などを蓄積しているので、これらの情報を用いて順次新しい画像に対して対応領域を探索する。この時、過去に得られているすべての探索候補格子領域について探索を続けることも可能であるが、処理量が膨大となるので、過去のある時点以降の格子領域のみを対象としたり、各時刻での対応の評価値が高い領域のみを対象として探索を続けることによって高速な処理を実現することが可能である。
【００６３】
また、探索によって得られた移動量は過去Ｎフレーム分蓄積されており、これを利用することによって任意の時間（フレーム）間隔での移動量を求めることもできる。
【００６４】
実際の探索では、それぞれの格子領域を探索範囲内で動かした場合に、相関値が最も小さくなる領域を検出する。このとき、最小相関値がしきい値より大きい場合は、その領域は対応が取れないということになる。ここで、評価基準としては相関値だけでなく、明度の差分値やエッジ強度の差分値なども用いることも可能である。
【００６５】
移動物体獲得部２２
移動物体獲得部２２では、図１０に示す手順に基づいて、それぞれの移動領域について画像中の位置と移動量が似たもの同士を併合することによって移動物体を検出する。
【００６６】
まず、各領域の中心と消失点との距離に基づいて、それぞれの領域の移動量を求める時間間隔を決定する（ステップｄ１）。これは、同じ速度で移動する物体でも、消失点に近い領域ほど画像上での移動量が小さくなるためである。
【００６７】
そこで、消失点に近い領域ほど移動量を算出する時間間隔を長く取ることによって、どの領域でも同程度な移動量を算出することが可能となる。ここで、時間間隔を制御するためには、対応付けをする２画面の時間間隔そのものを領域毎に変えることも可能であるが、領域毎に処理時間間隔を変えるのは処理が煩雑になるため、対応付けはすべて最も時間間隔が短くなるように行い、領域毎に移動量を求める画面間隔数を変えることによって時間間隔を制御する。
【００６８】
具体的には、消失点の近傍の領域Ｘと、消失点から離れた領域Ｙとがある場合に、領域Ｘについては、移動量演算部２０に蓄積された領域Ｘの移動量を呼び出すときに、基準時刻ｔ０から時刻（ｔ０−α）（例えばα＝１０）までの移動量を呼び出して、すべてを足し併せる。一方、領域Ｙについては、移動量演算部２０に蓄積された領域Ｙの移動量を呼び出すときに、基準時間ｔ０から時刻（ｔ０−β）（例えばβ＝２）までの移動量を呼び出して、すべてを足し併せる。このように、移動量を算出する時間（フレーム）間隔を消失点の位置に基づいて、領域毎に制御する。
【００６９】
さらに、車速センサ等が利用可能な場合は、自車の速度に応じて時間間隔を制御することも可能である。例えば、速度が速い場合は処理時間間隔を短くし、速度が遅い場合は処理時間間隔を長くすることによって、常に画像中での同程度の移動量を得ることが可能となる。
【００７０】
次に、移動物体を求める時のしきい値となる基準速度Ｖを必要に応じて決定する（ステップｄ２）。例えば、基準速度Ｖ＝２の場合には、移動量が２以下の領域がカットされるので、雑音や静止物体の情報が除かれる。なお、基準速度Ｖは画面全体で一つの値を設定することも可能であるが、必要に応じて画面中の場所ごとに基準速度Ｖを変えることも可能である。
【００７１】
次に、移動量のパラメータ空間への投票を行う（ステップｄ３）。すなわち、それぞれの移動領域に対して、図１１に示す対応領域の移動量のヒストグラムを作成する。
【００７２】
この図１１に示すヒストグラムは、横軸が移動量で、縦軸がその移動量を有する領域数である。そして、移動物体が存在している場合には、その移動物体の移動量（速度）の位置にピーク値が現れる。例えば、図１１に示すヒストグラムの場合には、ピーク値が１０と２０に表れているため、このピーク値の１０と２０の移動量をもつ移動物体が存在していると考えられるので、このピーク値を検出する（ステップｄ４）。
【００７３】
しかし、このピーク値を検出しただけでは、そのピーク値の移動量（速度）を持つ移動物体が、幾つ存在しているかが不明である。そこで、ヒストグラムをピーク値で分割して、それぞれのピーク値との差がしきい値以内の領域（例えば、ピーク値が２０の場合には、±１づつのしきい値内にある移動量（ここでは１９〜２１）の領域）を検出すれば、移動物体の候補を検出することが可能となる。そして、移動物体の候補の領域の画像中の位置関係を調べて、隣接している領域を併合すれば、個々の移動障害物を検出することが可能となる。図１２がピーク値が２０の移動物体候補が２個存在する画面であり、図１３がピーク値が２０の移動物体候補が１個存在する画面である。
【００７４】
なお、上記各装置の動作を実現するプログラムを記憶した記録媒体をパソコン等に記憶させて、上記装置を実現させてもよい。
【００７５】
【発明の効果】
本発明によれば、消失点を求めてこれを利用して、移動物体を検出するために、安定して移動物体を検出することを可能とする。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る移動物体検出装置１０の構成を示すブロック図。
【図２】本装置１０の移動物体検出部１６の詳細ブロック図である。
【図３】本装置１０によって実現される移動物体検出方法の説明図である。
【図４】本装置１０の消失点検出部１４のフローチャートである。
【図５】消失点検出のためのデータ足し込み空間の説明図である。
【図６】白線検出領域の説明図である。
【図７】白線延長手法の説明図である。
【図８】本装置１０の白線消去部１８のフローチャートである。
【図９】本装置１０の移動量演算部２０のフローチャートである。
【図１０】本装置１０の移動物体獲得部２２のフローチャートである。
【図１１】移動物体獲得部２２のヒストグラフである。
【図１２】移動物体獲得部２２の移動物体を検出する場合の画像である。
【図１３】移動物体獲得部２２の移動物体を検出する場合の他の画像である。
【符号の説明】
１０ 移動物体検出装置
１２ 画像入力部
１４ 消失点検出部
１６ 移動物体検出部
１８ 白線消去部
２０ 移動量演算部
２２ 移動物体獲得部
Claims (6)
- 時系列的に画像を入力する画像入力手段と、
前記画像入力手段によって入力される各画像から集中線が集中する消失点を検出する消失点検出手段と、
前記消失点検出手段によって検出した消失点に基づいて前記各画像から移動物体を検出する移動物体検出手段とを具備し、
前記移動物体検出手段は、移動量演算手段と移動物体獲得手段を有し、
前記移動量演算手段は、
前記画像中の強い特徴を持つ領域を探索領域とし、前記各探索領域内の輝度またはエッジ成分に基づいて、この探索領域を時系列的に探索することによって、前記各探索領域の移動量をそれぞれ求め、
前記移動物体獲得手段は、
前記各探索領域と前記消失点との距離に基づいて、前記各探索領域の前記移動量を足し併せた合計移動量を求め、
前記各合計移動量を、前記合計移動量と前記探索領域の数をパラメータとしたパラメータ空間へ投票してヒストグラムを作成し、
前記ヒストグラムのピーク値を検出し、
前記ピーク値の前記合計移動量に対応する前記探索領域を検出し、
前記対応している探索領域の位置関係において、隣接している前記探索領域を併合して、この併合した領域を前記移動物体の位置とする、
ことを特徴とする移動物体検出装置。 - 前記移動物体獲得手段は、
消失点に近い領域ほど、前記移動量演算手段に時系列的に蓄積された移動量を足し併せる時間間隔を長くなるように設定し、
この設定した時間間隔に基づいて前記画像にある各領域に対応した移動量を足し併せて前記合計移動量を求め、
前記合計移動量に基づいて移動物体を検出する、
ことを特徴とする請求項１記載の移動物体検出装置。 - 前記移動物体検出手段は、集中線消去手段を有し、
前記集中線消去手段は、
前記消失点検出手段によって得られた消失点の位置に基づいて得られる集中線の向きと前記画像のエッジの向きとの差が小さいエッジを集中線として、この集中線を前記各画像から消去するものであり、
前記移動物体検出手段は、前記集中線消去手段によって集中線を消去した前記各画像から移動物体を検出する
ことを特徴とする請求項１記載の移動物体検出装置。 - 時系列的に画像を入力する画像入力ステップと、
前記画像入力ステップによって入力される各画像から集中線が集中する消失点を検出する消失点検出ステップと、
前記消失点検出ステップによって検出した消失点に基づいて前記各画像から移動物体を検出する移動物体検出ステップとを具備し、
前記移動物体検出ステップは、移動量演算ステップと移動物体獲得ステップを有し、
前記移動量演算ステップは、
前記画像中の強い特徴を持つ領域を探索領域とし、前記各探索領域内の輝度またはエッジ成分に基づいて、この探索領域を時系列的に探索することによって、前記各探索領域の移動量をそれぞれ求め、
前記移動物体獲得ステップは、
前記各探索領域と前記消失点との距離に基づいて、前記各探索領域の前記移動量を足し併せた合計移動量を求め、
前記各合計移動量を、前記合計移動量と前記探索領域の数をパラメータとしたパラメータ空間へ投票してヒストグラムを作成し、
前記ヒストグラムのピーク値を検出し、
前記ピーク値の前記合計移動量に対応する前記探索領域を検出し、
前記対応している探索領域の位置関係において、隣接している前記探索領域を併合して、この併合した領域を前記移動物体の位置とする、
ことを特徴とする移動物体検出方法。 - 前記移動物体獲得ステップは、
消失点に近い領域ほど、前記移動量演算ステップに時系列的に蓄積された移動量を足し併せる時間間隔を長くなるように設定し、
この設定した時間間隔に基づいて前記画像にある各領域に対応した移動量を足し併せて、前記合計移動量を求め、
前記合計移動量に基づいて移動物体を検出する、
ことを特徴とする請求項４記載の移動物体検出方法。 - 前記移動物体検出ステップは、集中線消去ステップを有し、
前記集中線消去ステップは、
前記消失点検出ステップによって得られた消失点の位置に基づいて得られる集中線の向きと前記画像のエッジの向きとの差が小さいエッジを集中線として、この集中線を前記各画像から消去するものであり、
前記移動物体検出ステップは、前記集中線消去ステップによって集中線を消去した前記各画像から移動物体を検出する
ことを特徴とする請求項４記載の移動物体検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283798A JP4157620B2 (ja) | 1998-06-19 | 1998-06-19 | 移動物体検出装置及びその方法 |
| US09/334,948 US6456730B1 (en) | 1998-06-19 | 1999-06-17 | Moving object detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283798A JP4157620B2 (ja) | 1998-06-19 | 1998-06-19 | 移動物体検出装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000011133A JP2000011133A (ja) | 2000-01-14 |
| JP4157620B2 true JP4157620B2 (ja) | 2008-10-01 |
Family
ID=15949263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17283798A Expired - Lifetime JP4157620B2 (ja) | 1998-06-19 | 1998-06-19 | 移動物体検出装置及びその方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6456730B1 (ja) |
| JP (1) | JP4157620B2 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3904988B2 (ja) * | 2002-06-27 | 2007-04-11 | 株式会社東芝 | 画像処理装置およびその方法 |
| US7221775B2 (en) * | 2002-11-12 | 2007-05-22 | Intellivid Corporation | Method and apparatus for computerized image background analysis |
| DE60330898D1 (de) * | 2002-11-12 | 2010-02-25 | Intellivid Corp | Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen |
| US7286157B2 (en) * | 2003-09-11 | 2007-10-23 | Intellivid Corporation | Computerized method and apparatus for determining field-of-view relationships among multiple image sensors |
| US7280673B2 (en) * | 2003-10-10 | 2007-10-09 | Intellivid Corporation | System and method for searching for changes in surveillance video |
| US7346187B2 (en) * | 2003-10-10 | 2008-03-18 | Intellivid Corporation | Method of counting objects in a monitored environment and apparatus for the same |
| US7606441B2 (en) * | 2003-11-27 | 2009-10-20 | Seiko Epson Corporation | Image processing device and a method for the same |
| US7382400B2 (en) * | 2004-02-19 | 2008-06-03 | Robert Bosch Gmbh | Image stabilization system and method for a video camera |
| US7602946B2 (en) * | 2004-09-24 | 2009-10-13 | Nissan Motor Co., Ltd. | Motion detection apparatus and motion detection method |
| CA2601477C (en) * | 2005-03-25 | 2015-09-15 | Intellivid Corporation | Intelligent camera selection and object tracking |
| US9036028B2 (en) | 2005-09-02 | 2015-05-19 | Sensormatic Electronics, LLC | Object tracking and alerts |
| US7671728B2 (en) | 2006-06-02 | 2010-03-02 | Sensormatic Electronics, LLC | Systems and methods for distributed monitoring of remote sites |
| US7825792B2 (en) * | 2006-06-02 | 2010-11-02 | Sensormatic Electronics Llc | Systems and methods for distributed monitoring of remote sites |
| JP4694441B2 (ja) * | 2006-08-09 | 2011-06-08 | 本田技研工業株式会社 | 車両周辺監視システム |
| JP4222411B2 (ja) * | 2006-11-08 | 2009-02-12 | 日本電気株式会社 | 消失点検出システム、消失点検出方法および消失点検出用プログラム |
| WO2008091565A1 (en) * | 2007-01-23 | 2008-07-31 | Valeo Schalter & Sensoren Gmbh | Method and system for universal lane boundary detection |
| JP5121258B2 (ja) * | 2007-03-06 | 2013-01-16 | 株式会社東芝 | 不審行動検知システム及び方法 |
| EP2163095A4 (en) * | 2007-06-09 | 2011-05-18 | Sensormatic Electronics Llc | SYSTEM AND METHOD FOR INTEGRATION OF VIDEO ANALYTICS AND DATA EXPLORATION / ANALYTICS |
| DE102009007342A1 (de) * | 2009-02-04 | 2010-08-05 | Hella Kgaa Hueck & Co. | Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung |
| JP5375958B2 (ja) * | 2009-06-18 | 2013-12-25 | 富士通株式会社 | 画像処理装置および画像処理方法 |
| WO2014027500A1 (ja) * | 2012-08-15 | 2014-02-20 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 特徴抽出方法、プログラム及びシステム |
| KR101592685B1 (ko) * | 2014-04-16 | 2016-02-12 | 현대자동차주식회사 | 노면 모델 설정을 이용한 장애물 검출 시스템 및 그 방법 |
| JP6497546B2 (ja) * | 2015-02-06 | 2019-04-10 | 国立研究開発法人農業・食品産業技術総合研究機構 | 走行制御装置 |
| US9996752B2 (en) * | 2016-08-30 | 2018-06-12 | Canon Kabushiki Kaisha | Method, system and apparatus for processing an image |
| CN106991418B (zh) * | 2017-03-09 | 2020-08-04 | 上海小蚁科技有限公司 | 飞虫检测方法、装置及终端 |
| JP6755405B2 (ja) * | 2017-08-18 | 2020-09-16 | 富士フイルム株式会社 | 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム |
| CN108229327B (zh) * | 2017-12-07 | 2021-05-18 | 北京中科慧眼科技有限公司 | 一种基于背景重建的车道线检测方法、装置与系统 |
| JP7327992B2 (ja) * | 2019-05-10 | 2023-08-16 | フォルシアクラリオン・エレクトロニクス株式会社 | 立体物検出装置、及び立体物検出方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3429755B2 (ja) * | 1990-04-27 | 2003-07-22 | 株式会社日立製作所 | 撮像装置の被写界深度制御装置 |
| JPH04147400A (ja) * | 1990-10-11 | 1992-05-20 | Matsushita Electric Ind Co Ltd | 車両検出装置 |
| JP3288474B2 (ja) * | 1993-03-31 | 2002-06-04 | 富士通株式会社 | 画像処理装置 |
| JPH07110864A (ja) | 1993-10-13 | 1995-04-25 | Natl Aerospace Lab | 移動物体の判定方法 |
| US5889878A (en) * | 1994-07-29 | 1999-03-30 | Kabushiki Kaisha Toshiba | Moving object image pickup apparatus |
-
1998
- 1998-06-19 JP JP17283798A patent/JP4157620B2/ja not_active Expired - Lifetime
-
1999
- 1999-06-17 US US09/334,948 patent/US6456730B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000011133A (ja) | 2000-01-14 |
| US6456730B1 (en) | 2002-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4157620B2 (ja) | 移動物体検出装置及びその方法 | |
| US10970566B2 (en) | Lane line detection method and apparatus | |
| US20070127778A1 (en) | Object detecting system and object detecting method | |
| US20150367781A1 (en) | Lane boundary estimation device and lane boundary estimation method | |
| CN110570456A (zh) | 基于yolo目标检测算法和光流追踪算法融合的机动车轨迹提取方法 | |
| WO2020154990A1 (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| JP2012038318A (ja) | ターゲット検出方法及び装置 | |
| CN112598743B (zh) | 一种单目视觉图像的位姿估算方法及相关装置 | |
| KR101699014B1 (ko) | 스테레오 카메라를 이용한 객체 검출 방법 및 장치 | |
| JPH10300494A (ja) | 車輌位置検出装置および方法ならびに経路案内装置および方法 | |
| Hernández et al. | Lane marking detection using image features and line fitting model | |
| JP5189556B2 (ja) | 車線検出装置 | |
| JP2829934B2 (ja) | 移動車の環境認識装置 | |
| JP2007179386A (ja) | 白線認識方法及び白線認識装置 | |
| JP2002175534A (ja) | 道路の白線検出方法 | |
| JP3945919B2 (ja) | 走行路検出装置、車両走行制御装置および記録媒体 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP4575315B2 (ja) | 物体検出装置及びその方法 | |
| CN109726684B (zh) | 一种地标元素获取方法和地标元素获取系统 | |
| JP2962799B2 (ja) | 移動車の走行路端検出装置 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| JPH11312299A (ja) | 自車位置認識装置、自車位置認識方法及びそのプログラムを記録した記録媒体 | |
| JPH06265330A (ja) | 画像計測装置 | |
| KR102629213B1 (ko) | 경사 촬영 동영상 이동물체 탐지 방법 및 장치 | |
| US20240193964A1 (en) | Lane line recognition method, electronic device and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080304 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080714 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |