JPH1091795A - 移動物体検出装置及び移動物体検出方法 - Google Patents
移動物体検出装置及び移動物体検出方法Info
- Publication number
- JPH1091795A JPH1091795A JP8241904A JP24190496A JPH1091795A JP H1091795 A JPH1091795 A JP H1091795A JP 8241904 A JP8241904 A JP 8241904A JP 24190496 A JP24190496 A JP 24190496A JP H1091795 A JPH1091795 A JP H1091795A
- Authority
- JP
- Japan
- Prior art keywords
- area
- momentum
- background
- image
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】背景と移動物体をカメラで撮影した際に、その
画像の運動量そのものの不確実性だけでなくシーンの状
況による運動量の信頼度を考慮して背景と移動物体を正
確に分割し、画像中から移動物体を高精度に検出する。 【解決手段】背景および移動物体の撮影により得られる
時系列画像を画像入力部１１により入力する。この順次
入力される各画像を運動量信頼度検出部１２にて所定の
単位で分割し、その分割領域毎に画像間の運動量を算出
すると共に、その運動量の信頼度を算出する。背景領域
検出部１３にて上記各分割領域毎の画像間の運動量およ
び信頼度に基づいて当該入力画像の中である部分がまと
まって同じような動きをする領域（支配的な動きをする
領域）を背景領域として検出する。移動領域候補検出部
１４および移動領域検出部１５にて上記背景領域の運動
量に基づいて背景領域以外の領域を移動領域として検出
する。
画像の運動量そのものの不確実性だけでなくシーンの状
況による運動量の信頼度を考慮して背景と移動物体を正
確に分割し、画像中から移動物体を高精度に検出する。 【解決手段】背景および移動物体の撮影により得られる
時系列画像を画像入力部１１により入力する。この順次
入力される各画像を運動量信頼度検出部１２にて所定の
単位で分割し、その分割領域毎に画像間の運動量を算出
すると共に、その運動量の信頼度を算出する。背景領域
検出部１３にて上記各分割領域毎の画像間の運動量およ
び信頼度に基づいて当該入力画像の中である部分がまと
まって同じような動きをする領域（支配的な動きをする
領域）を背景領域として検出する。移動領域候補検出部
１４および移動領域検出部１５にて上記背景領域の運動
量に基づいて背景領域以外の領域を移動領域として検出
する。
Description
【０００１】
【発明の属する技術分野】本発明は、時系列画像を利用
して移動物体を検出する移動物体検出装置に係り、特に
移動カメラによって撮影された画像から移動物体を高精
度に検出可能な移動物体検出装置及び移動物体検出方法
に関する。
して移動物体を検出する移動物体検出装置に係り、特に
移動カメラによって撮影された画像から移動物体を高精
度に検出可能な移動物体検出装置及び移動物体検出方法
に関する。
【０００２】
【従来の技術】従来、例えばテレビカメラから順次得ら
れる時系列画像から移動物体を検出する方法としては、
既にいくつかの方式が提案されている。なお、移動物体
とは、例えば車、飛行機等のことであり、背景の中で動
いている物体のことである。この移動物体を背景と共に
カメラで撮影したときに、その画像中のどの領域が移動
物体であるのかを検出する方法として、以下のようなも
のがある。
れる時系列画像から移動物体を検出する方法としては、
既にいくつかの方式が提案されている。なお、移動物体
とは、例えば車、飛行機等のことであり、背景の中で動
いている物体のことである。この移動物体を背景と共に
カメラで撮影したときに、その画像中のどの領域が移動
物体であるのかを検出する方法として、以下のようなも
のがある。
【０００３】例えば、Ｄ．ＭｕｒｒａｙとＡ．Ｂａｓｕ
は“Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａｎ
Ａｃｔｉｖｅ Ｃａｍｅｒａ”ＰＡＭＩ，Ｖｏｌ．１
６，Ｎｏ５，４４９−４５９，１９９４において、既知
のカメラの移動量を利用して画像を変換することによっ
て時系列画像間の対応を求め、移動物体を抽出する手法
を提案している。
は“Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａｎ
Ａｃｔｉｖｅ Ｃａｍｅｒａ”ＰＡＭＩ，Ｖｏｌ．１
６，Ｎｏ５，４４９−４５９，１９９４において、既知
のカメラの移動量を利用して画像を変換することによっ
て時系列画像間の対応を求め、移動物体を抽出する手法
を提案している。
【０００４】また、寺久保らは、「移動カメラで撮影し
た動画像からの移動物体の抽出」情報処理学会第５１回
全国大会，１９９５において、画像上に注目点を配置
し、これらの点を頂点とする領域の対応を時系列画像間
で探索することによって画像間でのアフィン変換パラメ
ータを２段階に分けて求めることによって高精度に移動
物体を抽出する手法を提案している。
た動画像からの移動物体の抽出」情報処理学会第５１回
全国大会，１９９５において、画像上に注目点を配置
し、これらの点を頂点とする領域の対応を時系列画像間
で探索することによって画像間でのアフィン変換パラメ
ータを２段階に分けて求めることによって高精度に移動
物体を抽出する手法を提案している。
【０００５】また、特開平７−１１０８６４号公報に
は、移動ベクトル場に２次元ラブラシアンフィルタを掛
け、その出力値をしきい値処理することによって移動物
体を抽出する方式が開示されている。
は、移動ベクトル場に２次元ラブラシアンフィルタを掛
け、その出力値をしきい値処理することによって移動物
体を抽出する方式が開示されている。
【０００６】これらの方法は、画像の運動量の不確実性
を考慮していなかったり、また、不確実性は考慮してい
ても、背景を含む全体的なシーンの状況によって定まる
運動量の信頼性を考慮していないものである。
を考慮していなかったり、また、不確実性は考慮してい
ても、背景を含む全体的なシーンの状況によって定まる
運動量の信頼性を考慮していないものである。
【０００７】
【発明が解決しようとする課題】ところで、背景の中で
動く移動物体をカメラで撮影した場合には、そのカメラ
より得られる画像の領域を背景と移動物体とに分割する
必要がある。この場合、画像中の各領域の運動量に応じ
て背景と移動物体とを分割する必要がある。しかしなが
ら、上述したように従来の方法によって求められる画像
の運動量は不確実性を含んでいるので、これらの不確実
性を含んだ運動量を一様に用いた場合には、背景と移動
物体とを正確に分割することが困難になる問題が生じ
る。また、全体的なシーンの状況によっては運動量の不
確実性を考慮したとしても、そのシーンの状況を正確に
反映した移動物体の検出が困難になる問題もある。これ
らの問題は、特にカメラが固定ではなく、移動カメラで
あった場合に顕著となる。
動く移動物体をカメラで撮影した場合には、そのカメラ
より得られる画像の領域を背景と移動物体とに分割する
必要がある。この場合、画像中の各領域の運動量に応じ
て背景と移動物体とを分割する必要がある。しかしなが
ら、上述したように従来の方法によって求められる画像
の運動量は不確実性を含んでいるので、これらの不確実
性を含んだ運動量を一様に用いた場合には、背景と移動
物体とを正確に分割することが困難になる問題が生じ
る。また、全体的なシーンの状況によっては運動量の不
確実性を考慮したとしても、そのシーンの状況を正確に
反映した移動物体の検出が困難になる問題もある。これ
らの問題は、特にカメラが固定ではなく、移動カメラで
あった場合に顕著となる。
【０００８】本発明は上記のような点に鑑みなされたも
ので、背景と移動物体をカメラで撮影した際に、その画
像の運動量そのものの不確実性だけでなく、シーンの状
況による運動量の信頼度を考慮して背景と移動物体を正
確に分割し、画像中から移動物体を高精度に検出するこ
とのできる移動物体検出装置及び移動物体検出方法を提
供することを目的とする。
ので、背景と移動物体をカメラで撮影した際に、その画
像の運動量そのものの不確実性だけでなく、シーンの状
況による運動量の信頼度を考慮して背景と移動物体を正
確に分割し、画像中から移動物体を高精度に検出するこ
とのできる移動物体検出装置及び移動物体検出方法を提
供することを目的とする。
【０００９】
【課題を解決するための手段】本発明の移動物体検出装
置は、背景および移動物体の撮影により得られる時系列
画像を入力する画像入力手段と、この画像入力手段によ
って順次入力される各画像を所定の単位で分割し、その
分割領域毎に画像間の運動量を算出すると共に、その運
動量の信頼度を算出する運動量信頼度検出手段と、この
運動量信頼度検出手段によって得られた上記各分割領域
毎の画像間の運動量および信頼度に基づいて当該入力画
像の中である部分がまとまって同じような動きをする領
域を上記背景が存在する背景領域として検出する背景領
域検出手段と、この背景領域検出手段によって検出され
た背景領域の運動量に基づいて上記背景領域以外の領域
を上記移動物体が存在する移動領域として検出する移動
領域検出手段とを具備したものである。
置は、背景および移動物体の撮影により得られる時系列
画像を入力する画像入力手段と、この画像入力手段によ
って順次入力される各画像を所定の単位で分割し、その
分割領域毎に画像間の運動量を算出すると共に、その運
動量の信頼度を算出する運動量信頼度検出手段と、この
運動量信頼度検出手段によって得られた上記各分割領域
毎の画像間の運動量および信頼度に基づいて当該入力画
像の中である部分がまとまって同じような動きをする領
域を上記背景が存在する背景領域として検出する背景領
域検出手段と、この背景領域検出手段によって検出され
た背景領域の運動量に基づいて上記背景領域以外の領域
を上記移動物体が存在する移動領域として検出する移動
領域検出手段とを具備したものである。
【００１０】また、上記移動領域検出手段は、上記背景
領域の運動量に応じた分だけ当該入力画像の１つ前ある
いは後の画像をシフトし、その差分を取ることにより移
動領域としての候補を求めることを特徴とする。
領域の運動量に応じた分だけ当該入力画像の１つ前ある
いは後の画像をシフトし、その差分を取ることにより移
動領域としての候補を求めることを特徴とする。
【００１１】このような構成によれば、時系列画像の局
所的な動き（運動量）を検出し、その信頼度を考慮して
画像を分割することによって、不確実な運動量に影響さ
れずにカメラの動きによる背景の大局的な運動量を正し
く計算できる。そして、この背景の大局的な運動量をも
とに画像中に存在する移動物体を精度よく検出すること
ができる。
所的な動き（運動量）を検出し、その信頼度を考慮して
画像を分割することによって、不確実な運動量に影響さ
れずにカメラの動きによる背景の大局的な運動量を正し
く計算できる。そして、この背景の大局的な運動量をも
とに画像中に存在する移動物体を精度よく検出すること
ができる。
【００１２】
【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。図１は本発明の一実施形態に係る
移動物体検出装置の構成を示すブロック図である。本装
置は、時系列画像を利用して移動物体を検出するための
装置であり、ここでは画像入力部１１、運動量信頼度検
出部１２、背景領域検出部１３、移動領域候補検出部１
４、移動領域検出部１５を有する。
実施形態を説明する。図１は本発明の一実施形態に係る
移動物体検出装置の構成を示すブロック図である。本装
置は、時系列画像を利用して移動物体を検出するための
装置であり、ここでは画像入力部１１、運動量信頼度検
出部１２、背景領域検出部１３、移動領域候補検出部１
４、移動領域検出部１５を有する。
【００１３】画像入力部１１は、背景および移動物体の
撮影により得られる時系画像を入力する。この画像入力
部１１によって入力された時系列画像は運動量信頼度検
出部１２に与えられる。
撮影により得られる時系画像を入力する。この画像入力
部１１によって入力された時系列画像は運動量信頼度検
出部１２に与えられる。
【００１４】運動量信頼度検出部１２は、運動量算出部
１２ａおよび信頼度算出部１２ｂからなり、画像入力部
１１から得られる入力画像を所定の単位で分割し、その
分割領域毎に画像間の運動量（動き情報）を算出すると
共に、その運動量の信頼度を算出する。この運動量信頼
度検出部１２によって得られた各分割領域毎の画像の運
動量および信頼度は背景領域検出部１３に与えられる。
１２ａおよび信頼度算出部１２ｂからなり、画像入力部
１１から得られる入力画像を所定の単位で分割し、その
分割領域毎に画像間の運動量（動き情報）を算出すると
共に、その運動量の信頼度を算出する。この運動量信頼
度検出部１２によって得られた各分割領域毎の画像の運
動量および信頼度は背景領域検出部１３に与えられる。
【００１５】背景領域検出部１３は、運動量信頼度検出
部１２によって得られた各分割領域毎の画像間の運動量
および信頼度に基づいて当該入力画像の中で支配的な動
きをする領域（ある部分がまとまって同じような動きを
する領域）を背景領域（背景が存在する領域）として検
出する。この背景領域検出部１３によって検出された背
景領域とその運動量は移動領域候補検出部１４に与えら
れる。
部１２によって得られた各分割領域毎の画像間の運動量
および信頼度に基づいて当該入力画像の中で支配的な動
きをする領域（ある部分がまとまって同じような動きを
する領域）を背景領域（背景が存在する領域）として検
出する。この背景領域検出部１３によって検出された背
景領域とその運動量は移動領域候補検出部１４に与えら
れる。
【００１６】移動領域候補検出部１４および移動領域検
出部１５は、背景領域検出部１３によって検出された背
景領域の運動量に基づいて、その背景領域以外の領域を
移動領域（移動物体が存在する領域）として検出するも
のである。このうち、移動領域候補検出部１４は背景領
域の運動量に応じた分だけ当該入力画像の１つ前あるい
は後の画像をシフトし、その差分を取ることにより移動
領域としての候補を求める処理を行う。移動領域検出部
１５は、さらに入力画像の２つ前あるいは後の画像を用
いて移動領域のみを特定する処理を行う。
出部１５は、背景領域検出部１３によって検出された背
景領域の運動量に基づいて、その背景領域以外の領域を
移動領域（移動物体が存在する領域）として検出するも
のである。このうち、移動領域候補検出部１４は背景領
域の運動量に応じた分だけ当該入力画像の１つ前あるい
は後の画像をシフトし、その差分を取ることにより移動
領域としての候補を求める処理を行う。移動領域検出部
１５は、さらに入力画像の２つ前あるいは後の画像を用
いて移動領域のみを特定する処理を行う。
【００１７】ここで、画像入力部１１は、移動カメラ
（例えば移動物体に載置されたテレビカメラ）を用い
て、運動している物体を撮影することによって得られる
時系列画像情報を入力し、これを運動量信頼度検出部１
２に転送する。この場合、カメラの動きが既知であれ
ば、その値をもとに画像を予め変換することによって信
頼度の高い移動領域の検出が可能であるが、本発明で
は、カメラの動きが未知であっても、移動領域を高精度
に検出することができる。
（例えば移動物体に載置されたテレビカメラ）を用い
て、運動している物体を撮影することによって得られる
時系列画像情報を入力し、これを運動量信頼度検出部１
２に転送する。この場合、カメラの動きが既知であれ
ば、その値をもとに画像を予め変換することによって信
頼度の高い移動領域の検出が可能であるが、本発明で
は、カメラの動きが未知であっても、移動領域を高精度
に検出することができる。
【００１８】また、ここで画像として入力する物体は、
移動する自動車から撮影された自動車や、自転車、人
間、さらに飛行場に離発着する飛行機などの移動可能物
体でも、道路上やその外に存在する看板などの固定物体
でもよい。これらの対象はその場所にそのまま存在する
ことが可能であり、特別な色や形の印などを付加する必
要はない。
移動する自動車から撮影された自動車や、自転車、人
間、さらに飛行場に離発着する飛行機などの移動可能物
体でも、道路上やその外に存在する看板などの固定物体
でもよい。これらの対象はその場所にそのまま存在する
ことが可能であり、特別な色や形の印などを付加する必
要はない。
【００１９】次に、本装置の動作を説明する前に理解を
容易にするため、本装置によって実現される移動物体検
出方法について説明する。図２は本装置によって実現さ
れる移動物体検出方法を説明するための図である。ここ
では、山を背景にして動いている自動車を移動物体とし
て、これを移動カメラで撮影した場合を想定する。図２
（ａ）は時刻ｔのときに得られた入力画像、同図（ｂ）
は時刻ｔ＋１のときに得られた入力画像である。これら
の入力画像は、画像入力部１１から時系列で順次得られ
る。
容易にするため、本装置によって実現される移動物体検
出方法について説明する。図２は本装置によって実現さ
れる移動物体検出方法を説明するための図である。ここ
では、山を背景にして動いている自動車を移動物体とし
て、これを移動カメラで撮影した場合を想定する。図２
（ａ）は時刻ｔのときに得られた入力画像、同図（ｂ）
は時刻ｔ＋１のときに得られた入力画像である。これら
の入力画像は、画像入力部１１から時系列で順次得られ
る。
【００２０】カメラから時系列で送られてくる画像には
背景と移動物体が含まれているため、これらを正確に分
割する必要がある。この場合、カメラが固定された状態
であれば問題ないが、動いた状態での撮影であると、そ
のカメラの動きに応じて背景と移動物体の両方に対応す
る画像中の領域が動くことになるため、画像の分割に際
しては、運動量（動き情報）の信頼度を考慮して精度の
高い処理を行う必要がある。
背景と移動物体が含まれているため、これらを正確に分
割する必要がある。この場合、カメラが固定された状態
であれば問題ないが、動いた状態での撮影であると、そ
のカメラの動きに応じて背景と移動物体の両方に対応す
る画像中の領域が動くことになるため、画像の分割に際
しては、運動量（動き情報）の信頼度を考慮して精度の
高い処理を行う必要がある。
【００２１】まず、図２（ａ）に示すように、入力され
た時系列画像を所定の単位で分割し、これらの分割領域
が図２（ｂ）に示す次の画像（時刻ｔ＋１の画像）のど
こに対応するのかを画像間の特徴量の差を利用して検索
する。特徴量として明るさを用いた場合、２つの画像間
の明るさの差が最小となる領域が対応領域となる。すな
わち、図２（ａ）に示す分割領域ａ１に着目すると、同
図（ｂ）では分割領域ｂ１との画像の明るさの差が最小
となるため、この２つの画像間では分割領域ａ１と分割
領域ｂ１が対応することがわかる。
た時系列画像を所定の単位で分割し、これらの分割領域
が図２（ｂ）に示す次の画像（時刻ｔ＋１の画像）のど
こに対応するのかを画像間の特徴量の差を利用して検索
する。特徴量として明るさを用いた場合、２つの画像間
の明るさの差が最小となる領域が対応領域となる。すな
わち、図２（ａ）に示す分割領域ａ１に着目すると、同
図（ｂ）では分割領域ｂ１との画像の明るさの差が最小
となるため、この２つの画像間では分割領域ａ１と分割
領域ｂ１が対応することがわかる。
【００２２】このようにして、各分割領域毎に画像間の
対応をとり、そのれらの運動量を算出する。しかし、シ
ーンの状況によっては画像間の対応を唯一に決定するこ
とが困難である場合がある。そこで、対応領域を検索し
たときの領域（図２（ｂ）の点線で囲んだ領域）を対象
に運動量の分布をとることにより、運動量の信頼度を算
出し、より安定な対応を得る指標とする。これについて
は、後に図８を参照して説明する。
対応をとり、そのれらの運動量を算出する。しかし、シ
ーンの状況によっては画像間の対応を唯一に決定するこ
とが困難である場合がある。そこで、対応領域を検索し
たときの領域（図２（ｂ）の点線で囲んだ領域）を対象
に運動量の分布をとることにより、運動量の信頼度を算
出し、より安定な対応を得る指標とする。これについて
は、後に図８を参照して説明する。
【００２３】次に、各分割領域の画像間の運動量とその
信頼度に基づいて支配的な動きを持つ領域を検出し、こ
れを背景領域（背景が存在する領域）とする。図２の例
では、「山」の部分が入力画像の中で支配的な動きを持
つため、その部分が背景領域として検出される。
信頼度に基づいて支配的な動きを持つ領域を検出し、こ
れを背景領域（背景が存在する領域）とする。図２の例
では、「山」の部分が入力画像の中で支配的な動きを持
つため、その部分が背景領域として検出される。
【００２４】このようにして背景領域が検出されると、
図２（ｃ）に示すように、その背景領域の運動量に応じ
た分だけ、図２（ｂ）の入力画像（時刻ｔ＋１の画像）
をシフトする。これにより、２つの画像間で背景領域が
重なり、移動領域のみを検出することができる。
図２（ｃ）に示すように、その背景領域の運動量に応じ
た分だけ、図２（ｂ）の入力画像（時刻ｔ＋１の画像）
をシフトする。これにより、２つの画像間で背景領域が
重なり、移動領域のみを検出することができる。
【００２５】ただし、この状態では２つの画像間で前後
する移動物体としての領域しかわからない。したがっ
て、正確に検出するためには、さらに次の時系列画像を
用いて移動領域を特定する必要がある。
する移動物体としての領域しかわからない。したがっ
て、正確に検出するためには、さらに次の時系列画像を
用いて移動領域を特定する必要がある。
【００２６】次に、同実施形態の動作を説明する。 （ａ）運動量信頼度検出処理 運動量信頼度検出部１２は、画像入力部１１からの時系
列画像情報を入力し、これを画像処理することによって
各分割領域毎に画像間での運動量を求め、こられの運動
量をその信頼度と共に背景領域検出部１３に与える。
列画像情報を入力し、これを画像処理することによって
各分割領域毎に画像間での運動量を求め、こられの運動
量をその信頼度と共に背景領域検出部１３に与える。
【００２７】この場合、運動量とその信頼度の算出は、
図３に示すような各手法（領域法、特徴点法、オプイカ
ルフロー法）によって実現することが可能である。図３
（ａ）に示す領域法では、図２（ａ）のように入力画像
を所定の領域で分割する（ステップＡ１１）。そして、
図７（ａ）および同図（ｂ）に示すような２枚の時系列
画像中での領域間の対応を取ることによって画像間での
各領域の運動量を求める。その際、２つの画像間の明る
さの差の自乗和が最小になる領域を対応領域とすれば、
領域の面積がＮのとき、領域の対応は以下に示す評価値
（式１）が最小となる領域を探索することによって求め
られる（ステップＡ１２）。
図３に示すような各手法（領域法、特徴点法、オプイカ
ルフロー法）によって実現することが可能である。図３
（ａ）に示す領域法では、図２（ａ）のように入力画像
を所定の領域で分割する（ステップＡ１１）。そして、
図７（ａ）および同図（ｂ）に示すような２枚の時系列
画像中での領域間の対応を取ることによって画像間での
各領域の運動量を求める。その際、２つの画像間の明る
さの差の自乗和が最小になる領域を対応領域とすれば、
領域の面積がＮのとき、領域の対応は以下に示す評価値
（式１）が最小となる領域を探索することによって求め
られる（ステップＡ１２）。
【００２８】
【数１】
【００２９】ここで、上記式１による評価値は０以上の
値となるが、これを以下のような運動量の不確実性の評
価値αに変換する（式２）。また、領域の対応は２つの
画像間の明るさの差の自乗和が最小になる領域だけでな
く、明るさの差の絶対値和が最小になる領域として求め
ることも可能である。
値となるが、これを以下のような運動量の不確実性の評
価値αに変換する（式２）。また、領域の対応は２つの
画像間の明るさの差の自乗和が最小になる領域だけでな
く、明るさの差の絶対値和が最小になる領域として求め
ることも可能である。
【００３０】
【数２】
【００３１】次に、運動量とその不確実性をもとにシー
ンの状況による運動量の信頼度を計算する（ステップＡ
１３）。この場合、対応領域を探索する時の領域Ｒ内で
αの分布は図８のようになる。このときαが最大値αm
になる（ｋm ，ｌm ）が領域の運動量となる（ステップ
Ａ１４）。
ンの状況による運動量の信頼度を計算する（ステップＡ
１３）。この場合、対応領域を探索する時の領域Ｒ内で
αの分布は図８のようになる。このときαが最大値αm
になる（ｋm ，ｌm ）が領域の運動量となる（ステップ
Ａ１４）。
【００３２】また、αm の値によってしきい値を決定
し、領域Ｒ内でそのしきい値以上となる領域を求め、
（ｋm ，ｌm ）からこれらの領域へのｘ軸およびｙ軸に
沿った最大距離を求め、これをそれぞれの軸に対する運
動量（ｋm ，ｌm ）の信頼度Ｒｅｌx 、Ｒｅｌy とす
る。この信頼度は評価値が最大となる運動量がどれだけ
顕著であるかを表す指標であり、方向別の偏差Ｒｅｌ
x 、Ｒｅｌy として表すことによって運動量の方向別の
信頼度を表すことが可能となる。また、方向によらない
信頼度を定義する場合は、運動量（ｋm ，ｌm ）からし
きい値以上の領域への最大距離のみを求めて利用すれば
よい。
し、領域Ｒ内でそのしきい値以上となる領域を求め、
（ｋm ，ｌm ）からこれらの領域へのｘ軸およびｙ軸に
沿った最大距離を求め、これをそれぞれの軸に対する運
動量（ｋm ，ｌm ）の信頼度Ｒｅｌx 、Ｒｅｌy とす
る。この信頼度は評価値が最大となる運動量がどれだけ
顕著であるかを表す指標であり、方向別の偏差Ｒｅｌ
x 、Ｒｅｌy として表すことによって運動量の方向別の
信頼度を表すことが可能となる。また、方向によらない
信頼度を定義する場合は、運動量（ｋm ，ｌm ）からし
きい値以上の領域への最大距離のみを求めて利用すれば
よい。
【００３３】図３（ｂ）に示す特徴点法では、上記の領
域の対応の代わりに、一次もしくは二次微分値が大きく
なる点を特徴点に選び（ステップＡ２１）、この点をも
とに時系列画像間の対応をとる（ステップＡ２２）。各
点の対応の評価値Ｄは画像間での微分値の差を用いて計
算する。対応探索領域は、領域法と同様に領域Ｒを設定
し、この範囲内で対応点の探索を行なう。評価値αや対
応の信頼度の値は領域法と同様の計算によって求め（ス
テップＡ２３）、その値によって運動量を決定する（ス
テップＡ２４）。
域の対応の代わりに、一次もしくは二次微分値が大きく
なる点を特徴点に選び（ステップＡ２１）、この点をも
とに時系列画像間の対応をとる（ステップＡ２２）。各
点の対応の評価値Ｄは画像間での微分値の差を用いて計
算する。対応探索領域は、領域法と同様に領域Ｒを設定
し、この範囲内で対応点の探索を行なう。評価値αや対
応の信頼度の値は領域法と同様の計算によって求め（ス
テップＡ２３）、その値によって運動量を決定する（ス
テップＡ２４）。
【００３４】図３（ｃ）に示すオプティカルフロー法で
は、画像内の各点に対するオプティカルフローを勾配法
などによって求め（ステップＡ３１）、予め与えられ探
索領域範囲に対して求められたオプティカルフローとそ
のフローの不確実性から評価値αや対応の信頼度の値を
計算によって求め（ステップＡ３２）、その値によって
運動量を決定する（ステップＡ３３）。
は、画像内の各点に対するオプティカルフローを勾配法
などによって求め（ステップＡ３１）、予め与えられ探
索領域範囲に対して求められたオプティカルフローとそ
のフローの不確実性から評価値αや対応の信頼度の値を
計算によって求め（ステップＡ３２）、その値によって
運動量を決定する（ステップＡ３３）。
【００３５】なお、背景または移動体の情報が既知の場
合には、さらに簡単な手法で処理できる。すなわち、例
えば移動物体が単一色の背景の前に存在する場合は、背
景の色情報を記憶するためのメモリを用意しておき、そ
こに記憶された色と同じ色の領域を求めることによっ
て、背景の領域が抽出できる。
合には、さらに簡単な手法で処理できる。すなわち、例
えば移動物体が単一色の背景の前に存在する場合は、背
景の色情報を記憶するためのメモリを用意しておき、そ
こに記憶された色と同じ色の領域を求めることによっ
て、背景の領域が抽出できる。
【００３６】また、移動物体が単一色の場合には、メモ
リに記憶された移動物体の色と異なる色の領域を求める
ことによって、背景の領域を抽出できる。この時の領域
の信頼度は背景領域と移動領域の間の色や明るさといっ
た画像特徴量の差を用いることができる。
リに記憶された移動物体の色と異なる色の領域を求める
ことによって、背景の領域を抽出できる。この時の領域
の信頼度は背景領域と移動領域の間の色や明るさといっ
た画像特徴量の差を用いることができる。
【００３７】（ｂ）背景領域検出処理 上述した方法によって求められた各分割領域毎の画像間
の運動量とその信頼度は背景領域検出部１３に送られ
る。背景領域検出部１３では、運動量信頼度検出部１２
で得られた各分割領域の運動量をその信頼度を考慮して
分類することにより、支配的な運動量を持つ領域を背景
領域として検出する。その処理の流れを図４に示す。こ
こで、各領域の対応を求めた時に、対応の信頼度Ｒｅｌ
x 、Ｒｅｌy が求められているので、分類の時にこの対
応の信頼度を考慮する。
の運動量とその信頼度は背景領域検出部１３に送られ
る。背景領域検出部１３では、運動量信頼度検出部１２
で得られた各分割領域の運動量をその信頼度を考慮して
分類することにより、支配的な運動量を持つ領域を背景
領域として検出する。その処理の流れを図４に示す。こ
こで、各領域の対応を求めた時に、対応の信頼度Ｒｅｌ
x 、Ｒｅｌy が求められているので、分類の時にこの対
応の信頼度を考慮する。
【００３８】カメラの移動による画像間の移動が並行移
動のみの場合には、支配的な運動量を求めるために、各
分割領域の運動量を図９に示すような２次元の運動量空
間Ｓm に射影する（ステップＢ１１）。その際に、運動
量の信頼度を考慮しない場合は、各分割領域の運動量は
運動量空間中に一点として射影される。
動のみの場合には、支配的な運動量を求めるために、各
分割領域の運動量を図９に示すような２次元の運動量空
間Ｓm に射影する（ステップＢ１１）。その際に、運動
量の信頼度を考慮しない場合は、各分割領域の運動量は
運動量空間中に一点として射影される。
【００３９】ここでは、一例として信頼度を考慮して各
点を射影する時にそれぞれの軸に対する信頼度を標準偏
差σx ＝Ｒｅｌx ，σy ＝Ｒｅｌy として持つ以下のよ
うな正規分布の形（式３）で各運動量を図９に示すよう
に運動量空間Ｓm に射影する。また、信頼度がしきい値
より小さい場合には、その運動量の値は信頼度が著しく
低いと考えられるため、投票には利用しない。
点を射影する時にそれぞれの軸に対する信頼度を標準偏
差σx ＝Ｒｅｌx ，σy ＝Ｒｅｌy として持つ以下のよ
うな正規分布の形（式３）で各運動量を図９に示すよう
に運動量空間Ｓm に射影する。また、信頼度がしきい値
より小さい場合には、その運動量の値は信頼度が著しく
低いと考えられるため、投票には利用しない。
【００４０】
【数３】
【００４１】場合によっては、軸ごとに分けずに、σx
＝σy として投票することも可能である。また、分布は
正規分布に限らず、一様分布や三角分布などの他の分布
を用いることも可能である。
＝σy として投票することも可能である。また、分布は
正規分布に限らず、一様分布や三角分布などの他の分布
を用いることも可能である。
【００４２】次に、背景領域検出部１３では、運動量空
間Ｓm に投票された運動量の分布のピークを検出し（ス
テップＢ１２）、このピークに対応する運動量を背景領
域の運動量として決定し、これを移動領域候補検出部１
４に送る（ステップＢ１３）。
間Ｓm に投票された運動量の分布のピークを検出し（ス
テップＢ１２）、このピークに対応する運動量を背景領
域の運動量として決定し、これを移動領域候補検出部１
４に送る（ステップＢ１３）。
【００４３】図９の例では、（Ｘb ，Ｙb ）で運動量の
分布はピークを持っている。また、カメラの動きによる
画像の変化が並行移動だけでなく、回転やズームも含ま
れる場合には、運動量が一様な領域毎にそれぞれ以下の
アフィン変換（式４）の係数を求める必要がある。
分布はピークを持っている。また、カメラの動きによる
画像の変化が並行移動だけでなく、回転やズームも含ま
れる場合には、運動量が一様な領域毎にそれぞれ以下の
アフィン変換（式４）の係数を求める必要がある。
【００４４】
【数４】
【００４５】これらを解くには、得られたそれぞれの運
動量をもとに最小自乗法によってこれらの係数を求める
必要がある。その際に、それぞれの運動量の信頼度を重
みとすることによって安定した係数を得ることができ
る。また、最小自乗法の場合は大きなはずれ値の影響を
強く受ける性質があるので、くりこみ法などを用いるこ
とによって、さらに精度の高い背景の運動量を求めるこ
とが可能となる。ここで、背景の運動量が支配的な場合
には、画像全体に対して一つのアフィン係数を求めれば
十分である。
動量をもとに最小自乗法によってこれらの係数を求める
必要がある。その際に、それぞれの運動量の信頼度を重
みとすることによって安定した係数を得ることができ
る。また、最小自乗法の場合は大きなはずれ値の影響を
強く受ける性質があるので、くりこみ法などを用いるこ
とによって、さらに精度の高い背景の運動量を求めるこ
とが可能となる。ここで、背景の運動量が支配的な場合
には、画像全体に対して一つのアフィン係数を求めれば
十分である。
【００４６】（ｃ）移動領域候補検出処理 図５に移動領域候補検出部１４での処理を示す。移動領
域候補検出部１４は、背景領域検出部１３によって求め
られた背景領域の運動量を読み込み（ステップＣ１
１）、その運動量に応じて時刻ｔ2 での入力画像をシフ
トする（ステップＣ１２）。この時刻ｔ2 での入力画像
と時刻ｔ1 での入力画像との差分を取ることによって、
背景と異なった運動をしている領域を抽出する（ステッ
プＣ１３）。なお、背景運動量をもとに時刻ｔ1 での入
力画像を移動し、この入力画像と時刻ｔ2 での入力画像
との差分を取ることによって、背景と異なった運動をし
ている領域を抽出するようにしても良い。
域候補検出部１４は、背景領域検出部１３によって求め
られた背景領域の運動量を読み込み（ステップＣ１
１）、その運動量に応じて時刻ｔ2 での入力画像をシフ
トする（ステップＣ１２）。この時刻ｔ2 での入力画像
と時刻ｔ1 での入力画像との差分を取ることによって、
背景と異なった運動をしている領域を抽出する（ステッ
プＣ１３）。なお、背景運動量をもとに時刻ｔ1 での入
力画像を移動し、この入力画像と時刻ｔ2 での入力画像
との差分を取ることによって、背景と異なった運動をし
ている領域を抽出するようにしても良い。
【００４７】このとき、ノイズの影響を考慮して、時刻
ｔ1 と時刻ｔ2 の２つの入力画像の差分値が予め設定さ
れたしきい値以上の領域のみを、移動領域の候補として
抽出する（ステップＣ１４、Ｃ１５）。
ｔ1 と時刻ｔ2 の２つの入力画像の差分値が予め設定さ
れたしきい値以上の領域のみを、移動領域の候補として
抽出する（ステップＣ１４、Ｃ１５）。
【００４８】（ｄ）移動領域検出処理 上記のようにして抽出された移動領域の情報は移動領域
検出部１４に送られる。移動領域検出部１５での処理を
図６に示す。移動領域検出部１５は移動領域候補検出部
１４によって得られた情報を記憶しておくためのメモリ
を複数個持っており、移動領域候補検出部１４からの情
報を一方のメモリで受けとっている間に、他方のメモリ
に記憶された情報を移動領域検出に利用することが可能
である。また、時系列画像を順次蓄えることによって、
それらの差分をとる画像間の時間を調整することが可能
である。
検出部１４に送られる。移動領域検出部１５での処理を
図６に示す。移動領域検出部１５は移動領域候補検出部
１４によって得られた情報を記憶しておくためのメモリ
を複数個持っており、移動領域候補検出部１４からの情
報を一方のメモリで受けとっている間に、他方のメモリ
に記憶された情報を移動領域検出に利用することが可能
である。また、時系列画像を順次蓄えることによって、
それらの差分をとる画像間の時間を調整することが可能
である。
【００４９】ここで、移動領域検出部１５は、移動領域
候補検出部１４によって得られた移動領域の候補を読み
込む（ステップＤ１１）。そして、メモリに記憶された
複数の時系列画像（少なくとも３つの時系列画像）の差
分を取ることによって（ステップＤ１２）、任意の時刻
における移動領域を画像中から抽出する（ステップＤ１
３）。
候補検出部１４によって得られた移動領域の候補を読み
込む（ステップＤ１１）。そして、メモリに記憶された
複数の時系列画像（少なくとも３つの時系列画像）の差
分を取ることによって（ステップＤ１２）、任意の時刻
における移動領域を画像中から抽出する（ステップＤ１
３）。
【００５０】この場合の移動領域抽出方法は２通りあ
る。１つの方法は、送られてくるデータを二値化し、時
系列画像間でこれらの二値化された領域の積を取ること
によって移動領域を抽出する方法である。もう１つの方
法は、送られてくる濃淡データの積を時系列画像間で取
ることによって移動領域を抽出する方法である。
る。１つの方法は、送られてくるデータを二値化し、時
系列画像間でこれらの二値化された領域の積を取ること
によって移動領域を抽出する方法である。もう１つの方
法は、送られてくる濃淡データの積を時系列画像間で取
ることによって移動領域を抽出する方法である。
【００５１】このようにして、カメラから得られる時系
列画像を利用して移動物体を検出することができる。こ
の場合、運動量そのものの不確実性だけでなく、全体的
なシーンの状況による運動量の信頼度を考慮した画像の
分割が可能となり、不確実な運動量の影響を受けること
なく、カメラの動きによる背景の大局的な運動量を正し
く計算することが可能となり、背景の運動量を用いて入
力画像中の移動物体の領域を精度よく検出することがで
きる。
列画像を利用して移動物体を検出することができる。こ
の場合、運動量そのものの不確実性だけでなく、全体的
なシーンの状況による運動量の信頼度を考慮した画像の
分割が可能となり、不確実な運動量の影響を受けること
なく、カメラの動きによる背景の大局的な運動量を正し
く計算することが可能となり、背景の運動量を用いて入
力画像中の移動物体の領域を精度よく検出することがで
きる。
【００５２】なお、カメラを複数台用いて計測した場合
には、それぞれのカメラ画像から移動領域が抽出される
ので、これらの領域間の視差を求めることによって移動
領域までの距離を求めることも可能である。このように
して抽出された移動領域もしくは移動領域とその距離情
報はこれらのデータを利用する装置に送ることが可能で
ある。
には、それぞれのカメラ画像から移動領域が抽出される
ので、これらの領域間の視差を求めることによって移動
領域までの距離を求めることも可能である。このように
して抽出された移動領域もしくは移動領域とその距離情
報はこれらのデータを利用する装置に送ることが可能で
ある。
【００５３】また、上述した実施形態において記載した
手法は、コンピュータに実行させることのできるプログ
ラムとして、例えば図１０に示すように、磁気ディスク
（フロッピーディスク、ハードディスク等）、光ディス
ク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記
録媒体に書き込んで各種装置に適用したり、通信媒体に
より伝送して各種装置に適用することも可能である。ま
た、本装置を実現するコンピュータは、記録媒体に記録
されたプログラムを読み込み、このプログラムによって
動作が制御されることにより、上述した処理を実行す
る。
手法は、コンピュータに実行させることのできるプログ
ラムとして、例えば図１０に示すように、磁気ディスク
（フロッピーディスク、ハードディスク等）、光ディス
ク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記
録媒体に書き込んで各種装置に適用したり、通信媒体に
より伝送して各種装置に適用することも可能である。ま
た、本装置を実現するコンピュータは、記録媒体に記録
されたプログラムを読み込み、このプログラムによって
動作が制御されることにより、上述した処理を実行す
る。
【００５４】
【発明の効果】以上説明したように本発明によれば、時
系列画像の局所的な動き（運動量）を検出し、その信頼
度を考慮して画像を分割するようにしたため、運動量そ
のものの不確実性だけでなく、シーンの状況による運動
量の信頼度を考慮した運動量の分割が可能となり、不確
実な運動量の影響を受けることなく、カメラの動きによ
る背景の大局的な運動量を正しく計算することが可能と
なり、その背景の運動量を用いて画像中の移動領域を精
度よく検出することができる。
系列画像の局所的な動き（運動量）を検出し、その信頼
度を考慮して画像を分割するようにしたため、運動量そ
のものの不確実性だけでなく、シーンの状況による運動
量の信頼度を考慮した運動量の分割が可能となり、不確
実な運動量の影響を受けることなく、カメラの動きによ
る背景の大局的な運動量を正しく計算することが可能と
なり、その背景の運動量を用いて画像中の移動領域を精
度よく検出することができる。
【図１】本発明の一実施形態に係る移動物体検出装置の
構成を示すブロック図。
構成を示すブロック図。
【図２】本装置によって実現される移動物体検出方法を
説明するための図。
説明するための図。
【図３】本装置の運動量信頼度検出部の処理動作を説明
するためのフローチャート。
するためのフローチャート。
【図４】本装置の背景領域検出部の処理動作を説明する
ためのフローチャート。
ためのフローチャート。
【図５】本装置の移動領域候補検出部の処理動作を説明
するためのフローチャート。
するためのフローチャート。
【図６】本装置の移動領域検出部の処理動作を説明する
ためのフローチャート。
ためのフローチャート。
【図７】時系列間の画像の対応を探索する領域を説明す
るための図。
るための図。
【図８】探索領域Ｒ内での運動量の評価値αの分布を示
す図。
す図。
【図９】運動量空間Ｓm の座標系を示す図。
【図１０】ソフトウェアによる本装置の供給方法を示す
図。
図。
１１…画像入力部 １２…運動量信頼度検出部 １２ａ…運動量算出部 １２ｂ…信頼度算出部 １３…背景領域検出部 １４…移動領域候補検出部 １５…移動領域検出部
Claims (4)
- 【請求項１】 背景および移動物体の撮影により得られ
る時系列画像を入力する画像入力手段と、 この画像入力手段によって順次入力される各画像を所定
の単位で分割し、その分割領域毎に画像間の運動量を算
出すると共に、その運動量の信頼度を算出する運動量信
頼度検出手段と、 この運動量信頼度検出手段によって得られた上記各分割
領域毎の画像間の運動量および信頼度に基づいて当該入
力画像の中である部分がまとまって同じような動きをす
る領域を上記背景が存在する背景領域として検出する背
景領域検出手段と、 この背景領域検出手段によって検出された背景領域の運
動量に基づいて上記背景領域以外の領域を上記移動物体
が存在する移動領域として検出する移動領域検出手段と
を具備したことを特徴とする移動物体検出装置。 - 【請求項２】 上記移動領域検出手段は、上記背景領域
の運動量に応じた分だけ当該入力画像の１つ前あるいは
後の画像をシフトし、その差分を取ることにより移動領
域としての候補を求めることを特徴とする請求項１記載
の移動物体検出装置。 - 【請求項３】 背景および移動物体の撮影により得られ
る時系列画像を入力し、 この順次入力される各画像を所定の単位で分割し、その
分割領域毎に画像間の運動量を算出すると共に、その運
動量の信頼度を算出し、 上記各分割領域毎の画像間の運動量および信頼度に基づ
いて当該入力画像の中である部分がまとまって同じよう
な動きをする領域を上記背景が存在する背景領域として
検出し、 この検出された背景領域の運動量に基づいて上記背景領
域以外の領域を上記移動物体が存在する移動領域として
検出するようにしたことを特徴とする移動物体検出方
法。 - 【請求項４】 上記背景領域の運動量に応じた分だけ当
該入力画像の１つ前あるいは後の画像をシフトし、その
差分を取ることにより移動領域としての候補を求めるこ
とを特徴とする請求項３記載の移動物体検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8241904A JPH1091795A (ja) | 1996-09-12 | 1996-09-12 | 移動物体検出装置及び移動物体検出方法 |
| US08/912,172 US5991428A (en) | 1996-09-12 | 1997-08-15 | Moving object detection apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8241904A JPH1091795A (ja) | 1996-09-12 | 1996-09-12 | 移動物体検出装置及び移動物体検出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1091795A true JPH1091795A (ja) | 1998-04-10 |
Family
ID=17081291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8241904A Pending JPH1091795A (ja) | 1996-09-12 | 1996-09-12 | 移動物体検出装置及び移動物体検出方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5991428A (ja) |
| JP (1) | JPH1091795A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003515827A (ja) * | 1999-11-26 | 2003-05-07 | モービルアイ インク | 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 |
| US6819778B2 (en) | 2000-03-30 | 2004-11-16 | Nec Corporation | Method and system for tracking a fast moving object |
| JP2004341979A (ja) * | 2003-05-19 | 2004-12-02 | Nissan Motor Co Ltd | 障害物検出装置および障害物検出方法 |
| JP2006527881A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法 |
| JP2008282386A (ja) * | 2007-05-10 | 2008-11-20 | Honda Motor Co Ltd | 物体検出装置、物体検出方法及び物体検出プログラム |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| JP2013101612A (ja) * | 2011-11-02 | 2013-05-23 | Eads Deutschland Gmbh | ビデオ画像シーケンスにおいて移動物体を検出するための方法および装置 |
| WO2018139461A1 (ja) * | 2017-01-30 | 2018-08-02 | 日本電気株式会社 | 移動物体検出装置、移動物体検出方法及び記憶媒体 |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3348833B2 (ja) * | 1998-07-10 | 2002-11-20 | 富士通株式会社 | 動画像合成装置 |
| US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
| US6501515B1 (en) * | 1998-10-13 | 2002-12-31 | Sony Corporation | Remote control system |
| JP3463098B2 (ja) * | 1999-10-08 | 2003-11-05 | 独立行政法人産業技術総合研究所 | モジュレートアプタマー及びこれを用いた標的タンパク質の検出方法 |
| JP3873554B2 (ja) * | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
| AU2001247315A1 (en) * | 2000-03-10 | 2001-09-24 | Sensormatic Electronics Corporation | Method and apparatus for object tracking and detection |
| US6501794B1 (en) * | 2000-05-22 | 2002-12-31 | Microsoft Corporate | System and related methods for analyzing compressed media content |
| EP1220182A3 (en) * | 2000-12-25 | 2005-08-17 | Matsushita Electric Industrial Co., Ltd. | Image detection apparatus, program, and recording medium |
| US7120277B2 (en) * | 2001-05-17 | 2006-10-10 | Koninklijke Philips Electronics N.V. | Segmentation unit for and method of determining a second segment and image processing apparatus |
| JP3885999B2 (ja) * | 2001-12-28 | 2007-02-28 | 本田技研工業株式会社 | 物体検出装置 |
| US7266220B2 (en) * | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| US20050078873A1 (en) * | 2003-01-31 | 2005-04-14 | Cetin Ahmet Enis | Movement detection and estimation in wavelet compressed video |
| GB0305304D0 (en) * | 2003-03-07 | 2003-04-09 | Qinetiq Ltd | Scanning apparatus and method |
| US20040223652A1 (en) * | 2003-05-07 | 2004-11-11 | Cetin Ahmet Enis | Characterization of motion of moving objects in video |
| GB0315412D0 (en) * | 2003-07-02 | 2003-08-06 | Queen Mary & Westfield College | Optical flow estimation method |
| US7376250B2 (en) * | 2004-01-05 | 2008-05-20 | Honda Motor Co., Ltd. | Apparatus, method and program for moving object detection |
| KR100647957B1 (ko) * | 2004-12-14 | 2006-11-23 | 엘지전자 주식회사 | 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법 |
| US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
| US8139896B1 (en) | 2005-03-28 | 2012-03-20 | Grandeye, Ltd. | Tracking moving objects accurately on a wide-angle video |
| FR2886020B1 (fr) * | 2005-05-19 | 2007-10-19 | Eurocopter France | Systeme d'estimation de la vitesse d'un aeronef et son application a la detection d'obstacles |
| JP4274233B2 (ja) * | 2006-11-30 | 2009-06-03 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| TWI355615B (en) * | 2007-05-11 | 2012-01-01 | Ind Tech Res Inst | Moving object detection apparatus and method by us |
| TWI353778B (en) * | 2007-12-21 | 2011-12-01 | Ind Tech Res Inst | Moving object detection apparatus and method |
| EP2304643A4 (en) * | 2008-06-26 | 2012-03-14 | Flir Systems | EMITTER TRACKING SYSTEM |
| AU2009251048B2 (en) * | 2009-12-18 | 2013-12-19 | Canon Kabushiki Kaisha | Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment |
| US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
| US8693547B2 (en) * | 2011-04-06 | 2014-04-08 | Google Inc. | Apparatus and method for coding using motion vector segmentation |
| US8989256B2 (en) | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
| US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
| US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
| US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
| EP2920773A4 (en) | 2012-11-16 | 2016-07-06 | Flir Systems | SYNCHRONIZED INFRARED BAKE / INFRARED DETECTION SYSTEM |
| CN104104865B (zh) * | 2013-04-02 | 2017-07-11 | 宏达国际电子股份有限公司 | 控制方法及电子装置 |
| US9749541B2 (en) * | 2013-04-16 | 2017-08-29 | Tout Inc. | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device |
| JP6702746B2 (ja) * | 2016-02-10 | 2020-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、プログラム及び記憶媒体 |
| JP6659162B2 (ja) * | 2016-03-15 | 2020-03-04 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法及びプログラム |
| IT201600094858A1 (it) * | 2016-09-21 | 2018-03-21 | St Microelectronics Srl | Procedimento per un cross traffic alert avanzato a basso costo, corrispondente sistema di elaborazione, sistema per cross traffic alert e veicolo |
| KR101851155B1 (ko) | 2016-10-12 | 2018-06-04 | 현대자동차주식회사 | 자율 주행 제어 장치, 그를 가지는 차량 및 그 제어 방법 |
| US10803751B2 (en) * | 2017-04-26 | 2020-10-13 | Mitsubishi Electric Corporation | Processing device |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4645459A (en) * | 1982-07-30 | 1987-02-24 | Honeywell Inc. | Computer generated synthesized imagery |
| GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
| US5122873A (en) * | 1987-10-05 | 1992-06-16 | Intel Corporation | Method and apparatus for selectively encoding and decoding a digital motion video signal at multiple resolution levels |
| US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
| US4937878A (en) * | 1988-08-08 | 1990-06-26 | Hughes Aircraft Company | Signal processing for autonomous acquisition of objects in cluttered background |
| JPH07105949B2 (ja) * | 1989-03-20 | 1995-11-13 | 松下電器産業株式会社 | 画像の動きベクトル検出装置および揺れ補正装置 |
| GB8909498D0 (en) * | 1989-04-26 | 1989-06-14 | British Telecomm | Motion estimator |
| EP0455444B1 (en) * | 1990-04-29 | 1997-10-08 | Canon Kabushiki Kaisha | Movement detection device and focus detection apparatus using such device |
| EP0484076B1 (en) * | 1990-10-29 | 1996-12-18 | Kabushiki Kaisha Toshiba | Video camera having focusing and image-processing function |
| US5243418A (en) * | 1990-11-27 | 1993-09-07 | Kabushiki Kaisha Toshiba | Display monitoring system for detecting and tracking an intruder in a monitor area |
| US5764786A (en) * | 1993-06-10 | 1998-06-09 | Kuwashima; Shigesumi | Moving object measurement device employing a three-dimensional analysis to obtain characteristics of the moving object |
| JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
| KR0126657B1 (ko) * | 1993-10-28 | 1997-12-29 | 구자홍 | 디지탈 영상 복원을 위한 움직임 보상장치 |
| JP3123587B2 (ja) * | 1994-03-09 | 2001-01-15 | 日本電信電話株式会社 | 背景差分による動物体領域抽出方法 |
| JPH08147477A (ja) * | 1994-09-20 | 1996-06-07 | Fujitsu Ltd | 局所領域画像追跡装置 |
| GB2297450B (en) * | 1995-01-18 | 1999-03-10 | Sony Uk Ltd | Video processing method and apparatus |
| US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
-
1996
- 1996-09-12 JP JP8241904A patent/JPH1091795A/ja active Pending
-
1997
- 1997-08-15 US US08/912,172 patent/US5991428A/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003515827A (ja) * | 1999-11-26 | 2003-05-07 | モービルアイ インク | 輸送手段の動きのパスに沿って記録された連続イメージを使用して、移動する輸送手段のエゴモーションを予測するためのシステムおよび方法 |
| US6819778B2 (en) | 2000-03-30 | 2004-11-16 | Nec Corporation | Method and system for tracking a fast moving object |
| JP2004341979A (ja) * | 2003-05-19 | 2004-12-02 | Nissan Motor Co Ltd | 障害物検出装置および障害物検出方法 |
| JP2006527881A (ja) * | 2003-06-17 | 2006-12-07 | 三菱電機株式会社 | ビデオの時間的な画像シーケンス中の移動オブジェクトを検出する方法 |
| US8300887B2 (en) | 2007-05-10 | 2012-10-30 | Honda Motor Co., Ltd. | Object detection apparatus, object detection method and object detection program |
| JP2008282386A (ja) * | 2007-05-10 | 2008-11-20 | Honda Motor Co Ltd | 物体検出装置、物体検出方法及び物体検出プログラム |
| JP2008310418A (ja) * | 2007-06-12 | 2008-12-25 | Nikon Corp | 画像処理装置、画像処理プログラム及びそれらを搭載した電子カメラ |
| JP2013101612A (ja) * | 2011-11-02 | 2013-05-23 | Eads Deutschland Gmbh | ビデオ画像シーケンスにおいて移動物体を検出するための方法および装置 |
| WO2018139461A1 (ja) * | 2017-01-30 | 2018-08-02 | 日本電気株式会社 | 移動物体検出装置、移動物体検出方法及び記憶媒体 |
| JPWO2018139461A1 (ja) * | 2017-01-30 | 2019-11-14 | 日本電気株式会社 | 移動物体検出装置、移動物体検出方法及び記憶媒体 |
| US10755419B2 (en) | 2017-01-30 | 2020-08-25 | Nec Corporation | Moving object detection apparatus, moving object detection method and program |
| US10769798B2 (en) | 2017-01-30 | 2020-09-08 | Nec Corporation | Moving object detection apparatus, moving object detection method and program |
| US10853950B2 (en) | 2017-01-30 | 2020-12-01 | Nec Corporation | Moving object detection apparatus, moving object detection method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US5991428A (en) | 1999-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1091795A (ja) | 移動物体検出装置及び移動物体検出方法 | |
| JP7326720B2 (ja) | 移動体位置推定システムおよび移動体位置推定方法 | |
| US11132810B2 (en) | Three-dimensional measurement apparatus | |
| US10311595B2 (en) | Image processing device and its control method, imaging apparatus, and storage medium | |
| JP4349367B2 (ja) | 物体の位置姿勢を推定する推定システム、推定方法および推定プログラム | |
| US10721431B2 (en) | Method for estimating a timestamp in a video stream and method of augmenting a video stream with information | |
| US8831284B2 (en) | Object identification from image data captured from a mobile aerial platforms | |
| US6141440A (en) | Disparity measurement with variably sized interrogation regions | |
| Wang et al. | Automated road sign inventory system based on stereo vision and tracking | |
| AliAkbarpour et al. | Fast structure from motion for sequential and wide area motion imagery | |
| JP6116765B1 (ja) | 物体検出装置及び物体検出方法 | |
| CN114120301A (zh) | 一种位姿确定方法、装置及设备 | |
| CN114556425A (zh) | 定位的方法、设备、无人机和存储介质 | |
| JP2007078409A (ja) | 物体測位装置 | |
| KR102028319B1 (ko) | 연관 영상 제공장치 및 방법 | |
| CN104504162B (zh) | 一种基于机器人视觉平台的视频检索方法 | |
| CN110992393A (zh) | 一种基于视觉的目标运动跟踪方法 | |
| WO2021230157A1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| CN112270748B (zh) | 基于图像的三维重建方法及装置 | |
| CN112257638A (zh) | 一种图像比对方法、系统、设备及计算机可读存储介质 | |
| JP4124861B2 (ja) | 移動量検出装置及びその方法 | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| CN115294358A (zh) | 特征点提取方法、装置、计算机设备及可读存储介质 | |
| CN110428446B (zh) | 一种基于混合核相关滤波的卫星视频目标跟踪方法 | |
| JP2018049396A (ja) | 形状推定方法、形状推定装置および形状推定プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040629 |