[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP3123587B2 - 背景差分による動物体領域抽出方法 - Google Patents

背景差分による動物体領域抽出方法

Info

Publication number
JP3123587B2
JP3123587B2 JP2922095A JP2922095A JP3123587B2 JP 3123587 B2 JP3123587 B2 JP 3123587B2 JP 2922095 A JP2922095 A JP 2922095A JP 2922095 A JP2922095 A JP 2922095A JP 3123587 B2 JP3123587 B2 JP 3123587B2
Authority
JP
Japan
Prior art keywords
image
moving object
value
background image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2922095A
Other languages
English (en)
Other versions
JPH07302328A (ja
Inventor
仁 土川
敦 佐藤
明 伴野
健一郎 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2922095A priority Critical patent/JP3123587B2/ja
Priority to EP19950103419 priority patent/EP0671706B1/en
Priority to US08/401,972 priority patent/US5748775A/en
Priority to DE69510252T priority patent/DE69510252T2/de
Publication of JPH07302328A publication Critical patent/JPH07302328A/ja
Application granted granted Critical
Publication of JP3123587B2 publication Critical patent/JP3123587B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力画像と背景像との
差分処理により連続フレーム画像中から動物体領域を抽
出する処理方法に関し、特に照明変動が生ずる環境にお
いても安定して動物体領域を抽出することができる背景
差分による動物体領域抽出方法に関する。
【０００２】
【従来の技術】画像処理による動物体抽出方法として
は、（１）基準となる画像を背景像として蓄えておき、
背景画像と入力画像との差情報を抽出し、しきい値によ
り２値化して動物体領域を求める方法、（２）基準画像
として直前のフレーム画像を用いてフレーム間差分情報
を求め、２値化する方法、（３）基準画像と入力画像の
変化点の対応を移動ベクトル算出などにより求め、移動
している点の集合を動物体領域とする方法、（４）基準
画像と入力画像の変化をある対象区域内での相関により
求め、変化のある領域を動物体領域とする方法、（５）
移動対象の認識（形状）を行った上で移動追跡を行う方
法、などがある。
【０００３】中でも差分処理は、比較的簡単な処理で高
速に抽出できる利点があり、工業部品検査・計測、車両
計測、監視システムなどの分野でよく利用されている。
【０００４】図１８（ａ）は、差分処理による動物体抽
出処理方法を模式的に示したものである。図１８（ａ）
に示すように、動きのある物体の抽出は、背景のみから
なる参照画像Ｙと最新の入力画像Ｘi の差をとり、ある
しきい値以上の差があった部分を動きのある動物体の領
域と判定する。ここで、背景像が変化しない状況を仮定
すれば、動物体は簡単に抽出できる。しかし、照明変化
があると、参照する背景像はそれに応じて変化し、同様
な処理では背景部分についても差分値が大きくなってし
まい、安定に動物体を抽出できないという問題があっ
た。
【０００５】このため、差分処理では背景値の変化に対
応した背景像を適切に更新しつつ動物体抽出処理を行う
ことが不可欠となる。すなわち、入力画像Ｘi に対する
動物体領域抽出処理とともに背景値の変化判定を行い、
背景が変化した場合、適切な背景像Ｙi+1 に更新し、次
の入力画像Ｘi+1 の動物体を抽出する処理を逐次繰り返
す。
【０００６】図１８（ｂ）はその動物体領域の抽出処理
フローを示す。対象画像入力処理８１１により、順次フ
レーム画像を入力する。背景変化の判定処理８１２によ
り、入力画像Ｘi について背景値の変化があったかどう
かを調べ、変化があれば、背景像の修正処理８１３によ
り背景像を更新する。次に背景像との差分処理８１４に
より、入力画像Ｘi と更新された背景像との差分情報を
求める。そして、２値化処理８１５により差分情報を所
定のしきい値により２値化し、入力画像Ｘi においてそ
の２値化で示される領域を動物体像８１６とする。
【０００７】
【発明が解決しようとする課題】上記背景像の修正処理
８１３等による背景像更新処理の従来手法としては、入
力像値と蓄積してある背景像値との加重平均や、直前数
フレーム画像値の単純平均などを用いる方法がある。し
かしながら、これらの手法では、背景値の変化につい
て、移動物体が通過することによる変化か、照明が変化
したことによる変化かを区別しておらず、動物体の多数
通過により背景像を誤って更新してしまうという問題が
ある。
【０００８】また、背景差分で現れた物体の形状などの
画像特徴を解析して判断する方法があるが、形状の変化
する動物体を含む画像に対しては、物体抽出結果が、物
体によるものか背景値の変化による誤抽出かを判定でき
ず、人間のような動物体を安定に抽出することは非常に
困難である。
【０００９】以上のように、現在のところ背景画像を認
識して適切に更新処理する技術的手段は少なく、従って
差分処理による動物体抽出は、屋外などの照明変化が激
しい環境では実現されていない。
【００１０】本発明は、上記に鑑みてなされたもので、
その目的とするところは、屋外など照明変動が頻繁に起
きる状況、および背景がゆっくり変化する状況でも差分
処理を適用して、人物、車両などの動物体を安定に抽出
する背景差分による動物体領域抽出方法を提供すること
にある。
【００１１】
【課題を解決するための手段】本発明は、上記課題を解
決するため、画像が変化したとき、その変化が照明条件
の変化によるのか、ゆっくりした背景変動によるのか、
あるいは動物体が現れたことまたは通過したことによっ
て生じたのかを統計的な手法で検出し、照明変動または
ゆっくりした背景変動の場合にのみ背景像を適切に更新
するようにしたものである。さらに詳しくは以下の方法
を用いる。
【００１２】（１）入力画像と背景像との差分処理によ
り連続フレーム画像中から動物体領域を抽出するにあっ
て、まず、各フレーム画像中の位置（ｘ，ｙ）を含む小
領域ａk を対象として、その各小領域の光学的特徴パラ
メータの数値の時間変化を蓄積する。そして、その数値
の時間変化を所定時間間隔ｔ0 で統計処理し、統計量が
照明変動に起因すると推定される照明変動推定条件を満
たしたときに、その小領域の所定時間内の数値を背景像
の同じ小領域の数値と置き換え、新背景像として保持す
る。このような背景像小領域更新処理を画面全体または
予め設定した画面所望領域の各位置に対して実行するこ
とにより、背景像の所望領域を更新する。こうして逐次
更新される背景像を用いて、所望領域について入力画像
との差分処理を行う。その結果の差分処理画像に対して
２値化処理を行い、得られた領域を動物体領域として抽
出する。
【００１３】これは、具体的には図１５を参照するに、
画像入力部１を介して入力される各フレーム画像中の位
置（ｘ，ｙ）を含む小領域ａk を対象として、その各小
領域の光学的特徴パラメータの数値の時間変化を画像蓄
積部１０に蓄積し、この蓄積された数値の時間変化を背
景値更新部３０の画素値統計処理部２１により所定時間
間隔ｔ0 で統計処理し、統計量が照明変動に起因すると
推定される照明変動推定条件を満たしたときに、その小
領域の所定時間内の数値を背景像の同じ小領域の数値と
置き換え、新背景像として保持する。このような統計値
判断部２２、最頻値（平均値）算出部２３（２５）およ
び背景値置換部２４（２６）による背景像小領域更新処
理を画面全体または予め設定した画面所望領域の各位置
に対して実行することにより、背景像の所望領域を更新
するものであり、次に、こうして背景値更新部３０で逐
次更新される背景像を用いて、差分処理部４１で所望領
域について画像入力部１を介して入力される入力画像と
の差分処理を行う。その結果の差分処理画像に対して２
値化処理部５０で２値化処理を行い、得られた領域を動
物体領域出力部６０で動物体領域として抽出し出力する
ものである。
【００１４】（２）上記（１）における背景像小領域更
新処理において照明変動の推定は、対象とした小領域に
ついて、所定時間間隔で光学的特徴パラメータの数値の
頻度分布（ヒストグラム）を求め、その頻度分布の分散
などを表す統計的特徴量σを求め、求めた統計的特徴量
σを、予め求めておいた照明変動に起因する統計的特徴
量σ0 と比較して判断処理することにより行う。
【００１５】（３）また、上記（１）における背景像小
領域更新処理において照明変動条件を満たしたときの小
領域の数値置き換え処理では、頻度分布の極値または平
均値に対応する小領域の数値を新背景像として保持す
る。
【００１６】（４）上記（１）において、小領域の単位
を画面中の画素とし、背景像所望領域更新処理の対象と
する画面所望領域は画面中の１ラインまたはスリット状
の領域とする。すなわち、図１６に示すように、画像入
力部１と画像蓄積部１０との間にスリット画像取得部５
を設けることにより達成される。
【００１７】（５）上記（１）における背景像小領域更
新処理において照明変動の推定は、対象とした小領域に
ついて、所定時間間隔で光学的特徴パラメータの数値の
頻度分布（ヒストグラム）を求め、その頻度分布の分散
などを表す統計的特徴量σを求め、求めた統計的特徴量
σを周辺の小領域における同様のσと相対比較して判断
処理することにより行う。
【００１８】（６）上記（１）における小領域の光学的
特徴パラメータの数値の時間変化を記録する場合に、ｎ
種類の光学的特徴パラメータの各数値を記録対象とし、
前記背景像小領域更新処理では、対象とした小領域につ
いて、ｎ種類の光学的特徴パラメータの各数値をｎ次元
ベクトルとして表し、前記所定時間間隔ｔ0 で得られた
ベクトル集合を統計処理し、統計量が照明変動に起因す
ると推定される照明変動推定条件を満たしたときに、そ
の小領域の所定時間内の数値を背景像の同じ小領域の数
値と置き換え、新背景像として保持する。
【００１９】（７）上記（６）において、照明変動の推
定は、前記所定時間間隔ｔ0 で得られたベクトル集合の
フレーム間距離の頻度分布（ヒストグラム）を求め、そ
の頻度分布の分散などを表す統計的特徴量σを求め、求
めた統計的特徴量σを予め求めておいた照明変動に起因
する統計的特徴量σ0 と比較して判断処理することによ
り行う。
【００２０】（８）また、上記（６）において、照明変
動の推定は、対象とした小領域について、予め照明変動
に起因して変化するｎ次元ベクトルの特性曲線を求めて
おき、その曲線と前記得られたｔ0 間のベクトル集合と
の距離の頻度分布（ヒストグラム）を求め、その距離の
平均値μまたは頻度分布の分散度などを表す統計的特徴
量σを求め、求めたμまたはσを予め求めておいた照明
変動に起因するμ0 またはσ0 と比較して判断処理する
ことにより行う。
【００２１】（９）上記（１）における前記背景像小領
域更新処理において、照明変動推定条件を複数持ち、条
件を満たしたときに該小領域の該時間内の数値を背景像
の同小領域の数値と各条件に応じた方法で置き換え、新
背景像として保持する。
【００２２】（１０）また、上記（１）における前記入
力画像との差分処理を行う過程において、逐次更新され
る背景像と、光学的特徴パラメータの数値の時間変化を
蓄積する手段に蓄積されている所定時間ｔ1 前に入力さ
れた画像との差分処理を行う。すなわち、図１７に示す
ように、画像入力部１を介して入力され、一旦画像蓄積
部１０に蓄積した画像を用いることにより達成される。
【００２３】（１１）上記（１０）において、前記背景
像小領域更新処理における数値の置き換えが、差分処理
過程において用いられる所定時間ｔ1 前の画像を中心と
した時間ｔ2 の間の該小領域の数値の平均との置き換え
である。
【００２４】（１２）上記（１）における前記動物体抽
出過程において２値化する際のしきい値を、光学的特徴
パラメータの数値の時間変化を蓄積する手段に蓄積され
ている時間変化を所定間隔ｔ0 で統計処理して得られた
数値に更新するしきい値更新手段を有し、差分処理手段
で作成された差分処理画像に対して該しきい値更新手段
によって作られたしきい値を用いて２値化処理を行い、
得られた領域を動物体領域として抽出する。
【００２５】
【作用】上記（１），（２）の方法では、背景像を画素
などの小領域の集合体として扱い、この小領域の光学的
特徴パラメータの数値の時間的変化を統計的に処理する
ことにより、その数値変化が照明変動によるものなの
か、動物体の通過によるものなのかを判断する。屋外等
での照明変動は、雲の通過、太陽の位置変化、影の変化
等により起きるが、主として輝度変化が多い。また、こ
の照明変動による数値変化は、人物や車などの動物体が
通過したときの変化に比べるとなだらかなため、所定時
間内のパラメータ数値を用いて分散度などを測定すれ
ば、その小領域では照明変動が起きたことを検出でき
る。
【００２６】照明変動は厳密には常に発生しているた
め、以上の処理を連続して行うことにより所定時間を単
位として背景像を常時更新することができる。
【００２７】更新処理は各小領域毎に行うため、これを
画面中の所望領域に拡張することができる。従って、画
面の中で照明変動が一様でなくても適切に背景像の更新
が可能である。更新された背景像と入力画像との差分画
像を求めると、動物体が現れた画面領域で光学的特徴パ
ラメータの数値が変化するため、適切な２値化処理によ
りこの領域が安定に検出できる。
【００２８】上記（３）の方法では、小領域の数値置き
換えに関して、所定時間の頻度分の極値または平均値に
対応する小領域の数値を用いるため、その時点で統計的
に最も背景らしい数値を用いることになり、従って、次
の差分処理と２値化処理が安定になる。また、カメラの
ノイズなどによる数値の揺らぎの影響を避けることがで
きる。
【００２９】上記（４）の方法では、小領域を画面中の
画素とし、画面所望領域を画面中の１ライン（スリッ
ト）とするため、そのラインと時間軸から構成される時
空間断面画像を容易に高速に作ることができる。本差分
処理による時空間断面画像には動物体のみが現れるた
め、２値化処理も高速化が可能である。
【００３０】上記（５）の方法では、対象とする小領域
における数値の頻度分布の分散度などを、周辺の小領域
における同様の分散度などと相対比較して判断処理す
る。照明による背景像の変化は、上述のような時間方向
だけではなく、一般的には空間方向にもなだらかであ
る。従って、周辺の小領域の変化と相対比較し、分散度
の変化が画面の適当な領域で一様と判断されれば照明変
動として更新処理を行うことができる。
【００３１】上記（６）の方法では、ｎ種類の光学的特
徴パラメータの数値変化の統計処理から照明変動の有無
を推定するため、より安定に背景更新が可能である。ま
た、複数の特徴量を用いるため背景の変化がより詳細に
分析できるので、照明変動による画像の変化のみなら
ず、背景像そのものが緩やかに変化する場合にも、その
変化を検出して背景像を更新できる。
【００３２】上記（７）の方法では、ｎ次元特徴空間に
おいて、各ベクトルのフレーム間距離の頻度分布を求
め、この分布の分散度などから照明変動の有無を検出す
る。照明変動ではフレーム間のベクトル距離は比較的小
さい。一方、移動物体が現れると、１フレームの間でも
２つのベクトル距離は大きくなる。従って、この分布か
ら照明変動を検出できる。また、緩やかな背景像の変化
を検出できる。
【００３３】上記（８）の方法では、対象とする小領域
について、予め照明変動に起因して変化するｎ次元特徴
ベクトルの特性曲線を求めておく。前述のように照明変
動では輝度変化が主であるが輝度変化であれば、特徴ベ
クトルはほぼ所定の曲線上を移動する。従って、ベクト
ルがこの曲線に沿った動きをしていると判断される場合
には、照明変動とみなして背景更新処理を行うことがで
きる。一方、移動物体が現れるとベクトルはこの曲線か
ら大きく外れる。従って、照明変動とは明確に区別する
ことができる。
【００３４】判定処理としては、各ベクトルから前記特
性曲線までの距離の頻度分布を用いる。上記の理由で、
照明変動であれば一般的にはベクトルは曲線から大きく
離れないので距離の平均値は小さく、また、分散度もそ
れ程大きくない。一方、移動物体であれば、距離は大き
く、分散度も大きい。これらの差から判断できる。な
お、平均値と分散度を組み合わせて用いることにより、
判別の信頼性を上げることができる。更に、何らかの理
由で背景そのものが変化し曲線が変化した場合、背景の
変化を推定して新たな背景に対応する照明変動特性曲線
を生成することができる。
【００３５】上記（９）の方法では、照明変動推定条件
を複数持つため、照明の変動具合に応じた背景像の置き
換え処理が行え、様々な照明変動に対応して動物体領域
の抽出を行うことができる。
【００３６】上記（１０）の方法では、更新された背景
像と蓄積されている過去の画像との差分処理を行うが、
該蓄積画像は、更新に用いられるｔ0 間の画像のうちの
１枚であるため、該背景画像は、入力されたばかりの画
像に対する背景画像として差分処理を行うよりも、該蓄
積画像に対する背景画像として差分処理を行う方が照明
変動、背景像そのものの変化に対してより安定な背景像
として用いることができる。
【００３７】上記（１１）の方法では、背景画像を、差
分対象となる蓄積画像を中心とした比較的短い時間間隔
ｔ2 の画像の平均によって求めるため、急激な照明変動
があった場合にも安定に背景画像を更新することがで
き、更に、更新された背景画像と最も背景が近いと期待
できる画像との差分処理を行うため、安定な差分処理を
行うことができる。
【００３８】上記（１２）の方法では、画像中の各小領
域ごとの照明条件に応じて、差分処理後の２値化処理で
用いられるしきい値を変動させるため、照明条件による
明るさの変化に起因する背景像と被抽出像との輝度差の
変化に対して安定に２値化処理を行うことができる。
【００３９】
【実施例】以下、図面を用いて本発明の実施例を説明す
る。
【００４０】図１は、本発明の一実施例に係る背景差分
による動物体領域抽出方法を実施する装置の構成を示す
図であり、図２は、図１に示す装置を更に詳しく具体的
に示す図である。なお、図１および図２に示す本実施例
は、具体的には、図３以降に示す実施例４以降に対して
実施例１，２，３を含んでいるものである。
【００４１】図１および図２において、００１はカメ
ラ、１００は光学的特徴パラメータの数値（輝度値）の
時間変化蓄積手段、１０１，１０２はフレーム画像メモ
リ、（ｘ，ｙ）は画面内の位置、ａk は（ｘ，ｙ）を含
む小領域でここでは画素、ｔ0は所定時間間隔、１１０
は背景像、１２０は動物体領域、２００は背景像小領域
更新手段、２１０はｔ0 間の数値（輝度値）変化の統計
処理手段、２１１，２１２は各々ａ1 ，ａ2 のｔ0 間の
数値（輝度値）変化の統計処理手段、２１３，２１４は
各々ａ1 ，ａ2 のｔ0 間における輝度の出現頻度分布
図、２２０，２２１，２２２は照明変動推定条件、σは
統計的特徴量としての出現頻度分布の分散度、σ0 は予
め求めておいた照明変動に起因する統計的特徴量として
の出現頻度分布の分散度、２３０，２３１，２３２は数
値置き換え処理手段、３００は背景像所望領域更新手
段、３１０は更新された新背景像、この新背景像３１０
において、１は更新された小領域、０はｔ0 では更新さ
れなかった小領域、４００は入力画像０１０と新背景像
３１０を画素単位で差分処理する差分処理手段、５００
は動物体領域抽出手段、５１０は２値化処理手段、５２
０は出力結果、すなわち抽出された動物体領域である。
【００４２】図１および図２を用いて処理内容を説明す
る。カメラ００１からはモノクロ連続フレーム画像が得
られる。この画像はフレーム画像メモリ１０１，１０２
…に蓄積される。画面中の座標（ｘ，ｙ）の回りに小領
域ａk （ｋ＝１，２，…，Ｋ）をとる。この小領域は後
述のように複数の画素からなる領域でもよいが、ここで
は、簡単のため１画素とする。この小領域の光学的特徴
パラメータは画素の輝度で、８ビットの輝度値が出力と
して得られる。
【００４３】各小領域の輝度値はｔ0 間にフレーム画像
枚数だけ得られる。そこで、小領域ａ1 について輝度値
を横軸に取り、縦軸に同輝度値が現れる出現頻度を取る
と、図２に示すような頻度分布２１３が得られる。ａ1
の小領域には動物体はなく、背景である。背景の輝度は
主として照明変動により変わるが、ｔ0 が数秒程度の短
い時間の場合、一般的には照明変化は少ないので、この
分布は輝度ピークの回りに広がり度の小さな釣鐘状にな
る。つまり、統計的な分散度σは小さな値を示す。一
方、小領域ａ2 では動物体が撮影されるため、ｔ0 間に
輝度値は大きく変化し、同分布は図２に示す頻度分布２
１４のように広がりを示す。つまり、分散度σは大きな
値を示す。
【００４４】従って、大きな照明変動があった場合の分
散度をσ0 として予め求めておき、この値と前記σとを
比較し、σが小さければ照明変動による輝度値の変化で
あるとして、この背景像小領域の数値を更新する。ま
た、σがσ0 より大きければ、この小領域の輝度変化は
動物体の出現など照明変動以外の要因によるものと判断
して、背景像小領域の数値の更新は行わない。このよう
にして、小領域ａk の背景像更新が行われる。以上で
は、照明変動推定のために頻度分布の分散度を比較した
が、この代わりに照明変動による分布形状の特徴を学習
しておき、これと比較して、照明変動か否かを判断して
もよい。
【００４５】以上、照明変動によって背景の輝度値が変
わった場合の更新方法を述べたが、上記手法は照明変動
以外でも適用できる。すなわち、背景物が緩やかに変化
する場合または動物体と明らかに区別できる変化の場合
には同様に適用できる。例えば、オフィス等で人の動き
を自動監視するような場合、机の上の書類の位置などは
不定期に変化する。しかし、この動きは人の動きに比べ
ると明らかに異なる。つまり、１回動くと次に動かすま
では変化しない。人物領域の動きはｔ0 の時間間隔で考
えた場合、常に連続している場合が多い。従って、頻度
分布を比較すると動物体による輝度変化か否かを区別で
きる。これにより、照明変動の場合の背景更新と同様な
手法で更新できる。
【００４６】以上の背景像小領域の更新処理を画面全体
（または所望領域）で行うことにより、更新された新背
景像３１０のような背景像が得られる。図２に示す新背
景像３１０において、“１”の小領域は更新された部
分、“０”の小領域はｔ0 間では更新されなかった部分
を表す。この像の各小領域は動物体が現れる直前の最も
信頼性の高い背景を反映していると考えてよい。このよ
うにして逐次更新される背景像を用いて、差分処理手段
４００および２値化処理手段５１０により、所望領域に
おいて入力画像との差分処理および２値化処理を行う
と、図示のように動物体領域１２０が抽出される。この
処理を各入力画像に対して行うと、出力結果５２０のよ
うに連続した動物体像が得られる。
【００４７】以上の実施例では、カメラはモノクロカメ
ラで、光学的特徴パラメータは画素の輝度値であるが、
カメラおよび光学的特徴パラメータとしては、モノクロ
カメラなどから得られる画像の濃度情報、カラーカメラ
などから得られるカラー情報より抽出できる輝度、色
相、彩度、隣接画素との濃度勾配、その他の表色系で表
現される量、あるいは赤外線カメラなどから得られる濃
度情報や温度情報、レンジセンサなどから得られる距離
情報、超音波センサなどから得られる反射強度情報のい
ずれか１つあるいは複数を組み合わせた量を用いること
ができる。
【００４８】また、本実施例では、小領域は画素と一致
しているが、小領域は複数画素からなるブロック画像で
もよく、この場合、ブロック画像の輝度の平均値や最頻
値、最大値、最小値など、複数の輝度値を統計処理して
得られた値を光学的特徴パラメータとすることができ
る。
【００４９】図２において、照明変動推定条件２２１，
２２２までの処理は同じである。対象とした小領域につ
いて照明変動と判断された場合のその後の更新処理は以
下のようにすればよい。この小領域の輝度出現分布がピ
ークとなる輝度値（横軸）に対応するブロック画像を、
光学的特徴パラメータの数値の時間変化蓄積手段１００
のｔ0 間のフレーム画像の中から選択し、更新された新
背景像３１０の該当する小領域と置き換える。この処理
を所望領域について行えば、前述した例と同様な新背景
像が逐次得られる。動物体領域抽出手段５００の処理は
同様である。
【００５０】図２では、所望領域は画面全体であった
が、画面中の１ライン、すなわちスリット状の画素列と
してもよい。図３は本発明の他の実施例４を示し、特に
図３（ａ）は動物体を含む動画像７１０、図３（ｂ）は
動画像７１０におけるスリット７２０と時間軸とから構
成される時空間断面画像７３０、図３（ｃ）は時空間断
面画像の特定のサンプリング位置における入力値および
背景値の経過７４０、図３（ｄ）は動物体抽出結果の時
空間断面画像７５０を示す。
【００５１】本実施例では、小領域を画面中の画素と
し、画面所望領域を画面中の１ラインからなるスリット
７２０(Sampling Slit) としている。対象の領域を１ラ
イン（スリット）とすることにより、このスリット７２
０と時間軸とから構成される時空間断面画像７３０を容
易にかつ高速に作ることができる。ここで、入力する動
画像７１０は、２次元の広がりを持つ画像ではなく、最
初からレンジセンサやスリットカメラから得られる１次
元のスリット画像を用いてもよい。更に、この時空間断
面画像スリット上の動画像に対して逐次に本差分処理に
よる動物体抽出処理を行うと、照明の変化に拘らず動物
体７５１のみを非常に高速に抽出することが可能であ
る。
【００５２】この発明を実画像に施した結果を図３に従
って説明する。図３（ａ）に示すように、照明変動が起
きている通行人を含む動画像７１０上にスリット７２０
を設け、得られるスリット画像を時間方向に並べる。こ
れにより、図３（ｂ）に示すような時空間断面画像７３
０が得られる。図３（ｃ）における、ある画素上の入力
値および背景値の経過７４０からも見られるように、こ
の発明による動物体抽出処理によって、通行人の通過に
よる入力値の変化７４２に影響されずに、照明変動に追
従して適切な背景値７４１が逐次推定されている。更
に、その適切な背景値を用いることにより、図３（ｄ）
に示すように、動物体７５１のみが正確に抽出された時
空間断面画像７５０が高速にかつ安定に得られているこ
とがわかる。
【００５３】次に、本発明の別の実施例５について、図
２を参照して説明する。図２の実施例では照明変動推定
の際にσをσ0 と比較した。これの代替として、または
これを補う推定として以下の方法が可能である。動物体
出現以外の原因（照明変動、背景物の緩やかな変化な
ど）による背景像の変化は一般的に緩やかな場合が多
く、また頻度分布の形状は類似している。従って、小領
域ａ1 の更新判断処理に際して、ａ1 の頻度分布２１３
の形状をａ1 周辺の小領域の分布の形状と比較し、類似
した分布が周辺に多くある場合には更新を行うとする処
理を採用する。図２ではａ1 ，ａ4 ，ａ5 は類似してい
るのでこれらは照明変動等によると判断して更新する。
ａ2 ，ａ3 の分布は各々かなり異なるので、動物体領域
と判断して更新はしない。
【００５４】図４および図５は、本発明の更に他の実施
例６および７を示す図である。同図において、００２は
カラーカメラ、１３０は３種類の光学的特徴パラメータ
の数値（輝度値）の時間変化蓄積手段、１３１，１３
２，１３３は各々Ｒ，Ｇ，Ｂ用フレーム画像メモリ、２
００は背景像小領域更新手段、２４０はｎ（ｎ＝３）次
元ベクトル生成手段、２５１，２５２は各々小領域
ａ1 ，ａ2 のｔ0 間のベクトル集合、２６０は数値変化
の統計処理手段であって、特に図５に示す２６１，２６
２は各々ａ1 ，ａ2 のｔ0 間の数値（輝度値）変化の統
計処理手段、２６３，２６４は特徴値の頻度分布、２７
１は照明変動推定条件、σは出現頻度分布の分散度、σ
0 は照明変動に起因する統計的特徴量としての出現頻度
分布の分散度、２８１は数値置き換え処理手段、３００
は背景像所望領域更新手段、３２１は更新された新背景
像、４０１〜４０３は入力画像０１１〜０１３と新背景
像３２１とをそれぞれＲ，Ｇ，Ｂ画像の画素単位で差分
処理する差分処理手段、５００は動物体領域抽出手段、
５１１〜５１２は２値化処理手段を表す。
【００５５】カラーカメラ００２からは光学的特徴パラ
メータとしてＲ，Ｇ，Ｂ画像（輝度値）が得られる。こ
れらの画像は各色成分に対応したフレーム画像メモリ１
３１，１３２，１３３に蓄積される。３種類の輝度値
は、図５のｎ次元ベクトル生成手段２４０に示すように
小領域ａk （ｋ＝１，２，…Ｋ）毎に３次元特徴空間に
ベクトル表示される。更に、各小領域についてｔ0 間の
ベクトル集合は同空間にプロットされる。このようにし
て小領域ａ1 のベクトル集合２５１、小領域ａ2のベク
トル集合２５２，…を得る。
【００５６】図５に示すベクトル集合２５１，２５２に
は以下の特徴がある。小領域ａ1 では、動物体はないの
で各ベクトルＶ1 ，Ｖ2 ，Ｖ3 の変化は緩やかであり、
ベクトル間の距離Ｗ1 ，Ｗ2 も小さい。一方、小領域ａ
2 では、動物体があるので各ベクトルＶ1 ，Ｖ2 ，Ｖ3
は大きく変化し、ベクトル間の距離Ｗ1 ，Ｗ2 も大き
い。従って、この距離を特徴値ｗとして出現頻度を求め
ると、小領域ａ1 については頻度分布２６３のように広
がり度の少ない分布となり、小領域ａ2 については頻度
分布２６４のように広がり度の大きな分布となる。そこ
で、照明変動または緩やかな背景物の変化によるこのよ
うな分布の広がり度を予め求めておき、これと比較して
小領域の背景値置き換えを判断することが可能である。
【００５７】新背景像３２１として、Ｒ，Ｇ，Ｂの３種
類の画像が得られる。入力画像０１１〜０１３のＲ，
Ｇ，Ｂの３種類の画像と各々差分処理すれば、動物体領
域１２０が抽出される。複数の光学的特徴を用いるの
で、更新判断が正確であり、従って動物体をより安定に
抽出できる。
【００５８】図４および図５に示す実施例において、光
学的特徴パラメータには、Ｒ，Ｇ，Ｂ画像の他、画像の
カラー情報より抽出できる輝度、色相、彩度、隣接画素
との濃度勾配、その他の表色系で表現される量、あるい
は赤外線カメラなどから得られる濃度情報などを用いる
こともできる。
【００５９】図６は、本発明の更に別の実施例８を示す
図である。この実施例８は、前記実施例７と比較して、
背景像小領域更新手段２００のみが異なるものである。
図６において、２５３は小領域ａ1 のｔ0 間の撮影系特
性曲線との離散度集合算出手段、２５４は小領域ａ2 の
ｔ0 間の撮影系特性曲線との離散度集合算出手段、２６
５は小領域ａ1 のｔ0 間の特徴値の集合の統計処理手
段、２６６は小領域ａ2のｔ0 間の特徴値の集合の統計
処理手段、２６７，２６８は特徴値の頻度分布、２７３
は照明変動推定条件、２８３は数値置き換え処理手段、
Ｖ1 ，Ｖ2 ，Ｖ3は特徴ベクトル、Ｌ1 ，Ｌ2 は特性曲
線、ｄ1 ，ｄ2 ，ｄ3 は入力される小領域における特徴
ベクトルの変化の特性曲線からの距離を表す。
【００６０】図７は、この実施例に関係する照明変動に
起因する特徴量を表す図である。同図において、Ｘ1 ，
Ｘ2 ，Ｘ3 ，Ｙ1 ，Ｙ2 ，Ｙ3 ，Ｚ1 ，Ｚ2 ，Ｚ3 は各
領域における入力値、ｂ0 ，ｂ1 ，ｂ2 は各領域におけ
る背景値、Ｌa ，Ｌb ，Ｌ0，Ｌ1 ，Ｌ2 は背景値に対
する特性曲線、ｕ2 ，ｕ3 は曲線上の移動ベクトルを表
す。
【００６１】この実施例では、各小領域の背景値ｂ0 ，
ｂ1 ，…に基づき予め照明変動に起因して変化する３次
元ベクトルの特性曲線を求めておく。ただし、より簡便
な処理を行うため、照明変動による背景値の変動は現背
景値と空間原点を結ぶ直線に沿って起きると仮定し、図
７（ａ）に示すようにその直線Ｌa ，Ｌb を前記特性曲
線と近似することもできる。
【００６２】離散度集合算出手段２５３により求めた小
領域ａ1 の３種の特徴ベクトル集合について見ると、小
領域ａ1 では動物体はないので照明変化に応じて前記特
性曲線Ｌ1 上にベクトルの緩やかな変化が起きており、
その変化量も小さい。一方、離散度集合算出手段２５４
により求めた小領域ａ2 の３種の特徴ベクトル集合につ
いて見ると、小領域ａ2 では動物体があるので、図６に
示すように各ベクトルＶ1 ，Ｖ2 ，Ｖ3 は大きく変化
し、特性曲線Ｌ2 からのズレも激しい。
【００６３】ここで、前記特性曲線からのズレを計るた
めに曲線からの距離を特徴値ｄとして、時間ｔ0 間の出
現頻度を求めると、小領域ａ1 については頻度分布２６
７のように広がり度の少ない分布となり、小領域ａ2 に
ついては頻度分布２６８のように広がり度の大きな分布
となる。そこで、照明変動によるこのような分布の広が
り度を予め求めておき、これと比較して小領域の背景値
置き換えを判断することが可能である。
【００６４】さらに、特性曲線からのズレ量ｄを、特性
曲線からの距離だけでなく、曲線上に投影したときの点
（現在値から曲線への垂線の足に相当する点）の移動ベ
クトルも同時に考慮することにより、照明変動の緩急の
程度も判定可能となる。例えば、図７（ｂ）において、
背景値ｂ0 ，ｂ1 ，ｂ2 に対する特性曲線Ｌ0 ，Ｌ1，
Ｌ2 を考えると、入力される小領域の特徴ベクトルの変
化を、特性曲線からの距離ｄおよび曲線上の移動ベクト
ルｕで表現し、急激な照明変動Ｙ1 ，Ｙ2 ，Ｙ3 と緩や
かな照明変動Ｚ1 ，Ｚ2 ，Ｚ3 とを区別しつつ、背景像
の変化を判定できる。
【００６５】図８および図９は、本発明の他の実施例９
を示す図である。図９は、図１および図２の背景像小領
域更新手段２００に置き変わる背景像小領域更新手段２
０１を示し、図９は、その具体例を示す図である。
【００６６】図８において、２０１は背景像小領域更新
手段、２１５はｔ0 間の数値（輝度値）変化の統計処理
手段、２２３は照明変動推定条件、２３３，２３４，２
３５，２３６は数値置き換え処理手段である。
【００６７】図９において、２０２は背景像小領域更新
手段、２４０はｔ0 間の数値（輝度値）変化の統計処理
手段、２４１，２４２，２４５は各々ａ1 ，ａ2 ，ａ5
のｔ0 間の数値（輝度値）変化の統計処理手段、２５
１，２５２，２５５は各々ａ1，ａ2 ，ａ5 のｔ0 間の
輝度値の出現頻度分布図、２６１，２６２，２６５は各
々ａ1 ，ａ2 ，ａ5 のｔ0 間の輝度の時間微分値の出現
頻度分布図、ｍはｔ0 間での輝度値の微分値の最大値、
ｍ0 は照明変動に起因する統計的特徴量で輝度値の微分
値の最大値、２２４は照明変動推定条件、２３７，２３
８は数値置き換え処理手段である。
【００６８】本実施例について、図１，８および９を参
照して説明する。背景像小領域更新手段以外の部分にお
いては、図１，２の説明で述べたのと同じである。
【００６９】図８では、照明変動の状況に応じてＮ種類
の数値置き換え処理２３３，２３４，２３５，２３６を
有する場合の例をあげており、図９では、具体例として
２つの数値置き換え処理２３７，２３８を設けた場合を
あげている。
【００７０】図１の背景像小領域更新手段では照明変動
推定条件を満たすか否かでその小領域の背景像を更新す
るかどうかが決まっていた。ところが、照明変動といっ
ても、変化の要因により、変動の仕方は様々であり、そ
れぞれに適した更新方法が考えられる。そこで、照明変
動推定条件を複数設けて照明変動の状況に応じた条件分
岐を行い、それぞれの状況に適した置き換え処理を行う
ことにより、状況に応じた所定小領域の背景像の更新を
行える。
【００７１】図９では、照明変動と判定された時の数値
置き換え処理を、照明変動がないかあっても緩やかな変
動である場合（数値置き換え処理手段２３７で対処）と
急激な照明変動があった場合（数値置き換え処理手段２
３８で対処）の２つに分けて処理し、それぞれの条件に
あてはまるかどうかを判定する照明変動推定条件２２４
を有する。
【００７２】照明変動がないか、あっても緩やかな変動
である時には、図９の２５１に示すような頻度分布が得
られ、該小領域の輝度値に対するｔ0 間での同輝度値の
出現頻度の統計的な分散度σは、ｔ0 が数秒程度の短い
時間の場合、小さな値を示す。
【００７３】照明変動が急激になるにつれて、該分散度
σも大きくなり、σだけからでは動物体と区別をつける
のが難しい。図９の２５５が照明変動が急激な場合、２
５２が照明変動以外の要因による場合の輝度値の頻度分
布である。この場合は、判断のための統計量として、該
小領域での輝度値の時間微分値ｄｆのｔ0 間での最大値
ｍを用いる。図９の２６５に照明変動が急激な場合、２
６２に照明変動以外の要因による場合の輝度値の時間微
分値の頻度分布を示す。ｄｆは、該小領域の輝度変化が
照明変動に起因している場合にはあまり大きな値をとら
ない。しかし、動物体が該小領域に入ってきた場合に
は、ｄｆは大きな値をとり、物体が現れた瞬間、いなく
なった瞬間に顕著である。
【００７４】従って、予め物体が現れた場合のｄｆの最
大値と、急激な照明変動が起った時のｄｆの最大値の境
界値ｍ0 を求めておくことで、前述のσとσ0 との比較
に加えて、ｔ0 間でのｄｆの最大値ｍとｍ0 との比較を
行うことにより、σがσ0 よりも小さければ、緩やかな
照明変動による輝度値の変化であるとして、該背景像小
領域の数値を更新し、σがσ0 よりも大きく、ｍがｍ0
よりも小さければ、急激な照明変動による輝度値の変化
であるとして、該背景像小領域の数値を更新し、σがσ
0 よりも大きく、ｍがｍ0 よりも大きければ、該小領域
の輝度変化は動物体の出現など照明変動以外の要因によ
るものと判断して該小領域の数値の更新は行わない。
【００７５】照明変動がないか、あっても緩やかな変動
である時の数値置き換え処理手段２３７としては、例え
ば、ｔ0 間の輝度値の最頻値を新背景値として置き換
え、急激な照明変動がある時の数値置き換え処理手段２
３８としては、例えば、最新の画像の近傍数フレームの
画素値の平均値を新背景値として置き換える処理が行わ
れる。このようにして、該小領域の背景画像の更新が行
われる。
【００７６】図１０および図１１は、本発明の別の実施
例１０，１１を示す図である。
【００７７】図１０において、１０３は光学的特徴パラ
メータの数値（輝度値）時間変化蓄積手段、ｔ1 は差分
処理手段に画像を送る際の所定間隔、２３９は照明変動
があった場合の数値置き換え処理手段、４０１は時刻ｔ
1 前に入力された画像０２０と新背景像３１０を画素単
位で差分処理する差分処理手段、５０１は動物体領域抽
出手段である。
【００７８】図１１において、６００はカメラ００１か
ら入力された連続フレーム画像の列、６０１は最新の入
力画像、０１０は前記実施例１１で差分対象となる入力
画像、０２０は本実施例１０，１１で差分対象となる時
刻ｔ1 前に入力された画像、３１０は更新された新背景
像である。
【００７９】実施例１０について、図１，１０および１
１を参照して説明する。図１と図１０との差は、差分処
理手段に入力する画像である。図１の差分処理手段４０
０に入力する画像は、差分処理手段が処理を行う直前に
カメラ００１から入力された画像であるのに対して、図
１０の差分入力手段４０１に入力する画像は、差分処理
手段が処理を行うよりもｔ1 前にカメラから入力された
画像であり、この画像は、光学的特徴パラメータの数値
（輝度値）時間変化蓄積手段１０３に蓄えられていたも
のである。
【００８０】光学的特徴パラメータの数値（輝度値）時
間変化蓄積手段１０３で蓄積されていた画像は、差分処
理を行う時の入力画像（差分対象画像）になるだけでな
く、背景像所望領域更新手段３００において、背景画像
を更新するにも使われ、背景画像の更新に用いられる画
像の時間間隔ｔ0 は、差分処理手段に入力される画像の
蓄積時間間隔ｔ1 よりも長い。すなわち、差分処理手段
に入力されるｔ1 前の入力画像０２０から見て、ｔ0 −
ｔ1 前に入力された画像（０２０から見て過去の画像）
から、画像０２０のｔ1 後に入力された画像（０２０か
ら見て未来の画像）までのすべての画像を用いて更新さ
れた背景画像３１０と、ｔ1 前の入力画像０２０との差
分をとることになる。
【００８１】実施例１と実施例１０において、入力され
た連続フレーム画像のうち、どの画像を差分対象画像と
するかの差をそれぞれ図１１（ａ）および（ｂ）に示
す。
【００８２】図１２（ａ）および（ｂ）は、それぞれ照
明の変化があった時の輝度値の推移と、推定された背景
像の輝度値の関係の例を前記実施例１および実施例１１
について示している。
【００８３】図１２において、横軸は時間、縦軸は輝度
値、６０２は輝度値の推移、６０３，６０５は差分処理
の対象となる輝度値、６０４，６０６は推定された背景
の輝度値、ｔ2 は新背景像作成のための時間間隔であ
る。
【００８４】実施例１１について、図１０および図１２
を用いて説明する。実施例１０の実施例で説明したのと
同様に、実施例１１においても差分処理手段４０１に入
力される画像は、ｔ1 前の入力画像０２０と、この画像
０２０よりｔ0 −ｔ1 前に入力された画像（０２０から
見て過去の画像）から画像０２０のｔ1 後に入力された
画像（０２０から見て未来の画像）までのすべての画像
を用いて更新された背景画像３１０とである。ここで、
照明変動推定条件２２０において照明変動であると判定
された場合、数値置き換え処理手段２３９において、差
分対象となるｔ1 前の画像を中心としたｔ2 間のすべて
の画像の輝度値の平均値を新背景値とする置き換え処理
を行う。すなわち、差分対象画像であるｔ1 前に入力さ
れた画像０２０から見て過去の画像から、画像０２０か
ら見て未来の画像までを用いて、画像０２０との差分を
とる相手となる背景画像の背景値が推定されることにな
る。なお、ｔ2 は、ｔよりも短い間隔である。
【００８５】しだいに明るくなるような照明変動があっ
た時の、ある小領域の輝度の変化と、実施例１の方法
と、実施例１１の方法とでの差分対象輝度値、それぞれ
の方法で同じ時間間隔の画像を用いて背景の輝度値を推
定した時の背景輝度値は図１２に示すようになる。
【００８６】実施例１１の方法では、差分対象画像より
も新しい画像は存在しないので、処理対象輝度値６０３
に対する背景輝度値は、処理対象画像よりも前の輝度値
から推定することになり、６０４に示すような背景輝度
値しか得られないが、実施例１１の方法では、差分対象
画像よりも新しい画像が存在しており、差分対象画像の
周辺においては輝度値は一方向（暗から明）に変化して
いることがわかり、処理対象画像から見て過去から未来
に渡っての輝度値の平均値を背景画像値６０６とするこ
とで、処理対象輝度値６０５に近い背景画素値が得られ
る。
【００８７】図１３および図１４は、本実施例の更に他
の実施例１２を示す図である。
【００８８】図１３において、２１５はｔ0 間の数値
（輝度値）変化の統計処理手段、５０２は動物体領域抽
出手段、５１２は２値化処理手段、７００は２値化のし
きい値設定手段である。
【００８９】図１４において、横軸は背景画像の輝度
値、縦軸は差分値の絶対値、７０１，７０２，７０３は
設定しきい値である。
【００９０】本実施例１２について、図１３を用いて説
明する。差分処理手段で得られた入力画像と背景画像と
の差分画像を２値化処理手段５１２で２値化し、動物体
領域を抽出する際、入力画像や背景画像の輝度値が小さ
い（暗い）時には、しきい値を小さく、輝度値が大きい
（明るい）時には、しきい値を大きくした方が、領域の
抽出精度があがる場合がある。そこで、輝度変化の統計
処理手段２１５で得られた各小領域ごとの統計情報か
ら、しきい値更新手段７００において、２値化のしきい
値を各小領域ごとに更新し、その値を用いて、差分処理
手段４００で得られた各小領域ごとの差分画像を２値化
処理手段５１２において２値化する。これにより、小領
域の明るさによらず、安定した動物体抽出が行える。
【００９１】図１４（ａ），（ｂ），（ｃ）に背景画像
の輝度値自身からしきい値を設定する場合の設定例をい
くつかあげる。図１４（ａ）は、背景輝度値としきい値
が正比例する例、図１４（ｂ）は、背景輝度値が明るく
なればしきい値も大きくなるが、どんなに背景輝度値が
暗くてもしきい値がある程度の大きさを持つ例、図１４
（ｃ）は、背景輝度値がある程度以上明るい部分ではし
きい値は一定であるが、背景輝度値が暗い場合には背景
輝度値が暗くなるにしたがって、しきい値も小さくなる
例である。
【００９２】
【発明の効果】以上説明したように、本発明によれば次
の効果がある。
【００９３】（１）照明変動が起きたことを確実に検出
できるため、その時点で背景像を更新できる。従って、
照明変動に極めてロバストな差分処理による動物体領域
抽出処理が実現できる。
【００９４】（２）緩やかな背景変動があった場合にも
背景像の更新が可能である。従って、動物体領域を安定
に抽出できる。
【００９５】（３）本抽出処理は簡単なため高速化が可
能である。また、ハードウェア化も可能であり、これに
よりさらなる高速化、実時間処理が可能である。
【００９６】（４）動物体抽出が必要になる分野で広範
囲に利用できる。特に、人物や車両の抽出に有効であ
る。出現検出が安定にできるため、プラント設備の侵入
者監視、交通施設（駅のホームなど）の安全監視等への
利用に効果がある。
【００９７】（５）スリット画像と組み合わせると、通
行人の計数に利用でき、測定場所の天候・時刻に左右さ
れることなく、また撮影系（カメラなど）や画像伝送系
に起因するノイズの影響を受けずに、歩行者を抽出する
ことができ、計数精度が飛躍的に向上する。
【００９８】（６）人物を見失うことが少ないので、画
像面全体に対して逐次に動物体の抽出処理を施すことに
より、動物体の移動経路（動線）の検出に利用できる。
【００９９】（７）緩やかな背景変動があった場合、お
よび急激な背景変動があった場合のいずれの場合にも背
景像の更新が可能である。したがって、動物体を安定に
抽出できる。
【０１００】（８）急激な照明変動があった場合に、安
定して背景画像を更新することができるため、急激な照
明変動があった場合にも動物体を安定に抽出できる。
【０１０１】（９）背景更新処理が簡単なため、高速化
が可能である。特に、急激な照明変動があった場合の背
景像の更新に効果がある。
【０１０２】（１０）局所的な明るさの差に影響されず
に、暗い部分でも明るい部分でも領域抽出に適した２値
化が可能であるため、対象領域に明るさのむらがある場
合や明るさの時間変化が大きな場合にも安定した動物体
抽出が可能である。
【図面の簡単な説明】
【図１】本発明の一実施例に係る背景差分による動物体
領域抽出方法を実施する装置の構成を示す図である。
【図２】図１に示す装置を更に詳しく具体的に示す図で
ある。
【図３】本発明の他の実施例を示す図である。
【図４】本発明の更に他の実施例を示す図である。
【図５】図４に示す実施例の要部を更に詳しく具体的に
示す図である。
【図６】本発明の別の実施例を示す図である。
【図７】図６に示す実施例における照明変動に起因する
特徴量を表す図である。
【図８】本発明の他の実施例に使用される背景像小領域
更新手段を示す図である。
【図９】図８に示す実施例に使用される背景像小領域更
新手段を更に詳しく具体的に示す図である。
【図１０】本発明の別の実施例を示す図である。
【図１１】図１０に示す実施例における差分対象画像と
背景画像を示す図である。
【図１２】本発明の更に別の実施例を示す図であり、照
明変動があった場合の推定背景値を示す図である。
【図１３】本発明の更に他の実施例を示す図である。
【図１４】図１３に示す実施例における背景画像の輝度
値と２値化のしきい値を示す図である。
【図１５】図１に示す動物体領域抽出方法を実施する装
置の基本的構成を説明するための図である。
【図１６】図１５に示す基本的構成の他の一例を説明す
るための図である。
【図１７】図１５に示す基本的構成の他の一例を説明す
るための図である。
【図１８】従来の動物体領域抽出処理の説明図である。
【符号の説明】
００１ カメラ ０１０ 入力画像 １００ 光学的特徴パラメータの数値の時間変化蓄積手
段 １０１，１０２ フレーム画像メモリ １２０ 動物体領域 ２００ 背景像小領域更新手段 ２１０ 数値変化の統計処理手段 ３００ 背景像所望領域更新手段 ３１０ 更新された新背景像 ４００ 差分処理手段 ５００ 動物体領域抽出手段 ５１０ ２値化処理手段 ５２０ 出力結果
フロントページの続き (72)発明者 石井 健一郎 東京都千代田区内幸町１丁目１番６号 日本電信電話株式会社内 (56)参考文献 特開 平６−52311（ＪＰ，Ａ) 特開 平２−236788（ＪＰ，Ａ) 特開 平５−266196（ＪＰ，Ａ) 特開 平５−49031（ＪＰ，Ａ) 特開 平６−76047（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 H04N 7/18

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項１】 入力画像と背景像との差分処理により連
    続フレーム画像中から動物体領域を抽出する背景差分に
    よる動物体領域抽出方法において、 各フレーム画像中の位置（ｘ，ｙ）を含む小領域ａk を
    対象として該小領域における光学的特徴パラメータの数
    値の時間変化を蓄積する過程と、 前記対象とした小領域について、所定時間間隔ｔ0 で前
    記数値の頻度分布を求め、その頻度分布に関する統計的
    特徴量σを求め、求めた統計的特徴量σを予め求めてお
    いた照明変動に起因する統計的特徴量σ0 との比較によ
    り、照明変動推定条件を満たしたと判断されたときに、
    該小領域におけるこの時間内の数値を背景像の同じ小領
    域の数値と置き換え、新背景像として保持する背景像小
    領域更新処理を含み、該背景像小領域更新処理を画面全
    体または予め設定された画面所望領域の各位置に対して
    実行する背景像所望領域更新過程と、 前記逐次更新される背景像を用いて前記所望領域におい
    て入力画像との差分処理を行う過程と、 該差分処理画像に対して２値化処理を行い、得られた領
    域を動物体領域として抽出する過程とを有することを特
    徴とする背景差分による動物体領域抽出方法。
  2. 【請求項２】 入力画像と背景像との差分処理により連
    続フレーム画像中から動物体領域を抽出する背景差分に
    よる動物体領域抽出方法において、 各フレーム画像中の位置（ｘ，ｙ）を含む小領域ａk を
    対象として該小領域における光学的特徴パラメータの数
    値の時間変化を蓄積する過程と、 前記数値の時間変化を所定時間間隔ｔ0 で統計処理し、
    統計量が照明変動に起因すると推定される照明変動推定
    条件を満たしたときに、前記数値の頻度分布の極値また
    は平均値に対応する該小領域におけるこの時間内の数値
    を背景像の同じ小領域の数値と置き換え、新背景像とし
    て保持する背景像小領域更新処理を含み、該背景像小領
    域更新処理を画面全体または予め設定された画面所望領
    域の各位置に対して実行する背景像所望領域更新過程
    と、 前記逐次更新される背景像を用いて前記所望領域におい
    て入力画像との差分処理を行う過程と、 該差分処理画像に対して２値化処理を行い、得られた領
    域を動物体領域として抽出する過程とを有することを特
    徴とする背景差分による動物体領域抽出方法。
  3. 【請求項３】 入力画像と背景像との差分処理により連
    続フレーム画像中から動物体領域を抽出する背景差分に
    よる動物体領域抽出方法において、 各フレーム画像中の位置（ｘ，ｙ）を含む小領域ａk を
    対象として該小領域における光学的特徴パラメータの数
    値の時間変化を蓄積する過程と、 前記対象とした小領域について、所定時間間隔ｔ0 で前
    記数値の頻度分布を求め、その頻度分布に関する統計的
    特徴量σを求め、求めた統計的特徴量σを周辺の小領域
    における同様の統計的特徴量σと相対比較により照明変
    動推定条件を満たしたと判断されたときに、該小領域に
    おけるこの時間内の数値を背景像の同じ小領域の数値と
    置き換え、新背景像として保持する背景像小領域更新処
    理を含み、該背景像小領域更新処理を画面全体または予
    め設定された画面所望領域の各位置に対して実行する背
    景像所望領域更新過程と、 前記逐次更新される背景像を用いて前記所望領域におい
    て入力画像との差分処理を行う過程と、 該差分処理画像に対して２値化処理を行い、得られた領
    域を動物体領域として抽出する過程とを有することを特
    徴とする背景差分による動物体領域抽出方法。
  4. 【請求項４】 請求項１乃至３のいずれか１項に記載の
    背景差分による動物体領域抽出方法において、 前記背景像小領域更新処理における照明変動の推定を、
    前記所定時間間隔ｔ0で得られたベクトル集合のフレー
    ム間距離の頻度分布を求め、その頻度分布に関する統計
    的特徴量σを求め、求めた統計的特徴量σを予め求めて
    おいた照明変動に起因する統計的特徴量σ0 と比較して
    判断処理することにより行うことを特徴とする背景差分
    による動物体領域抽出方法。
  5. 【請求項５】 請求項１乃至３のいずれか１項に記載の
    背景差分による動物体領域抽出方法において、 前記背景像小領域更新処理における照明変動の推定を、
    前記小領域について予め照明変動に起因して変化するｎ
    次元ベクトルの特性曲線を求めておき、その特性曲線と
    前記所定時間間隔ｔ0 で得られたベクトル集合との距離
    の頻度分布を求め、該距離の平均値μまたは該頻度分布
    に関する統計的特徴量σを求め、その距離の平均値μま
    たは統計的特徴量σを予め求めておいた照明変動に起因
    する距離の平均値μ0 または統計的特徴量σ0 と比較し
    て判断処理することにより行うことを特徴とする背景差
    分による動物体領域抽出方法。
  6. 【請求項６】 請求項１乃至３のいずれか１項に記載の
    背景差分による動物体領域抽出方法において、 前記背景像小領域について、前記所定時間間隔ｔ0 にお
    ける輝度の時間変動の頻度分布を求め、その頻度分布に
    関する統計的特徴量σを求め、さらに、その輝度の時間
    微分の最大値ｍを求め、求めた統計的特徴量σと予め設
    定された頻度分布に関する統計的特徴量の基準値σ0 と
    相対比較して判断処理し、さらに、求めた輝度の時間微
    分の最大値ｍと予め設定された輝度の時間微分の基準値
    ｍ0 と相対比較して判断処理し、 前記頻度分布に関する統計的特徴量σの値が予め設定さ
    れた頻度分布に関する統計的特徴量の基準値σ0 より小
    さくかつ前記求めた輝度の時間微分の最大値ｍの値が予
    め設定された輝度の時間微分の基準値ｍ0 より小さい場
    合には、緩やかな照明変動であると判断し、背景の値を
    所定間隔ｔ0 における輝度の最頻値とする更新を行い、 前記頻度分布に関する統計的特徴量σの値が予め設定さ
    れた頻度分布に関する統計的特徴量の基準値σ0 より大
    きくかつ前記求めた輝度の時間微分の最大値ｍの値が予
    め設定された輝度の時間微分の基準値ｍ0 より小さい場
    合には、急激な照明変動であると判断し、背景の値を最
    新の画像の近傍数フレームの平均値とする更新を行い、 前記頻度分布に関する統計的特徴量σの値が予め設定さ
    れた頻度分布に関する統計的特徴量の基準値σ0 より大
    きくかつ前記求めた輝度の時間微分の最大値ｍの値が予
    め設定された輝度の時間微分の基準値ｍ0 より大きい場
    合には、動物体の移動であると判断し、 前記逐次更新される背景像を用いて前記所定領域におい
    て入力画像との差分処理を行う過程と、 該差分処理画像に対して２値化処理を行い、得られた領
    域を動物体領域として抽出する過程とを有することを特
    徴とする背景差分による動物体領域抽出方法。
  7. 【請求項７】 入力画像と背景像との差分処理により連
    続フレーム画像中から動物体領域を抽出する背景差分に
    よる動物体領域抽出方法において、 各フレーム画像中の位置（ｘ，ｙ）を含む小領域ａk を
    対象として該小領域における光学的特徴パラメータの数
    値の時間変化を蓄積する過程と、 前記数値の時間変化を所定時間間隔ｔ0 で統計処理し、
    統計量が照明変動に起因すると推定される照明変動推定
    条件を満たしたときに、該小領域におけるこの時間内の
    数値を背景像の同じ小領域の数値と置き換え、新背景像
    として保持する背景像小領域更新処理を含み、該背景像
    小領域更新処理を画面全体または予め設定された画面所
    望領域の各位置に対して実行する背景像所望領域更新過
    程と、 逐次更新される背景像と、光学的特徴パラメータの数値
    の時間変化を蓄積する手段に蓄積されている所定時間ｔ
    1 前に入力された画像との差分処理を行う過程と、 該差分処理画像に対して２値化処理を行い、得られた領
    域を動物体領域として抽出する過程とを有することを特
    徴とする背景差分による動物体領域抽出方法。
  8. 【請求項８】 請求項７記載の背景差分による動物体領
    域抽出方法において、 前記背景像小領域更新処理における数値の置き換えが、
    差分処理過程において用いられる所定時間ｔ1 前の画像
    を中心とした時間ｔ2 の間の該小領域の数値の平均との
    置き換えであることを特徴とする背景差分による動物体
    領域抽出方法。
  9. 【請求項９】 請求項７記載の背景差分による動物体領
    域抽出方法において、 前記動物体抽出過程において２値化する際のしきい値
    を、光学的特徴パラメータの数値の時間変化を蓄積する
    手段に蓄積されている時間変化を所定間隔ｔ0 で統計処
    理して得られた数値に更新するしきい値更新手段を有
    し、差分処理手段で作成された差分処理画像に対して該
    しきい値更新手段によって作られたしきい値を用いて２
    値化処理を行い得られた領域を動物体領域として抽出す
    ることを特徴とする背景差分による動物体領域抽出方
    法。
JP2922095A 1994-03-09 1995-02-17 背景差分による動物体領域抽出方法 Expired - Lifetime JP3123587B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2922095A JP3123587B2 (ja) 1994-03-09 1995-02-17 背景差分による動物体領域抽出方法
EP19950103419 EP0671706B1 (en) 1994-03-09 1995-03-09 Method and apparatus for moving object extraction based on background subtraction
US08/401,972 US5748775A (en) 1994-03-09 1995-03-09 Method and apparatus for moving object extraction based on background subtraction
DE69510252T DE69510252T2 (de) 1994-03-09 1995-03-09 Verfahren und Vorrichtung zur Gewinnung eines sich bewegenden Objektes, mit Anwendung von Hintergrundsubstraktion

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-37438 1994-03-09
JP3743894 1994-03-09
JP2922095A JP3123587B2 (ja) 1994-03-09 1995-02-17 背景差分による動物体領域抽出方法

Publications (2)

Publication Number Publication Date
JPH07302328A JPH07302328A (ja) 1995-11-14
JP3123587B2 true JP3123587B2 (ja) 2001-01-15

Family

ID=26367390

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2922095A Expired - Lifetime JP3123587B2 (ja) 1994-03-09 1995-02-17 背景差分による動物体領域抽出方法

Country Status (4)

Country Link
US (1) US5748775A (ja)
EP (1) EP0671706B1 (ja)
JP (1) JP3123587B2 (ja)
DE (1) DE69510252T2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080146A (ja) * 2005-09-16 2007-03-29 Nippon Telegr & Teleph Corp <Ntt> 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム
JP7062611B2 (ja) 2019-03-27 2022-05-06 Kddi株式会社 領域抽出装置及びプログラム
US11461903B2 (en) 2018-05-24 2022-10-04 Nippon Telegraph And Telephone Corporation Video processing device, video processing method, and video processing program

Families Citing this family (187)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3569992B2 (ja) * 1995-02-17 2004-09-29 株式会社日立製作所 移動体検出・抽出装置、移動体検出・抽出方法及び移動体監視システム
US6661838B2 (en) * 1995-05-26 2003-12-09 Canon Kabushiki Kaisha Image processing apparatus for detecting changes of an image signal and image processing method therefor
US6259827B1 (en) * 1996-03-21 2001-07-10 Cognex Corporation Machine vision methods for enhancing the contrast between an object and its background using multiple on-axis images
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
GB9617592D0 (en) * 1996-08-22 1996-10-02 Footfall Limited Video imaging systems
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
US6453069B1 (en) 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
JP3114668B2 (ja) 1997-10-03 2000-12-04 日本電気株式会社 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体
US6678393B1 (en) * 1997-12-23 2004-01-13 Intel Corporation Image selection based on image content
US6184858B1 (en) * 1998-02-06 2001-02-06 Compaq Computer Corporation Technique for updating a background image
US6075535A (en) * 1998-06-26 2000-06-13 Hewlett-Packard Company Method and apparatus for visualizing the tile access frequencies for tiled, multi-resolution images
JP2000090277A (ja) * 1998-09-10 2000-03-31 Hitachi Denshi Ltd 基準背景画像更新方法及び侵入物体検出方法並びに侵入物体検出装置
US7013035B2 (en) * 1998-09-25 2006-03-14 Canon Kabushiki Kaisha Image processing method for setting an extraction area, and apparatus and recording medium
US6901165B1 (en) * 1998-09-30 2005-05-31 Siemens Aktiengesellschaft Method of automatically triggering pattern recognition procedures
US6950130B1 (en) 1999-01-05 2005-09-27 Sharp Laboratories Of America, Inc. Method of image background replacement
US6681058B1 (en) * 1999-04-15 2004-01-20 Sarnoff Corporation Method and apparatus for estimating feature values in a region of a sequence of images
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
AU774180B2 (en) * 1999-05-28 2004-06-17 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
JP2001036801A (ja) * 1999-07-23 2001-02-09 Sharp Corp 撮像装置
JP3880759B2 (ja) * 1999-12-20 2007-02-14 富士通株式会社 移動物体検出方法
EP1245004B1 (en) * 1999-12-23 2008-07-23 Secumanagement B.V. Method, device and computer program for monitoring an area
JP4531897B2 (ja) * 1999-12-27 2010-08-25 パナソニック株式会社 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
JP3873554B2 (ja) * 1999-12-27 2007-01-24 株式会社日立製作所 監視装置、監視プログラムが記録された記録媒体
US6731799B1 (en) * 2000-06-01 2004-05-04 University Of Washington Object segmentation with background extraction and moving boundary techniques
US7386170B2 (en) * 2000-06-30 2008-06-10 Texas Instruments Incorporated Image object ranking
US7058221B1 (en) * 2000-07-07 2006-06-06 Tani Electronics Industry Co., Ltd. Method of recognizing object based on pattern matching and medium for recording computer program having same
FR2814265B1 (fr) 2000-09-21 2003-01-17 Air Liquide Procede et dispositif de caracterisation ou de controle de zones de fluctuations temporelles d'un scene
US6445832B1 (en) 2000-10-10 2002-09-03 Lockheed Martin Corporation Balanced template tracker for tracking an object image sequence
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US9892606B2 (en) 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7643655B2 (en) * 2000-11-24 2010-01-05 Clever Sys, Inc. System and method for animal seizure detection and classification using video analysis
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
KR100450793B1 (ko) * 2001-01-20 2004-10-01 삼성전자주식회사 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법
KR100355382B1 (ko) * 2001-01-20 2002-10-12 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
EP1244311A3 (en) * 2001-03-22 2004-10-06 Sony Corporation Picture encoding
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP4631199B2 (ja) * 2001-04-13 2011-02-16 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びにプログラム
WO2002093318A2 (en) * 2001-05-15 2002-11-21 Psychogenics Inc. Systems and methods for monitoring behavior informatics
US6912313B2 (en) * 2001-05-31 2005-06-28 Sharp Laboratories Of America, Inc. Image background replacement method
RU2310289C2 (ru) 2001-09-07 2007-11-10 Интегрэф Софтвеа Текнолоджис Кампэни Способ (варианты) и устройство для идентификации цифровых видеоданных от нескольких источников, система телевизионного наблюдения
US7283676B2 (en) * 2001-11-20 2007-10-16 Anoto Ab Method and device for identifying objects in digital images
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
JP4233272B2 (ja) * 2002-05-23 2009-03-04 株式会社エイブイプランニングセンター 物体計数方法及び物体計数装置
US7190809B2 (en) 2002-06-28 2007-03-13 Koninklijke Philips Electronics N.V. Enhanced background model employing object classification for improved background-foreground segmentation
US7184590B2 (en) * 2002-07-17 2007-02-27 Lockheed Martin Corporation Algorithm selector
JP2004096557A (ja) 2002-09-02 2004-03-25 Canon Inc 画像処理装置及び画像処理方法
US20040105856A1 (en) * 2002-12-02 2004-06-03 Robin Thurmond Use of histamine H4 receptor antagonist for the treatment of inflammatory responses
JP3801137B2 (ja) * 2003-01-21 2006-07-26 コニカミノルタホールディングス株式会社 侵入物体検出装置
US7590261B1 (en) 2003-07-31 2009-09-15 Videomining Corporation Method and system for event detection by analysis of linear feature occlusion
WO2005046195A1 (en) * 2003-11-05 2005-05-19 Nice Systems Ltd. Apparatus and method for event-driven content analysis
US20050254728A1 (en) * 2004-05-13 2005-11-17 Zhuo-Ya Wang Automatic cutting method for digital images
US7865834B1 (en) 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
JP4555986B2 (ja) * 2004-07-09 2010-10-06 財団法人生産技術研究奨励会 背景画像生成方法及び装置
KR101072950B1 (ko) 2004-07-30 2011-10-17 파나소닉 전공 주식회사 개체 검출기 및 동반 입장 검출 디바이스
US8724891B2 (en) * 2004-08-31 2014-05-13 Ramot At Tel-Aviv University Ltd. Apparatus and methods for the detection of abnormal motion in a video stream
WO2006038073A2 (en) * 2004-10-04 2006-04-13 Gavin Hough Image processing
KR100569472B1 (ko) * 2004-10-05 2006-04-07 현대자동차주식회사 엔진의 연료 분무 선단 속도 계측 시스템 및 방법
CN1766929B (zh) * 2004-10-29 2010-05-12 中国科学院计算技术研究所 一种基于三维数据库的运动对象运动重构方法
KR100647957B1 (ko) * 2004-12-14 2006-11-23 엘지전자 주식회사 사전 기반 압축 방법을 이용한 연속된 이미지 압축 및복원 방법
JP4637564B2 (ja) * 2004-12-22 2011-02-23 株式会社リコー 状態検知装置、状態検知方法、プログラムおよび記録媒体
US7903141B1 (en) 2005-02-15 2011-03-08 Videomining Corporation Method and system for event detection by multi-scale image invariant analysis
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US10019877B2 (en) * 2005-04-03 2018-07-10 Qognify Ltd. Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
US20060245618A1 (en) * 2005-04-29 2006-11-02 Honeywell International Inc. Motion detection in a video stream
US20060284895A1 (en) * 2005-06-15 2006-12-21 Marcu Gabriel G Dynamic gamma correction
US7663691B2 (en) * 2005-10-11 2010-02-16 Apple Inc. Image capture using display device as light source
US8085318B2 (en) * 2005-10-11 2011-12-27 Apple Inc. Real-time image capture and manipulation based on streaming data
JP2007089763A (ja) * 2005-09-28 2007-04-12 Toshiba Corp 放射線透視画像処理装置、放射線透視画像処理方法および放射線透視画像処理プログラム
JP2007148835A (ja) 2005-11-28 2007-06-14 Fujitsu Ten Ltd 物体判別装置、報知制御装置、物体判別方法および物体判別プログラム
WO2007077672A1 (ja) * 2005-12-28 2007-07-12 Olympus Medical Systems Corp. 画像処理装置および当該画像処理装置における画像処理方法
US7526105B2 (en) * 2006-03-29 2009-04-28 Mark Dronge Security alarm system
US20070274402A1 (en) * 2006-05-23 2007-11-29 Honeywell International Inc. Application of short term and long term background scene dynamics in motion detection
US20070291135A1 (en) * 2006-06-20 2007-12-20 Baer Richard L Motion characterization sensor
JP4852355B2 (ja) * 2006-06-26 2012-01-11 パナソニック株式会社 放置物検出装置及び放置物検出方法
US7925978B1 (en) 2006-07-20 2011-04-12 Adobe Systems Incorporated Capturing frames from an external source
US9019300B2 (en) * 2006-08-04 2015-04-28 Apple Inc. Framework for graphics animation and compositing operations
US8130226B2 (en) * 2006-08-04 2012-03-06 Apple Inc. Framework for graphics animation and compositing operations
JP4788525B2 (ja) 2006-08-30 2011-10-05 日本電気株式会社 物体識別パラメータ学習システム、物体識別パラメータ学習方法および物体識別パラメータ学習用プログラム
DE102006044114A1 (de) * 2006-09-20 2008-03-27 Forschungszentrum Karlsruhe Gmbh Verfahren zur Charakterisierung der Abgasausbrandqualität in Verbrennungsanlagen
US8234392B2 (en) * 2006-11-17 2012-07-31 Apple Inc. Methods and apparatuses for providing a hardware accelerated web engine
JP4757173B2 (ja) 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
KR101260847B1 (ko) 2007-02-08 2013-05-06 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 행동 인식 시스템
US7920717B2 (en) * 2007-02-20 2011-04-05 Microsoft Corporation Pixel extraction and replacement
CN102638686B (zh) * 2007-06-04 2015-04-22 恩斯沃尔斯有限责任公司 处理动态图像的方法及设备
US20080303949A1 (en) * 2007-06-08 2008-12-11 Apple Inc. Manipulating video streams
US8122378B2 (en) * 2007-06-08 2012-02-21 Apple Inc. Image capture and manipulation
US20080310677A1 (en) * 2007-06-18 2008-12-18 Weismuller Thomas P Object detection system and method incorporating background clutter removal
US8411935B2 (en) 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
US8225208B2 (en) 2007-08-06 2012-07-17 Apple Inc. Interactive frames for images and videos displayed in a presentation application
WO2009026966A1 (en) * 2007-08-31 2009-03-05 Siemens Building Technologies Fire & Security Products Gmbh & Co.Ohg Method of estimating illumination change of images for object detection
JP4967937B2 (ja) * 2007-09-06 2012-07-04 日本電気株式会社 画像処理装置、方法、およびプログラム
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
JP5354767B2 (ja) * 2007-10-17 2013-11-27 株式会社日立国際電気 物体検知装置
MX2010010292A (es) 2008-03-18 2011-01-25 Novadaq Technologies Inc Sistema de formacion de imagenes para la reflectancia combinada de color completo y formacion de imagenes cercanas al infrarrojo.
JP4623135B2 (ja) * 2008-05-08 2011-02-02 株式会社デンソー 画像認識装置
TW201001339A (en) * 2008-06-25 2010-01-01 Univ Nat Chiao Tung Method of detecting moving object
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
US8634635B2 (en) * 2008-10-30 2014-01-21 Clever Sys, Inc. System and method for stereo-view multiple animal behavior characterization
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US9626769B2 (en) * 2009-09-04 2017-04-18 Stmicroelectronics International N.V. Digital video encoder system, method, and non-transitory computer-readable medium for tracking object regions
US8848802B2 (en) 2009-09-04 2014-09-30 Stmicroelectronics International N.V. System and method for object based parametric video coding
US10178396B2 (en) * 2009-09-04 2019-01-08 Stmicroelectronics International N.V. Object tracking
US8180105B2 (en) 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
EP2302564A1 (en) * 2009-09-23 2011-03-30 Iee International Electronics & Engineering S.A. Real-time dynamic reference image generation for range imaging system
JP2011198270A (ja) * 2010-03-23 2011-10-06 Denso It Laboratory Inc 対象認識装置及びそれを用いた制御装置、並びに対象認識方法
JP2011210139A (ja) * 2010-03-30 2011-10-20 Sony Corp 画像処理装置および方法、並びにプログラム
JP5653174B2 (ja) * 2010-10-29 2015-01-14 株式会社キーエンス 動画追尾装置、動画追尾方法および動画追尾プログラム
JP5501194B2 (ja) * 2010-10-29 2014-05-21 株式会社キーエンス 画像計測装置、画像計測方法及びコンピュータプログラム
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP5267596B2 (ja) 2011-02-23 2013-08-21 株式会社デンソー 移動体検出装置
JP5971678B2 (ja) * 2011-11-01 2016-08-17 株式会社東芝 情報出力装置、検知装置、プログラム及び情報出力方法
JP5938631B2 (ja) * 2011-12-19 2016-06-22 パナソニックＩｐマネジメント株式会社 物体検出装置及び物体検出方法
US9530221B2 (en) * 2012-01-06 2016-12-27 Pelco, Inc. Context aware moving object detection
WO2013138700A1 (en) 2012-03-15 2013-09-19 Behavioral Recognition Systems, Inc. Alert volume normalization in a video surveillance system
JP5929379B2 (ja) * 2012-03-19 2016-06-08 富士通株式会社 画像処理装置、画像処理方法及びプログラム
JP5897950B2 (ja) * 2012-03-27 2016-04-06 セコム株式会社 画像監視装置
JP5903308B2 (ja) * 2012-03-27 2016-04-13 セコム株式会社 画像監視装置
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
US9317908B2 (en) 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
KR20150029006A (ko) 2012-06-29 2015-03-17 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 비디오 감시 시스템을 위한 피처 이례들의 무감독 학습
BR112015003444A2 (pt) 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
EP2733933A1 (en) * 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
US20140133753A1 (en) * 2012-11-09 2014-05-15 Ge Aviation Systems Llc Spectral scene simplification through background subtraction
WO2014075022A1 (en) 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
US9639521B2 (en) 2013-08-09 2017-05-02 Omni Ai, Inc. Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN103679196A (zh) * 2013-12-05 2014-03-26 河海大学 视频监控中的人车自动分类方法
US9639761B2 (en) * 2014-03-10 2017-05-02 Mitsubishi Electric Research Laboratories, Inc. Method for extracting low-rank descriptors from images and videos for querying, classification, and object detection
GB2525587A (en) * 2014-04-14 2015-11-04 Quantum Vision Technologies Ltd Monocular camera cognitive imaging system for a vehicle
JP6415178B2 (ja) * 2014-08-19 2018-10-31 キヤノン株式会社 印刷装置及びデータの更新方法
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
US9639954B2 (en) * 2014-10-27 2017-05-02 Playsigh Interactive Ltd. Object extraction from video images
US9460522B2 (en) 2014-10-29 2016-10-04 Behavioral Recognition Systems, Inc. Incremental update for background model thresholds
US9471844B2 (en) 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US9349054B1 (en) * 2014-10-29 2016-05-24 Behavioral Recognition Systems, Inc. Foreground detector for video analytics system
CA2966536A1 (en) * 2014-11-04 2016-05-12 Inserm (Institut National De La Sante Et De La Recherche Medicale) Method and apparatus for ultrasound imaging of brain activity
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
JP6602009B2 (ja) * 2014-12-16 2019-11-06 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6058720B2 (ja) * 2015-03-13 2017-01-11 株式会社東芝 情報出力装置、検知装置、プログラム及び情報出力方法
WO2017077261A1 (en) 2015-11-05 2017-05-11 Quantum Vision Technologies Ltd A monocular camera cognitive imaging system for a vehicle
EP4442222A2 (en) 2015-11-13 2024-10-09 Stryker Corporation Systems and methods for illumination and imaging of a target
US9710911B2 (en) * 2015-11-30 2017-07-18 Raytheon Company System and method for generating a background reference image from a series of images to facilitate moving object identification
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
JP6412032B2 (ja) * 2016-01-29 2018-10-24 セコム株式会社 空間認識装置
USD916294S1 (en) 2016-04-28 2021-04-13 Stryker European Operations Limited Illumination and imaging device
CN107404628B (zh) * 2016-05-18 2020-09-01 佳能株式会社 图像处理装置及方法以及监视系统
EP3469420A4 (en) * 2016-06-14 2020-02-12 Novadaq Technologies ULC ADAPTIVE IMAGING METHODS AND SYSTEMS FOR IMPROVING LOW LIGHT SIGNALS IN MEDICAL VISUALIZATION
US10643076B2 (en) 2016-07-01 2020-05-05 International Business Machines Corporation Counterfeit detection
US10755419B2 (en) * 2017-01-30 2020-08-25 Nec Corporation Moving object detection apparatus, moving object detection method and program
EP3580609B1 (en) 2017-02-10 2023-05-24 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
DE102017011604A1 (de) 2017-12-14 2019-06-19 Kuka Deutschland Gmbh Verfahren und System zum Erstellen eines Modells
US10410371B2 (en) 2017-12-21 2019-09-10 The Boeing Company Cluttered background removal from imagery for object detection
JP2019121069A (ja) 2017-12-28 2019-07-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
WO2019146184A1 (ja) 2018-01-29 2019-08-01 日本電気株式会社 処理装置、処理方法及びプログラム
US11288820B2 (en) * 2018-06-09 2022-03-29 Lot Spot Inc. System and method for transforming video data into directional object count
JP7154045B2 (ja) * 2018-06-14 2022-10-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP7374582B2 (ja) * 2018-11-27 2023-11-07 キヤノン株式会社 画像処理装置、画像生成方法およびプログラム
US10915725B2 (en) 2019-07-01 2021-02-09 Thales Dis Usa Inc. Method to generate a slap/fingers foreground mask

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1055430B (it) * 1976-02-23 1981-12-21 Tasco Spa Procedimento e apparecchiatura per il riconoscimento in tempo reale di immagini
US4741046A (en) * 1984-07-27 1988-04-26 Konishiroku Photo Industry Co., Ltd. Method of discriminating pictures
US4807163A (en) * 1985-07-30 1989-02-21 Gibbons Robert D Method and apparatus for digital analysis of multiple component visible fields
JPH0824350B2 (ja) * 1987-02-07 1996-03-06 日本電信電話株式会社 背景画像抽出方法
US4847677A (en) * 1988-04-27 1989-07-11 Universal Video Communications Corp. Video telecommunication system and method for compressing and decompressing digital color video data
GB2219905A (en) * 1988-06-17 1989-12-20 Philips Electronic Associated Target detection system
JPH05506524A (ja) * 1990-02-09 1993-09-22 シーメンス アクチエンゲゼルシヤフト 移動対象物の瞬時の位置および形状を決定し、２値像として指示するための方法
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
US5148477A (en) * 1990-08-24 1992-09-15 Board Of Regents Of The University Of Oklahoma Method and apparatus for detecting and quantifying motion of a body part
JPH05225341A (ja) * 1992-02-13 1993-09-03 Matsushita Electric Ind Co Ltd 移動物体検出装置
JPH0622318A (ja) * 1992-05-18 1994-01-28 Mitsubishi Electric Corp 移動物体抽出装置
JPH0652311A (ja) * 1992-07-31 1994-02-25 Kubota Corp 画像処理方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007080146A (ja) * 2005-09-16 2007-03-29 Nippon Telegr & Teleph Corp <Ntt> 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム
JP4641477B2 (ja) * 2005-09-16 2011-03-02 日本電信電話株式会社 映像変化抽出方法、映像変化抽出装置、及び映像変化抽出プログラム
US11461903B2 (en) 2018-05-24 2022-10-04 Nippon Telegraph And Telephone Corporation Video processing device, video processing method, and video processing program
JP7062611B2 (ja) 2019-03-27 2022-05-06 Kddi株式会社 領域抽出装置及びプログラム

Also Published As

Publication number Publication date
DE69510252T2 (de) 1999-11-11
EP0671706A3 (en) 1996-12-11
EP0671706A2 (en) 1995-09-13
JPH07302328A (ja) 1995-11-14
DE69510252D1 (de) 1999-07-22
US5748775A (en) 1998-05-05
EP0671706B1 (en) 1999-06-16

Similar Documents

Publication Publication Date Title
JP3123587B2 (ja) 背景差分による動物体領域抽出方法
US6141433A (en) System and method for segmenting image regions from a scene likely to represent particular objects in the scene
US6754367B1 (en) Method and apparatus for automatically detecting intrusion object into view of image pickup device
US7778445B2 (en) Method and system for the detection of removed objects in video images
US6661918B1 (en) Background estimation and segmentation based on range and color
US8224088B2 (en) Method for background generation and its system for video surveillance
CN111723644A (zh) 一种监控视频遮挡检测方法及系统
CN111368771A (zh) 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质
CN107404628B (zh) 图像处理装置及方法以及监视系统
US20090310822A1 (en) Feedback object detection method and system
CN109803096B (zh) 一种基于脉冲信号的显示方法和系统
KR20020034919A (ko) 침입물체검출용 감시방법 및 침입물체검출용 감시장치
US7982774B2 (en) Image processing apparatus and image processing method
JP2003169319A (ja) 映像監視装置
CN112561946A (zh) 一种动态目标检测方法
JPH0844874A (ja) 画像変化検出装置
JPH0973541A (ja) 物体検出装置及び物体検出方法
JP4740755B2 (ja) 画像を用いた監視装置
JP3294468B2 (ja) 映像監視装置における物体検出方法
JPH06308256A (ja) 雲霧検出方法
JPH10289321A (ja) 画像監視装置
CN113065454A (zh) 一种高空抛物目标识别比较的方法及装置
JPH0514891A (ja) 画像監視装置
JP3736836B2 (ja) 物体検出方法及び物体検出装置及びプログラム
CN116434171A (zh) 一种基于图像修复算法的强光干扰车道线检测方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071027

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081027

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 13

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term