JP2001043458A - System for generating background picture - Google Patents
System for generating background pictureInfo
- Publication number
- JP2001043458A JP2001043458A JP11215064A JP21506499A JP2001043458A JP 2001043458 A JP2001043458 A JP 2001043458A JP 11215064 A JP11215064 A JP 11215064A JP 21506499 A JP21506499 A JP 21506499A JP 2001043458 A JP2001043458 A JP 2001043458A
- Authority
- JP
- Japan
- Prior art keywords
- background
- pixel
- value
- image
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Burglar Alarm Systems (AREA)
- Alarm Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ＴＶカメラを用い
て交通流監視や侵入監視等の基準画像として背景画像を
用いるシステムにおいて、たとえ画面内に移動物体が存
在する場合においても移動物体を除いた背景画像を生成
・更新し好適な背景画像を得ることが可能な背景画像生
成システムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system using a background image as a reference image such as a traffic flow monitor or an intrusion monitor using a TV camera, and removes a moving object even if the moving object exists on a screen. The present invention relates to a background image generation system capable of generating and updating a background image and obtaining a suitable background image.
【０００２】[0002]
【従来の技術】従来，このような分野の技術としては、
例えば、（１）特開平４−２７３５８６号公報、（２）
特開平６−２７４７８６号公報などに開示されるものが
ある。2. Description of the Related Art Conventionally, techniques in such a field include:
For example, (1) Japanese Patent Application Laid-Open No. 4-273586, (2)
There is one disclosed in JP-A-6-274786.
【０００３】上記（１）に開示された車両検出装置によ
れば、予め背景のみからなる画像を入力し、背景画像と
して蓄積しておき、この背景画像と入力画像の差分を求
め、背景に対して極端に暗くなった領域は車両の真下の
陰になった領域であるとして、車両の有無を検出すると
いうものであった。According to the vehicle detection device disclosed in the above (1), an image consisting of only a background is input in advance, stored as a background image, and a difference between the background image and the input image is obtained. The extremely dark area is a shaded area immediately below the vehicle, and the presence or absence of the vehicle is detected.
【０００４】また、上記（２）に開示された道路交通異
常監視システムによれば、予め計測エリアを設定し、車
両の映っていない入力画像を基に計測エリアに一致する
背景画像を作成し、この背景画像と入力画像との差分を
求め、車両を検出しその座標を求める。その後、計測エ
リアの道幅方向の各区間にしたがって、車両毎に座標分
布を頻度化し、一定期間の通過車両分を累積していた。
そして、この累積頻度を通過台数で割って正規化し、車
両の走行位置スペクトルを得ていた。更に、時系列なス
ペクトルデータを入力して、異常の種別と度合いを自動
的に判定するというものであった。According to the road traffic abnormality monitoring system disclosed in the above (2), a measurement area is set in advance, and a background image corresponding to the measurement area is created based on an input image where a vehicle is not reflected. The difference between the background image and the input image is obtained, the vehicle is detected, and its coordinates are obtained. Thereafter, according to each section of the measurement area in the road width direction, the coordinate distribution is frequency-ized for each vehicle, and the number of passing vehicles for a certain period is accumulated.
Then, the cumulative frequency is divided by the number of passing vehicles to normalize, thereby obtaining a traveling position spectrum of the vehicle. Further, time-series spectrum data is input to automatically determine the type and degree of abnormality.
【０００５】[0005]
【発明が解決しようとする課題】しかしながら、上記し
た何れの技術においても、予め車両の走行していない画
像を撮影し、この画像を背景画像として登録しておくこ
とが前提条件となっている。このことは、交通量の少な
い地方部の道路環境では可能であるものの、交通量の多
い都市部の道路環境では車両の存在しない映像を撮影す
るのは困難である。However, in any of the techniques described above, it is a precondition that an image in which the vehicle is not running is taken in advance and this image is registered as a background image. Although this is possible in a rural road environment with a small traffic volume, it is difficult to capture an image without vehicles in a road environment in an urban city with a large traffic volume.
【０００６】本発明は、ＴＶカメラを用いて交通流監視
や侵入監視等の基準画像として背景画像を用い、たとえ
画面内に移動物体が存在する場合においても移動物体を
除いた背景画像を生成し好適な背景画像を得ることがで
きる背景画像生成システムを提供することを目的とす
る。The present invention uses a background image as a reference image for traffic flow monitoring, intrusion monitoring, and the like using a TV camera, and generates a background image excluding a moving object even when a moving object exists in the screen. An object of the present invention is to provide a background image generation system that can obtain a suitable background image.
【０００７】[0007]
【課題を解決するための手段】本発明は、上記目的を達
成するために、 〔１〕背景画像生成システムにおいて、所定の監視区域
の画像を撮影する撮像装置と、前記撮像画像を処理し、
背景画像を生成する背景画像生成装置と、前記背景画像
を表示し、ユーザに呈示する画像表示装置とを備え、前
記背景画像生成装置は、前記撮像装置で撮像された入力
画像を記憶するフレームバッファと、前記フレームバッ
ファに記憶された画像に対して、当該時刻の入力画像と
その１時刻前の入力画像との差分の絶対値を２値化し、
変化が検出された画素の値を０、変化が検出されなかっ
た画素の値を１とした変化領域マスクを作成する変化検
出手段と、この変化検出手段において変化が検出されな
かった画素はカウントバッファの値を１カウントアップ
し、変化が検出された画素はカウントバッファの値を０
にリセットするカウントバッファ更新手段と、前記カウ
ントバッファの各画素値の比較に用いる閾値を記憶する
閾値記憶手段と、前記カウントバッファの各画素の値が
前記閾値記憶手段の閾値より大きく、かつ背景確定マス
クにおいて確定されていない画素は新規登録マスクの画
素値を１にセットし、背景確定マスクの画素値を０にセ
ットする背景マスク更新手段と、新規登録マスクで値１
の画素は当該時刻の入力画像の画素値を背景画像にコピ
ーする背景登録手段と、背景確定マスクにおいて、全て
の画素が確定したか否かを判定し、確定していなければ
継続して処理を行い、確定していれば背景画像を出力し
処理を終了する背景作成終了判定手段とを有することを
特徴とする。In order to achieve the above object, the present invention provides: (1) an image pickup apparatus for taking an image of a predetermined monitoring area in a background image generation system;
A background image generation device that generates a background image; and an image display device that displays the background image and presents it to a user, wherein the background image generation device stores an input image captured by the imaging device. And binarizing an absolute value of a difference between an input image at the time and an input image one time before the input image with respect to the image stored in the frame buffer,
Change detection means for creating a change area mask in which the value of a pixel in which a change is detected is set to 0 and the value of a pixel in which a change is not detected is set to 1; Is incremented by one, and the pixel in which a change is detected is set to 0 in the count buffer.
Count buffer updating means for resetting the threshold value, a threshold value storing means for storing a threshold value used for comparing each pixel value of the count buffer, a value of each pixel of the count buffer being larger than the threshold value of the threshold value storing means, and setting of the background. For a pixel which has not been determined in the mask, the pixel value of the newly registered mask is set to 1 and the pixel value of the background determined mask is set to 0.
In the background registration means for copying the pixel value of the input image at that time into the background image, and in the background determination mask, it is determined whether or not all the pixels have been determined. The method further comprises a background creation end determining means for outputting a background image if the setting is confirmed and ending the processing.
【０００８】〔２〕上記〔１〕記載の背景画像生成シス
テムにおいて、前記背景画像生成装置は、背景確定マス
クにおいて、確定されていない画素がノイズか否かを判
定し、ノイズであれば前記閾値記憶手段に記憶されてい
る閾値を小さくなる方向に変更する閾値変更手段をさら
に備えることを特徴とする。[2] In the background image generation system according to [1], the background image generation device determines whether or not undetermined pixels are noise in the background determination mask. It is characterized by further comprising a threshold value changing means for changing the threshold value stored in the storage means to a smaller value.
【０００９】〔３〕背景画像生成システムにおいて、所
定の監視区域の画像を撮影する撮像装置と、前記撮像画
像を処理し、背景画像を生成する背景画像生成装置と、
前記背景画像を表示し、ユーザに呈示する画像表示装置
とを備え、前記背景画像生成装置は、前記撮像装置で撮
像された入力画像を記憶するフレームバッファと、この
フレームバッファに記憶された画像に対して、当該時刻
の入力画像とその１時刻前の入力画像との差分の絶対値
を２値化し、変化が検出された画素の値を０、変化が検
出されなかった画素の値を１とした変化領域マスクを作
成する変化検出手段と、この変化検出手段において変化
が検出されなかった画素はカウントバッファの値を１カ
ウントアップし、変化が検出された画素はカウントバッ
ファの値を０にリセットするカウントバッファ更新手段
と、前記カウントバッファの各画素値の比較に用いる閾
値を記憶する閾値記憶手段と、前記カウントバッファの
各画素の値が前記閾値記憶手段の閾値より大きく、かつ
背景確定マスクにおいて確定されていない画素は新規登
録マスクの画素値を１にセットし、背景確定マスクの画
素値を０にセットする背景マスク更新手段と、既に背景
画像に登録されている画素については当該時刻の入力画
像を用いて更新を行い、新規登録マスクで値１の画素は
当該時刻の入力画像の画素値を背景画像にコピーする背
景更新手段と、背景確定マスクにおいて、全ての画素が
確定したか否かを判定し、確定していなければ継続して
処理を行い、確定していれば背景画像を出力し処理を終
了する背景作成終了判定手段とを有することを特徴とす
る。[3] In a background image generation system, an imaging device for capturing an image of a predetermined monitoring area, a background image generation device for processing the captured image and generating a background image,
An image display device that displays the background image and presents it to a user, wherein the background image generation device includes a frame buffer that stores an input image captured by the imaging device, and an image stored in the frame buffer. On the other hand, the absolute value of the difference between the input image at the time and the input image one time before is binarized, and the value of a pixel where a change is detected is set to 0, and the value of a pixel where a change is not detected is set to 1 Detecting means for creating a changed area mask, and a pixel in which no change is detected by the change detecting means counts up the value of the count buffer by one, and a pixel in which a change is detected resets the value of the count buffer to zero. Count buffer updating means, threshold value storage means for storing a threshold value used for comparing each pixel value of the count buffer, and a value of each pixel of the count buffer For a pixel larger than the threshold value of the value storage means and not determined in the background fixed mask, the pixel value of the newly registered mask is set to 1 and the pixel value of the background fixed mask is set to 0; A pixel registered in the image is updated using the input image at the time, a pixel having a value of 1 with the newly registered mask is a background update unit that copies the pixel value of the input image at the time into the background image, In the finalized mask, it is determined whether or not all the pixels have been finalized. If the finalized image has not been finalized, the process is continuously performed. It is characterized by having.
【００１０】〔４〕上記〔３〕記載の背景画像生成シス
テムにおいて、前記背景作成終了判定手段は、背景マス
クにおいて、すべての画素が確定したか否かを判定し、
確定していなければ継続して処理を行い、入力画像と背
景画像と背景確定マスクを合成した画像を逐次出力し、
ユーザからコマンド入力が行われたときはそのコマンド
を解釈し、全背景画像が確定していれば処理を終了する
ことを特徴とする。[4] In the background image generation system according to the above [3], the background creation end determination means determines whether or not all pixels are determined in the background mask,
If it is not determined, the process is continuously performed, and an image obtained by combining the input image, the background image, and the background determination mask is sequentially output,
When a user inputs a command, the command is interpreted, and if all background images have been determined, the process is terminated.
【００１１】[0011]
【発明の実施の形態】以下、本発明の実施の形態につい
て図を参照しながら詳細に説明する。Embodiments of the present invention will be described below in detail with reference to the drawings.
【００１２】図１は本発明の第１実施例を示す背景画像
生成システムのブロック図、図２はそのカウントバッフ
ァの動作説明図である。FIG. 1 is a block diagram of a background image generating system showing a first embodiment of the present invention, and FIG. 2 is an explanatory diagram of the operation of the count buffer.
【００１３】本発明の背景画像生成システムは、背景及
び物体からなる映像を撮影するように設置されたＩＴＶ
カメラ等の撮像装置（入力画像）１０１から動画像が背
景画像生成装置１１５に入力される。画像表示装置１１
４はＴＶモニタ等の表示装置であり、背景画像生成装置
１１５において生成された背景画像を表示する。背景画
像生成装置１１５は、フレームバッファ１０２、変化検
出手段１０３、変化領域マスク１０４、カウントバッフ
ァ更新手段１０５、カウントバッファ１０６、背景マス
ク更新手段１０７、新規登録マスク１０８、背景確定マ
スク１０９、閾値記憶手段１１０、背景登録手段１１
１、背景画像記憶手段１１２、背景作成終了判定手段１
１３から構成される。A background image generating system according to the present invention includes an ITV installed to capture an image composed of a background and an object.
A moving image is input to a background image generation device 115 from an imaging device (input image) 101 such as a camera. Image display device 11
A display device 4 such as a TV monitor displays the background image generated by the background image generation device 115. The background image generation device 115 includes a frame buffer 102, a change detection unit 103, a change area mask 104, a count buffer update unit 105, a count buffer 106, a background mask update unit 107, a new registration mask 108, a background determination mask 109, and a threshold storage unit. 110, background registration means 11
1. Background image storage means 112, background creation end determination means 1
13.
【００１４】フレームバッファ１０２は、撮像装置１０
１から得た入力画像を記憶する。変化検出手段１０３で
は、入力画像に関して時間的に変化する移動物体を検出
し、検出結果が２値画像として変化領域マスク１０４に
記憶される。 カウントバッファ更新手段１０５では、
変化領域マスク１０４を入力とし、カウントバッファ１
０６の内容を更新する。また背景マスク更新手段１０７
では、カウントバッファ１０６において背景画像への新
規登録条件を満たす画素が存在するか否かの判定を行
い、条件を満たす画素が存在する場合は、その画素を新
規登録マスク１０８へ登録し、登録された画素は登録済
みであることを示すために背景確定マスク１０９に登録
済みフラグを記録する。[0014] The frame buffer 102 is
The input image obtained from step 1 is stored. The change detection unit 103 detects a moving object that changes with time with respect to the input image, and stores the detection result as a binary image in the change area mask 104. In the count buffer updating means 105,
The change area mask 104 is input and the count buffer 1
06 is updated. Also, the background mask updating means 107
In the count buffer 106, it is determined whether there is a pixel that satisfies the new registration condition for the background image. If there is a pixel that satisfies the condition, the pixel is registered in the new registration mask 108 and registered. A registered flag is recorded in the background determination mask 109 to indicate that the pixel has been registered.
【００１５】閾値記憶手段１１０には前記判定を行うた
めの閾値が記憶されている。背景登録手段１１１では、
新規登録マスク１０８に登録されている画素について当
該時刻の入力画像の画素値を背景画像記録手段１１２に
記録する。背景作成終了判定手段１１３では、背景画像
が完全に作成されたか否かを判定し、まだ作成されてい
ない画素が存在すれば、処理を継続し、全ての画素が確
定していれば背景画像ＩBGを出力し処理を終了する。画
像表示装置１１４はテレビモニタ等の表示装置であり、
背景作成終了判定手段１１３から出力された背景画像Ｉ
BGを表示する。The threshold value storage means 110 stores a threshold value for making the above determination. In the background registration means 111,
For the pixels registered in the newly registered mask 108, the pixel value of the input image at that time is recorded in the background image recording unit 112. The background creation end determination means 113 determines whether or not the background image has been completely created. If there is a pixel that has not been created yet, the process is continued. If all the pixels are determined, the background image I is determined. BG is output and the process ends. The image display device 114 is a display device such as a television monitor,
Background image I output from background creation end determination means 113
Display BG .
【００１６】以下、この背景画像生成システムの動作に
ついて説明する。Hereinafter, the operation of the background image generating system will be described.
【００１７】撮像装置１０１は、道路および路上を走行
する車両といった背景及び物体からなる画像を撮影す
る。撮像装置１０１で撮影された動画像は、フレームバ
ッファ１０２へ入力される。フレームバッファ１０２は
ｍ枚（ｍ≧２）の画像を格納可能なリングバッファであ
る。The imaging device 101 captures an image composed of a background and an object such as a road and a vehicle running on the road. A moving image captured by the imaging device 101 is input to the frame buffer 102. The frame buffer 102 is a ring buffer capable of storing m (m ≧ 2) images.
【００１８】変化検出手段１０３において当該時刻ｔの
入力画像とその１時刻前（ｔ−１）の入力画像との差分
を求め、各画素の差分値の絶対値が閾値以上であれば
０、閾値以下であれば１であるような２値画像を作成
し、変化領域マスク１０４に記憶する。The change detecting means 103 calculates the difference between the input image at the time t and the input image one time before (t-1), and if the absolute value of the difference value of each pixel is equal to or greater than the threshold value, 0; In the following case, a binary image that is 1 is created and stored in the change area mask 104.
【００１９】次に、カウントバッファ更新手段１０５で
は変化領域マスク１０４を入力とし、カウントバッファ
１０６の内容を更新する。カウントバッファ１０６は、
入力画像サイズと同じ大きさ（画素数）を持ち、１画素
ｎｂｉｔ（ｎビット）で構成されている。通常ｎ＝８
（０〜２５５）程度で十分である。また、処理開始時に
はすべて０に初期化されている。Next, the count buffer updating means 105 receives the input of the change area mask 104 and updates the contents of the count buffer 106. The count buffer 106
It has the same size (number of pixels) as the input image size, and is composed of one pixel nbit (n bits). Usually n = 8
(0-255) is sufficient. At the start of the process, all are initialized to zero.
【００２０】カウントバッファ更新手段１０５では、変
化検出手段１０３で変化が検出されなかった画素（変化
領域マスク１０４で値１の画素）についてはカウントバ
ッファ１０６において前記画素に対応する位置の値を１
カウントアップする。また、変化検出手段１０３で変化
が検出された画素（変化領域マスク１０４で値０の画
素）については、カウントバッファ１０６において前記
画素に対応する位置の値を０にリセットする。In the count buffer updating means 105, the value of the pixel corresponding to the pixel whose change is not detected by the change detecting means 103 (the pixel having the value 1 in the change area mask 104) is set to 1 in the count buffer 106.
Count up. Further, for a pixel for which a change has been detected by the change detecting means 103 (a pixel having a value of 0 in the change area mask 104), the value of a position corresponding to the pixel in the count buffer 106 is reset to 0.
【００２１】従って、カウントバッファ１０６の各画素
の値は、入力された動画像において画素毎に変化が検出
されなかった期間を表している。つまり、カウントバッ
ファ１０６の画素値が１１であれば、入力された動画像
において、その位置の画素値は時刻（ｔ−１０）から現
在の時刻ｔまで変化が無かったことを表す。Accordingly, the value of each pixel in the count buffer 106 represents a period during which no change is detected for each pixel in the input moving image. That is, if the pixel value of the count buffer 106 is 11, it indicates that the pixel value at that position in the input moving image has not changed from the time (t−10) to the current time t.
【００２２】図２は本発明の第１実施例を示す背景画像
生成システムのカウントバッファの動作説明図である。FIG. 2 is a diagram for explaining the operation of the count buffer of the background image generating system according to the first embodiment of the present invention.
【００２３】この図は、カウントバッファ更新手段１０
５において、新しい変化領域マスク１０４が入力された
ときのカウントバッファ１０６の更新手続きの１例を示
している。つまり、図２（ａ）に示すような変化領域マ
スクと図２（ｂ）に示す更新前のカウントバッファとに
より、更新後のカウントバッファは図２（ｃ）に示すよ
うになる。なお、図２中の桝目は変化領域マスク１０４
およびカウントバッファ１０６の３×３の領域を拡大表
記したものであり、数字は各々画素値を表している。This figure shows a count buffer updating means 10
5 shows an example of a procedure for updating the count buffer 106 when a new change area mask 104 is input. In other words, the updated count buffer is as shown in FIG. 2C by the change area mask as shown in FIG. 2A and the count buffer before update shown in FIG. 2B. Note that the cells in FIG.
And the 3 × 3 area of the count buffer 106 is enlarged, and the numbers each represent a pixel value.
【００２４】背景マスク更新手段１０７では、カウント
バッファ１０６の各画素について背景画像への登録条件
を満たしているか否かを判定し、満たしていれば新規登
録マスク１０８へ当該画素を登録し、背景確定マスク１
０９へ背景画像への登録が確定したことを示すフラグが
記録される。The background mask updating means 107 determines whether or not each pixel in the count buffer 106 satisfies the registration condition for the background image, and if so, registers the pixel in the new registration mask 108 and determines the background. Mask 1
At 09, a flag indicating that registration with the background image has been confirmed is recorded.
【００２５】ここで、新規登録マスク１０８および背景
確定マスク１０９は各々入力画像と同じサイズの２値画
像であり、背景確定マスク１０９はシステム起動時に全
ての画素値が１に初期化されており、値１の画素は背景
画像へは未登録であり、値０の画素は既に背景画像へ登
録されていることを示す。新規登録マスク１０８は新し
い入力画像が入力される毎に０に初期化される。カウン
トバッファ１０６の値が予め閾値記憶手段１１０に記憶
されている閾値Ｔ以上であり、かつ背景確定マスク１０
９の値が１であるという条件を満たす画素が存在すれ
ば、新規登録マスク１０８において前記画素に対応する
位置の画素値を１とし、背景確定マスク１０９の画素値
を０とする。すなわち、所定の時間入力画像において変
化が検出されず、過去に背景画像へ登録されていない画
素について新規に背景画像への登録を行う。Here, the new registration mask 108 and the background fixed mask 109 are each a binary image having the same size as the input image, and all pixel values of the background fixed mask 109 are initialized to 1 when the system is started. A pixel having a value of 1 indicates that the pixel has not been registered in the background image, and a pixel having a value of 0 indicates that the pixel has been registered in the background image. The new registration mask 108 is initialized to 0 each time a new input image is input. The value of the count buffer 106 is equal to or greater than the threshold value T stored in the threshold value storage unit 110 in advance, and the background determination mask 10
If there is a pixel that satisfies the condition that the value of 9 is 1, the pixel value at the position corresponding to the pixel in the newly registered mask 108 is set to 1 and the pixel value of the background fixed mask 109 is set to 0. That is, a pixel that has not been detected in the input image for a predetermined time and has not been registered in the background image in the past is newly registered in the background image.
【００２６】背景登録手段１１１では、新規登録マスク
１０８において値１の画素が存在すれば、フレームバッ
ファ１０２に格納されている当該時刻の入力画像の前記
画素に対応する位置の画素値を背景画像記録手段１１２
にコピーする。If a pixel having a value of 1 exists in the newly registered mask 108, the background registration unit 111 records the pixel value at the position corresponding to the pixel in the input image at that time stored in the frame buffer 102 into the background image. Means 112
Copy to
【００２７】最後に、背景作成終了判定手段１１３では
背景確定マスク１０９において値１の画素が存在するか
否かの判定を行い、もし、値１の画素が１つでも存在す
れば背景画像は不完全であるとして処理を継続する。値
１の画素が存在しなければ、背景画像の作成が完了した
として、画像を出力し処理を終了する。画像表示装置１
１４では、背景作成終了判定手段１１３から出力される
背景画像記録手段１１２を表示する。Finally, the background creation end determining means 113 determines whether or not a pixel having the value 1 exists in the background determination mask 109. If at least one pixel having the value 1 exists, the background image is not determined. Processing continues as complete. If the pixel having the value 1 does not exist, it is determined that the creation of the background image has been completed, the image is output, and the process ends. Image display device 1
At 14, the background image recording means 112 output from the background creation end determination means 113 is displayed.
【００２８】このように構成したので、第１実施例の背
景画像生成システムによれば、都市部のような交通量の
多い道路で移動物体の存在しない画像の取得が困難であ
る（常に移動物体が存在する画像しか撮影できない）場
合においても、ＩＴＶカメラ等の撮像装置から得られる
動画像を用いて、良好な背景画像を生成することが可能
となる。With this configuration, according to the background image generation system of the first embodiment, it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area (always a moving object). In this case, it is possible to generate a good background image using a moving image obtained from an imaging device such as an ITV camera.
【００２９】次に、本発明の第２実施例について説明す
る。Next, a second embodiment of the present invention will be described.
【００３０】第２実施例は、撮像画像（入力画像）にノ
イズが多く画素値が不安定な場合でも、高速に背景画像
を生成することができる背景画像生成システムを提供す
ることができる。The second embodiment can provide a background image generation system capable of generating a background image at high speed even when a picked-up image (input image) has a lot of noise and an unstable pixel value.
【００３１】図３は本発明の第２実施例を示す背景画像
生成システムのブロック図である。FIG. 3 is a block diagram of a background image generation system showing a second embodiment of the present invention.
【００３２】この実施例の背景画像生成システムは、背
景及び物体からなる映像を撮影するように設置されたＩ
ＴＶカメラ等の撮像装置２０１から動画像が背景画像生
成装置２１６に入力される。画像表示装置２１５はＴＶ
モニタ等の表示装置であり、背景画像生成装置２１６に
おいて生成された背景画像を表示する。背景画像生成装
置２１６は、フレームバッファ２０２、変化検出手段２
０３、変化領域マスク２０４、カウントバッファ更新手
段２０５、カウントバッファ２０６、背景マスク更新手
段２０７、新規登録マスク２０８、背景確定マスク２０
９、閾値記憶手段２１０、閾値変更手段２１１、背景登
録手段２１２、背景画像記憶手段２１３、背景作成終了
判定手段２１４から構成される。The background image generating system according to the present embodiment is provided with an I / O set to capture an image composed of a background and an object.
A moving image is input to the background image generation device 216 from the imaging device 201 such as a TV camera. The image display device 215 is a TV
It is a display device such as a monitor, and displays the background image generated by the background image generation device 216. The background image generation device 216 includes a frame buffer 202, a change detection unit 2
03, change area mask 204, count buffer updating means 205, count buffer 206, background mask updating means 207, new registration mask 208, background fixed mask 20
9, a threshold storage unit 210, a threshold change unit 211, a background registration unit 212, a background image storage unit 213, and a background creation end determination unit 214.
【００３３】フレームバッファは２０２は撮像装置２０
１から得た入力画像を記憶する。変化検出手段２０３で
は入力画像に関して時間的に変化する移動物体を検出
し、検出結果が２値画像として変化領域マスク２０４に
記憶される。The frame buffer 202 is the imaging device 20.
The input image obtained from step 1 is stored. The change detection unit 203 detects a moving object that changes with time with respect to the input image, and the detection result is stored in the change area mask 204 as a binary image.
【００３４】カウントバッファ更新手段２０５では、変
化領域マスク２０４を入力とし、カウントバッファ２０
６の内容を更新する。また背景マスク更新手段２０７で
は、カウントバッファ２０６において背景画像への新規
登録条件を満たす画素が存在するか否かの判定を行い、
条件を満たす画素が存在する場合は、その画素を新規登
録マスク２０８へ登録し、登録された画素は登録済みで
あることを示すために背景確定マスク２０９に登録済み
フラグを記録する。The count buffer updating means 205 receives the change area mask 204 as an input and
6 is updated. The background mask updating unit 207 determines whether there is a pixel in the count buffer 206 that satisfies the new registration condition for the background image.
If there is a pixel that satisfies the condition, the pixel is registered in the new registration mask 208, and a registered flag is recorded in the background determination mask 209 to indicate that the registered pixel has been registered.
【００３５】閾値記憶手段２１０には前記判定を行うた
めの閾値が記憶されている。閾値変更手段２１１では、
背景確定マスク２０９で確定されてない画素の状況に応
じて閾値記憶手段２１０の閾値の調整を行う。The threshold value storage means 210 stores a threshold value for making the above determination. In the threshold value changing means 211,
The threshold value of the threshold value storage unit 210 is adjusted according to the state of the pixel not determined by the background determination mask 209.
【００３６】背景登録手段２１２では、新規登録マスク
２０８に登録されている画素について当該時刻の入力画
像の画素値を背景画像記録手段２１３に記録する。背景
作成終了判定手段２１４では、背景画像が完全に作成さ
れたか否かを判定し、まだ作成されていない画素が存在
すれば、処理を継続し、全ての画素が確定していれば、
背景画像記録手段２１３から背景画像を出力し処理を終
了する。画像表示装置２１５はテレビモニタ等の表示装
置であり、背景作成終了判定手段２１４から出力された
背景画像ＩBGを表示する。The background registration unit 212 records the pixel value of the input image at the time of the pixel registered in the new registration mask 208 in the background image recording unit 213. The background creation end determination means 214 determines whether or not the background image has been completely created. If there is a pixel that has not been created yet, the process is continued. If all the pixels are determined,
The background image is output from the background image recording unit 213, and the process ends. The image display device 215 is a display device such as a television monitor, and displays the background image IBG output from the background creation end determination unit 214.
【００３７】以下、この第２実施例の背景画像生成シス
テムの動作について説明する。The operation of the background image generation system according to the second embodiment will be described below.
【００３８】撮像装置２０１は、道路及び路上を走行す
る車両といった背景及び物体からなる動画像を撮影す
る。撮像装置２０１で撮影された動画像は、フレームバ
ッファ２０２へ入力される。フレームバッファ２０２は
ｍ枚（ｍ≧２）の画像を格納可能なリングバッファであ
る。The imaging device 201 captures a moving image composed of a background and an object such as a road and a vehicle running on the road. A moving image captured by the imaging device 201 is input to the frame buffer 202. The frame buffer 202 is a ring buffer capable of storing m (m ≧ 2) images.
【００３９】変化検出手段２０３において当該時刻ｔの
入力画像とその１時刻前（ｔ−１）の入力画像との差分
を求め、各画素の差分値の絶対値が閾値以上であれば
０、閾値以下であれば１であるような２値画像を作成
し、変化領域マスク２０４に記憶する。The change detecting means 203 calculates a difference between the input image at the time t and the input image one time before (t-1), and if the absolute value of the difference value of each pixel is equal to or larger than the threshold value, 0; In the following case, a binary image that is 1 is created and stored in the change area mask 204.
【００４０】次に、カウントバッファ更新手段２０５で
は変化領域マスク２０４を入力とし、カウントバッファ
２０６の内容を更新する。カウントバッファ２０６は、
入力画像サイズと同じ大きさ（画素数）を持ち、１画素
ｎｂｉｔ（ｎビット）で構成されている。通常ｎ＝８
（０〜２５５）程度で十分である。また、処理開始時に
はすべて０に初期化されている。Next, the count buffer updating means 205 receives the change area mask 204 and updates the contents of the count buffer 206. The count buffer 206
It has the same size (number of pixels) as the input image size, and is composed of one pixel nbit (n bits). Usually n = 8
(0-255) is sufficient. At the start of the process, all are initialized to zero.
【００４１】カウントバッファ更新手段２０５では、変
化検出手段２０３で変化が検出されなかった画素（変化
領域マスク２０４で値１の画素）については、カウント
バッファ２０６において前記画素に対応する位置の値を
１カウントアップする。また、変化検出手段２０３で変
化が検出された画素（変化領域マスク２０４で値０の画
素）については、カウントバッファ２０６において前記
画素に対応する位置の値を０にリセットする。In the count buffer updating means 205, for a pixel for which no change is detected by the change detecting means 203 (a pixel having a value of 1 in the change area mask 204), the value of a position corresponding to the pixel in the count buffer 206 is set to 1 Count up. Further, for a pixel for which a change has been detected by the change detecting means 203 (a pixel having a value of 0 in the change area mask 204), the value of a position corresponding to the pixel is reset to 0 in the count buffer 206.
【００４２】従って、カウントバッファ２０６の各画素
の値は、入力された動画像において画素毎に変化が検出
されなかった期間を表している。つまり、カウントバッ
ファ２０６の画素値が１１であれば、入力された動画像
において、その位置の画素値は時刻（ｔ−１０）から現
在の時刻ｔまで変化が無かったことを表す。Accordingly, the value of each pixel in the count buffer 206 represents a period during which no change is detected for each pixel in the input moving image. That is, if the pixel value of the count buffer 206 is 11, it indicates that the pixel value at that position in the input moving image has not changed from the time (t−10) to the current time t.
【００４３】背景マスク更新手段２０７では、カウント
バッファ２０６の各画素について背景画像への登録条件
を満たしているか否かを判定し、満たしていれば新規登
録マスク２０８へ当該画素を登録し、背景確定マスク２
０９へ背景画像への登録が確定したことを示すフラグが
記録される。The background mask updating means 207 determines whether or not each pixel in the count buffer 206 satisfies the registration condition for the background image, and if so, registers the pixel in the new registration mask 208 and determines the background. Mask 2
At 09, a flag indicating that registration with the background image has been confirmed is recorded.
【００４４】ここで、新規登録マスク２０８及び背景確
定マスク２０９は各々入力画像と同じサイズの２値画像
であり、背景確定マスク２０９はシステム起動時に全て
の画素値が１に初期化されており、値１の画素は背景画
像へは未登録であり、値０の画素は既に背景画像へ登録
されていることを示す。Here, each of the newly registered mask 208 and the background fixed mask 209 is a binary image having the same size as the input image, and all pixel values of the background fixed mask 209 are initialized to 1 when the system is started. A pixel having a value of 1 indicates that the pixel has not been registered in the background image, and a pixel having a value of 0 indicates that the pixel has been registered in the background image.
【００４５】新規登録マスク２０８は新しい入力画像が
入力される毎に０に初期化される。カウントバッファ２
０６の値が予め閾値記憶手段２１０に記憶されている閾
値Ｔ以上であり、かつ背景確定マスク２０９の値が１で
あるという条件を満たす画素が存在すれば、新規登録マ
スク２０８において前記画素に対応する位置の画素値を
１とし、背景確定マスク２０９の画素値を０とする。す
なわち、所定の時間入力画像において変化が検出され
ず、過去に背景画像へ登録されていない画素について新
規に背景画像への登録を行う。The new registration mask 208 is initialized to 0 each time a new input image is input. Count buffer 2
If there is a pixel that satisfies the condition that the value of “06” is equal to or larger than the threshold value T stored in the threshold value storage unit 210 in advance and the value of the background confirmation mask 209 is 1, the newly registered mask 208 corresponds to the pixel. The pixel value of the position to be set is set to 1 and the pixel value of the background fixed mask 209 is set to 0. That is, a pixel that has not been detected in the input image for a predetermined time and has not been registered in the background image in the past is newly registered in the background image.
【００４６】閾値変更手段２１１では、背景確定マスク
２０９で確定されていない画素がノイズか否かを判別
し、ノイズであれば閾値記憶手段２１０に記憶されてい
る閾値Ｔの値をｋだけ小さくした（Ｔ−ｋ）を新たに閾
値として閾値記憶手段２１０に格納する。もしノイズで
なければ、閾値変更は行わない。The threshold value changing means 211 determines whether or not a pixel not determined by the background determination mask 209 is noise. If the pixel is noise, the value of the threshold value T stored in the threshold value storage means 210 is reduced by k. (T−k) is newly stored in the threshold value storage unit 210 as a threshold value. If it is not noise, the threshold is not changed.
【００４７】背景確定マスク２０９で確定されていない
画素がノイズであるか否かの判定は、背景確定マスク２
０９に対して収縮処理（画像処理の基本技法、技術評論
社、長谷川・輿水他共著 など多数の解説書に紹介され
ている手法）を施し、この結果得られた画像中に値１の
画素が存在するか否かを調べ、１つも存在しなければ背
景確定マスク２０９において確定されていない画素はす
べてノイズであると判定される。ここで収縮とは、背景
確定マスク２０９をｆ（ｉ，ｊ）、その処理結果をｇ
（ｉ，ｊ）としたとき、次のような処理を行う。The determination as to whether or not the pixel not determined by the background determination mask 209 is noise is made by the background determination mask 2
09 is subjected to contraction processing (a basic technique of image processing, a technique introduced in many commentary books such as Technical Review Company, Hasegawa and Koshimizu, etc.), and a pixel having a value of 1 is obtained in the resulting image. It is checked whether or not there is any pixel, and if there is no pixel, all pixels that have not been determined in the background determination mask 209 are determined to be noise. Here, the contraction means that the background fixed mask 209 is f (i, j) and the processing result is g
When (i, j) is set, the following processing is performed.
【００４８】ｇ（ｉ，ｊ）＝｛０：ｆ（ｉ，ｊ）＝０あ
るいはｆ（ｉ，ｊ）の４近傍（あるいは８近傍）の何れ
かが０のとき。１はその他のときを示す。この処理によ
り、面積の小さなノイズ成分が除去される。G (i, j) = ｛0: When f (i, j) = 0 or any of the four neighborhoods (or eight neighborhoods) of f (i, j) is 0. 1 indicates other times. By this processing, a noise component having a small area is removed.
【００４９】このように、背景確定マスク２０９で確定
されていない画素がノイズであるか否かを判定し、ノイ
ズであると判定された場合は載置Ｔを小さくすることに
より、背景の確定を早めることが可能となる。As described above, it is determined whether or not a pixel that has not been determined by the background determination mask 209 is noise. If it is determined that the pixel is noise, the placement T is reduced to determine the background. It is possible to haveten it.
【００５０】なお、ここではノイズか否かの判定を行う
手法について記載したが、単純に背景確定マスク２０９
で確定されていない画素の総数が所定の数よりも少なく
なった場合に閾値を変更するようにしてもよい。また、
閾値の変更も１段階ではなく、数段階に分けて変更する
ことも可能である。Although the method for determining whether noise is present has been described above, the background determination mask 209 is simply described.
The threshold value may be changed when the total number of pixels that have not been determined in the step becomes smaller than a predetermined number. Also,
The threshold value can be changed not in one step but in several steps.
【００５１】背景登録手段２１２では、新規登録マスク
２０８において値１の画素が存在すれば、フレームバッ
ファ２０２に格納されている当該時刻の入力画像の前記
画素に対応する位置の画素値を背景画像記録手段２１３
にコピーする。If a pixel having a value of 1 exists in the newly registered mask 208, the background registration unit 212 records the pixel value at the position corresponding to the pixel of the input image at that time stored in the frame buffer 202 as the background image. Means 213
Copy to
【００５２】最後に、背景作成終了判定手段２１４では
背景確定マスク２０９において値１の画素が存在するか
否かの判定を行い、もし値１の画素が１つでも存在すれ
ば、背景画像は不完全であるとして処理を継続する。値
１の画素が存在しなければ、背景画像の作成が完了した
として、画像を出力し処理を終了する。画像表示装置２
１５では、背景作成終了判定手段２１４から出力される
背景画像ＩBGを表示する。Finally, the background creation end determination means 214 determines whether or not a pixel having a value of 1 exists in the background determination mask 209. If at least one pixel having a value of 1 exists, the background image is not determined. Processing continues as complete. If the pixel having the value 1 does not exist, it is determined that the creation of the background image has been completed, the image is output, and the process ends. Image display device 2
At 15, the background image IBG output from the background creation end determination means 214 is displayed.
【００５３】このように第２実施例の背景画像生成シス
テムによれば、都市部のような交通量の多い道路で、移
動物体の存在しない画像の取得が困難である場合（常に
移動物体が存在する画像しか撮影できない場合）におい
ても、ＩＴＶカメラ等の撮像装置から得られる動画像を
用いて、高速に良好な背景画像を生成することが可能と
なる。また、撮像画像にノイズが多く画素値が不安定な
場合でも、高速に良好な背景画像を生成することが可能
である。As described above, according to the background image generation system of the second embodiment, it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area. (Where only images to be captured can be captured), it is possible to generate a good background image at high speed using a moving image obtained from an imaging device such as an ITV camera. Further, even when the picked-up image has much noise and the pixel value is unstable, a good background image can be generated at high speed.
【００５４】次に、本発明の第３実施例について説明す
る。Next, a third embodiment of the present invention will be described.
【００５５】この第３実施例は、背景を作成中に天候の
変化などにより背景の明るさが変化する場合でも、その
変化を吸収して、正確な背景画像を生成するようにした
ものである。In the third embodiment, even when the brightness of the background changes due to a change in weather or the like while the background is being created, the change is absorbed and an accurate background image is generated. .
【００５６】図４は本発明の第３実施例を示す背景画像
生成システムのブロック図である。FIG. 4 is a block diagram of a background image generation system showing a third embodiment of the present invention.
【００５７】この実施例の背景画像生成システムは、背
景及び物体からなる映像を撮影するように設置されたＩ
ＴＶカメラ等の撮像装置３０１から動画像が背景画像生
成装置３１５に入力される。画像表示装置３１４はＴＶ
モニタ等の表示装置であり、背景画像生成装置３１５に
おいて生成された背景画像を表示する。背景画像生成装
置３１５は、フレームバッファ３０２、変化検出手段３
０３、変化領域マスク３０４、カウントバッファ更新手
段３０５、カウントバッファ３０６、背景マスク更新手
段３０７、新規登録マスク３０８、背景確定マスク３０
９、閾値記憶手段３１０、背景更新手段３１１、背景画
像記憶手段３１２、背景作成終了判定手段３１３から構
成される。The background image generation system according to the present embodiment is provided with an
A moving image is input to the background image generation device 315 from the imaging device 301 such as a TV camera. The image display device 314 is a TV
It is a display device such as a monitor, and displays the background image generated by the background image generation device 315. The background image generation device 315 includes the frame buffer 302, the change detection unit 3
03, change area mask 304, count buffer updating means 305, count buffer 306, background mask updating means 307, new registration mask 308, background fixed mask 30
9, a threshold storage unit 310, a background update unit 311, a background image storage unit 312, and a background creation end determination unit 313.
【００５８】フレームバッファ３０２は、撮像装置３０
１から得た入力画像を記憶する。変化検出手段３０３で
は入力画像に関して時間的に変化する移動物体を検出
し、検出結果が２値画像として変化領域マスク３０４に
記憶される。[0058] The frame buffer 302 is
The input image obtained from step 1 is stored. The change detection unit 303 detects a moving object that changes with time in the input image, and stores the detection result in the change area mask 304 as a binary image.
【００５９】カウントバッファ更新手段３０５では、変
化領域マスク３０４を入力とし、カウントバッファ３０
６の内容を更新する。また背景マスク更新手段３０７で
は、カウントバッファ３０６において背景画像への新規
登録条件を満たす画素が存在するか否かの判定を行い、
条件を満たす画素が存在する場合は、その画素を新規登
録マスク３０８へ登録し、登録された画素は登録済みで
あることを示すために背景確定マスク３０９に登録済み
フラグを記録する。閾値記憶手段３１０には前記判定を
行うための閾値が記憶されている。The count buffer updating means 305 receives the change area mask 304 as an input, and
6 is updated. The background mask updating unit 307 determines whether or not there is a pixel in the count buffer 306 that satisfies the new registration condition for the background image.
If there is a pixel that satisfies the condition, the pixel is registered in the new registration mask 308, and a registered flag is recorded in the background determination mask 309 to indicate that the registered pixel has been registered. The threshold value storage unit 310 stores a threshold value for making the above determination.
【００６０】背景更新手段３１１では、新規登録マスク
３０８に登録されている画素については当該時刻の入力
画像の画素値を背景画像記録手段３１２に記録する。ま
た、既に背景画像として登録されている画素については
入力画像に応じて更新を行う。The background updating unit 311 records the pixel value of the input image at the time of the pixel registered in the new registration mask 308 in the background image recording unit 312. In addition, a pixel already registered as a background image is updated according to the input image.
【００６１】背景作成終了判定手段３１３では、背景画
像が完全に作成されたか否かを判定し、まだ作成されて
いない画素が存在すれば、処理を継続し、全ての画素が
確定しておれば背景画像ＩBGを出力し処理を終了する。The background creation completion determination means 313 determines whether or not the background image has been completely created. If there is a pixel that has not been created yet, the process is continued. The background image IBG is output, and the process ends.
【００６２】画像表示装置３１４はテレビモニタ等の表
示装置であり、背景作成終了判定手段３１３から出力さ
れた背景画像ＩBGを表示する。The image display device 314 is a display device such as a television monitor, and displays the background image IBG output from the background creation end determination means 313.
【００６３】以下、この背景画像生成システムの動作に
ついて説明する。Hereinafter, the operation of the background image generation system will be described.
【００６４】撮像装置３０１は、道路及び路上を走行す
る車両といった背景及び物体からなる動画像を撮影す
る。撮像装置３０１で撮影された動画像は、フレームバ
ッファ３０２へ入力される。フレームバッファ３０２は
ｍ枚（ｍ≧２）の画像を格納可能なリングバッファであ
る。The imaging device 301 captures a moving image composed of a background and an object such as a road and a vehicle running on the road. A moving image captured by the imaging device 301 is input to the frame buffer 302. The frame buffer 302 is a ring buffer capable of storing m (m ≧ 2) images.
【００６５】変化検出手段３０３において当該時刻ｔの
入力画像とその１時刻前（ｔ−１）の入力画像との差分
を求め、各画素の差分値の絶対値が閾値以上であれば
０、閾値以下であれば１であるような２値画像を作成
し、変化領域マスク３０４に記憶する。The change detecting means 303 obtains a difference between the input image at the time t and the input image one time before (t-1), and 0 if the absolute value of the difference value of each pixel is equal to or larger than the threshold, In the following case, a binary image that is 1 is created and stored in the change area mask 304.
【００６６】次に、カウントバッファ更新手段３０５で
は変化領域マスク３０４を入力とし、カウントバッファ
３０６の内容を更新する。カウントバッファ３０６は、
入力画像サイズと同じ大きさ（画素数）を持ち、１画素
ｎｂｉｔ（ｎビット）で構成されている。通常ｎ＝８
（０〜２５５）程度で十分である。また、処理開始時に
はすべて０に初期化されている。Next, the count buffer updating means 305 receives the change area mask 304 as an input and updates the contents of the count buffer 306. The count buffer 306
It has the same size (number of pixels) as the input image size, and is composed of one pixel nbit (n bits). Usually n = 8
(0-255) is sufficient. At the start of the process, all are initialized to zero.
【００６７】カウントバッファ更新手段３０５では、変
化検出手段３０３で変化が検出されなかった画素（変化
領域マスク３０４で値１の画素）についてはカウントバ
ッファ３０６において前記画素に対応する位置の値を１
カウントアップする。また、変化検出手段３０３で変化
が検出された画素（変化領域マスク３０４で値０の画
素）については、カウントバッファ３０６において前記
画素に対応する位置の値を０にリセットする。The count buffer updating means 305 sets the value of the pixel corresponding to the pixel whose change is not detected by the change detecting means 303 (the pixel having a value of 1 in the change area mask 304) to 1 in the count buffer 306.
Count up. Further, for a pixel for which a change has been detected by the change detecting means 303 (a pixel having a value of 0 in the change area mask 304), the value of a position corresponding to the pixel is reset to 0 in the count buffer 306.
【００６８】従って、カウントバッファ３０６の各画素
の値は、入力された動画像において画素毎に変化が検出
されなかった期間を表している。つまり、カウントバッ
ファ３０６の画素値が１１であれば、入力された動画像
において、その位置の画素値は時刻（ｔ−１０）から現
在の時刻ｔまで変化が無かったことを表す。Accordingly, the value of each pixel in the count buffer 306 represents a period during which no change is detected for each pixel in the input moving image. That is, if the pixel value of the count buffer 306 is 11, it indicates that the pixel value at that position in the input moving image has not changed from the time (t−10) to the current time t.
【００６９】背景マスク更新手段３０７では、カウント
バッファ３０６の各画素について背景画像への登録条件
を満たしているか否かを判定し、満たしていれば新規登
録マスク３０８へ当該画素を登録し、背景確定マスク３
０９へ背景画像への登録が確定したことを示すフラグが
記録される。ここで、新規登録マスク３０８および背景
確定マスク３０９は各々入力画像と同じサイズの２値画
像であり、背景確定マスク３０９はシステム起動時に全
ての画素値が１に初期化されており、値１の画素は背景
画像へは未登録であり、値０の画素は既に背景画像へ登
録されていることを示す。The background mask updating means 307 determines whether or not each pixel of the count buffer 306 satisfies the registration condition for the background image, and if so, registers the pixel in the new registration mask 308 and determines the background. Mask 3
At 09, a flag indicating that registration with the background image has been confirmed is recorded. Here, the new registration mask 308 and the background determination mask 309 are each a binary image having the same size as the input image, and all pixel values of the background determination mask 309 are initialized to 1 when the system is started. The pixel has not been registered in the background image, and a pixel having a value of 0 indicates that the pixel has already been registered in the background image.
【００７０】新規登録マスク３０８は新しい入力画像が
入力される毎に０に初期化される。カウントバッファ３
０６の値が予め閾値記憶手段３１０に記憶されている閾
値Ｔ以上であり、かつ背景確定マスク３０９の値が１で
あるという条件を満たす画素が存在すれば、新規登録マ
スク３０８において前記画素に対応する位置の画素値を
１とし、背景確定マスク３０９の画素値を０とする。す
なわち、所定の時間入力画像において変化が検出され
ず、過去に背景画像へ登録されていない画素について新
規に背景画像への登録を行う。The new registration mask 308 is initialized to 0 each time a new input image is input. Count buffer 3
If there is a pixel satisfying the condition that the value of “06” is equal to or greater than the threshold value T stored in the threshold value storage unit 310 in advance and the value of the background determination mask 309 is 1, the newly registered mask 308 corresponds to the pixel The pixel value at the position to be set is set to 1 and the pixel value of the background fixed mask 309 is set to 0. That is, a pixel that has not been detected in the input image for a predetermined time and has not been registered in the background image in the past is newly registered in the background image.
【００７１】背景更新手段３１１では、新規登録マスク
３０８において値１の画素が存在すれば、フレームバッ
ファ３０２に格納されている当該時刻の入力画像の前記
画素に対応する位置の画素値を背景画像記録手段３１２
にコピーする。さらに、既に背景画像記録手段３１２に
登録されている画素については更新を行う。背景画像の
更新は以下のようにして行う。If there is a pixel having a value of 1 in the newly registered mask 308, the background updating means 311 records the pixel value at the position corresponding to the pixel of the input image at that time stored in the frame buffer 302 in the background image. Means 312
Copy to Further, the pixels already registered in the background image recording unit 312 are updated. The updating of the background image is performed as follows.
【００７２】まず、フレームバッファ３０２に格納され
ている当該時刻の入力画像と背景画像との差分を求め、
各画素の差分値の絶対値が閾値以上であれば０、閾値以
下であれば１であるような２値画像を作成する。この画
像において画素値が１であり、かつ背景確定マスク３０
９において値が０である画素について、以下の式により
背景画像を更新する。First, the difference between the input image at that time stored in the frame buffer 302 and the background image is obtained.
A binary image is created such that the absolute value of the difference value of each pixel is equal to or greater than a threshold value and is equal to 0 if the absolute value is equal to or less than the threshold value. In this image, the pixel value is 1 and the background fixed mask 30
The background image is updated by the following equation for the pixel whose value is 0 in 9:
【００７３】Ｂt （ｉ，ｊ）＝Ｉt （ｉ，ｊ）×〔１−
ｅｘｐ（−１／Ｃ）〕＋Ｂt-1 （ｉ，ｊ）×ｅｘｐ（−
１／Ｃ） ここでＢt （ｉ，ｊ）は更新後の背景画像、Ｂ
t-1 （ｉ，ｊ）は更新前の背景画像、Ｉt （ｉ，ｊ）は
当該時刻の入力画像、Ｃは時定数を表している。B t (i, j) = I t (i, j) × [1-
exp (−1 / C)] + B t−1 (i, j) × exp (−
1 / C) where B t (i, j) is the updated background image,
t-1 (i, j) is updated before the background image, I t (i, j) is the input image of the time, C is represent time constants.
【００７４】このように、既に背景画像として確定した
画素の値を最新の入力画像を用いて更新することによ
り、背景作成中に天候の変動等の理由により背景が変動
した場合でも、その変動を吸収することが可能となる。As described above, by updating the value of the pixel already determined as the background image by using the latest input image, even if the background fluctuates due to the fluctuation of the weather during the creation of the background, the fluctuation can be reduced. It becomes possible to absorb.
【００７５】最後に、背景作成終了判定手段３１３では
背景確定マスク３０９において値１の画素が存在するか
否かの判定を行い、もし値１の画素が１つでも存在すれ
ば、背景画像は不完全であるとして処理を継続する。値
１の画素が存在しなければ、背景画像の作成が完了した
として、画像を出力し処理を終了する。画像表示装置３
１４では、背景作成終了判定手段３１３から出力される
背景画像ＩBGを表示する。Finally, the background creation end determination means 313 determines whether or not a pixel having a value of 1 exists in the background determination mask 309. If at least one pixel having a value of 1 exists, the background image is not determined. Processing continues as complete. If the pixel having the value 1 does not exist, it is determined that the creation of the background image has been completed, the image is output, and the process ends. Image display device 3
At 14, the background image IBG output from the background creation end determination means 313 is displayed.
【００７６】このように、第３実施例の背景画像生成シ
ステムによれば、都市部のような交通量の多い道路で移
動物体の存在しない画像の取得が困難であり、常に移動
物体が存在する画像しか撮影できない場合においても、
ＩＴＶカメラ等の撮像装置から得られる動画像を用い
て、高速に良好な背景画像を生成することが可能とな
る。As described above, according to the background image generation system of the third embodiment, it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area, and a moving object always exists. Even when only images can be taken,
Using a moving image obtained from an imaging device such as an ITV camera, a good background image can be generated at high speed.
【００７７】また、背景画像の生成途中に天候の変動な
どの理由により背景が変動したとしても、既に登録され
ている画素に関しては最新の入力画像を用いて更新を行
うため、たとえ背景の変動前に背景画像として登録され
た画素であっても、その変動を吸収することが可能であ
る。Even if the background fluctuates during the generation of the background image due to a change in the weather or the like, the already registered pixels are updated using the latest input image. Even if the pixel is registered as a background image, the fluctuation can be absorbed.
【００７８】次に、本発明の第４実施例について説明す
る。Next, a fourth embodiment of the present invention will be described.
【００７９】この第４実施例は、背景画像の再作成およ
び背景画像生成の強制終了等のユーザからのコマンド入
力を可能とし、ユーザの所望する背景画像を生成するよ
うにしたものである。In the fourth embodiment, it is possible to input a command from the user, such as re-creating a background image and forcibly terminating generation of a background image, and generate a background image desired by the user.
【００８０】図５は本発明の第４実施例を示す背景画像
生成システムのブロック図である。FIG. 5 is a block diagram of a background image generating system showing a fourth embodiment of the present invention.
【００８１】この実施例の背景画像生成システムは、背
景及び物体からなる映像を撮影するように設置されたＩ
ＴＶカメラ等の撮像装置４０１において動画像がフレー
ムバッファ４０２に入力される。撮像装置４０１から動
画像が背景画像生成装置４１６に入力される。画像表示
装置４１４はＴＶモニタ等の表示装置であり、背景画像
生成装置４１６において生成された背景画像を表示す
る。背景画像生成装置４１６は、フレームバッファ４０
２、変化検出手段４０３、変化領域マスク４０４、カウ
ントバッファ更新手段４０５、カウントバッファ４０
６、背景マスク更新手段４０７、新規登録マスク４０
８、背景確定マスク４０９、閾値記憶手段４１０、背景
更新手段４１１、背景画像記憶手段４１２、背景作成終
了判定手段４１３から構成される。The background image generating system according to the present embodiment is provided with an I / O system installed to capture an image composed of a background and an object.
A moving image is input to a frame buffer 402 in an imaging device 401 such as a TV camera. A moving image is input from the imaging device 401 to the background image generation device 416. The image display device 414 is a display device such as a TV monitor, and displays the background image generated by the background image generation device 416. The background image generation device 416 includes the frame buffer 40
2. Change detection means 403, change area mask 404, count buffer update means 405, count buffer 40
6. Background mask updating means 407, newly registered mask 40
8, a background determination mask 409, a threshold storage unit 410, a background update unit 411, a background image storage unit 412, and a background creation end determination unit 413.
【００８２】フレームバッファ４０２は、撮像装置４０
１から得た入力画像を記憶する。変化検出手段４０３で
は撮像画像に関して時間的に変化する移動物体を検出
し、検出結果が２値画像として変化領域マスク４０４に
記憶される。カウントバッファ更新手段４０５では、変
化領域マスク４０４を入力とし、カウントバッファ４０
６の内容を更新する。The frame buffer 402 includes the image pickup device 40
The input image obtained from step 1 is stored. The change detection unit 403 detects a moving object that changes with time in the captured image, and stores the detection result as a binary image in the change area mask 404. The count buffer updating means 405 receives the change area mask 404 as an input and
6 is updated.
【００８３】また、背景マスク更新手段４０７では、カ
ウントバッファ４０６において背景画像への新規登録条
件を満たす画素が存在するか否かの判定を行い、条件を
満たす画素が存在する場合は、その画素を新規登録マス
ク４０８へ登録し、登録された画素は登録済みであるこ
とを示すために背景確定マスク４０９に登録済みフラグ
を記録する。閾値記憶手段４１０には前記判定を行うた
めの閾値が記憶されている。The background mask updating means 407 determines whether or not there is a pixel which satisfies the condition for newly registering a background image in the count buffer 406. The registered pixel is registered in the newly registered mask 408, and a registered flag is recorded in the background fixed mask 409 to indicate that the registered pixel has been registered. The threshold value storage unit 410 stores a threshold value for making the determination.
【００８４】背景更新手段４１１では、新規登録マスク
４０８に登録されている画素については当該時刻の入力
画像の画素値を背景画像記録手段４１２に記録する。ま
た、既に背景画像として登録されている画素については
入力画像に応じて更新を行う。The background updating unit 411 records the pixel value of the input image at the time of the pixel registered in the new registration mask 408 in the background image recording unit 412. In addition, a pixel already registered as a background image is updated according to the input image.
【００８５】背景作成終了判定手段４１３では、背景画
像が完全に作成されたか否かを判定し、まだ作成されて
いない画素が存在すれば、処理を継続し、全ての画素が
確定しておれば背景画像を出力し処理を終了する。The background creation completion determination means 413 determines whether or not the background image has been completely created. If there is a pixel that has not been created yet, the process is continued. The background image is output, and the process ends.
【００８６】画像表示装置４１４はテレビモニタ等の表
示装置である。また、入力手段４１５はキーボード等の
入力装置であり、ユーザからのコマンド入力を可能とす
る。[0086] The image display device 414 is a display device such as a television monitor. The input unit 415 is an input device such as a keyboard, and enables a user to input a command.
【００８７】以下、この背景画像生成システムの動作に
ついて説明する。Hereinafter, the operation of the background image generation system will be described.
【００８８】撮像装置４０１は、道路および路上を走行
する車両といった背景及び物体からなる動画像を撮影す
る。撮像装置４０１で撮影された動画像は、フレームバ
ッファ４０２へ入力される。フレームバッファ４０２は
ｍ枚（ｍ≧２）の画像を格納可能なリングバッファであ
る。The imaging device 401 captures a moving image composed of a background and an object such as a road and a vehicle running on the road. A moving image captured by the imaging device 401 is input to the frame buffer 402. The frame buffer 402 is a ring buffer capable of storing m (m ≧ 2) images.
【００８９】変化検出手段４０３において当該時刻ｔの
入力画像とその１時刻前（ｔ−１）の入力画像との差分
を求め、各画素の差分値の絶対値が閾値以上であれば
０、閾値以下であれば１であるような２値画像を作成
し、変化領域マスク４０４に記憶する。The change detecting means 403 obtains the difference between the input image at the time t and the input image one time before (t-1), and if the absolute value of the difference value of each pixel is equal to or larger than the threshold value, 0; In the following case, a binary image that is 1 is created and stored in the change area mask 404.
【００９０】次に、カウントバッファ更新手段４０５で
は変化領域マスク４０４を入力とし、カウントバッファ
４０６の内容を更新する。カウントバッファ４０６は、
入力画像サイズと同じ大きさ（画素数）を持ち、１画素
ｎｂｉｔ（ｎビット）で構成されている。通常ｎ＝８
（０〜２５５）程度で十分である。また、処理開始時に
はすべて０に初期化されている。Next, the count buffer updating means 405 receives the change area mask 404 as input and updates the contents of the count buffer 406. The count buffer 406
It has the same size (number of pixels) as the input image size, and is composed of one pixel nbit (n bits). Usually n = 8
(0-255) is sufficient. At the start of the process, all are initialized to zero.
【００９１】カウントバッファ更新手段４０５では、変
化検出手段４０３で変化が検出されなかった画素（変化
領域マスク４０４で値１の画素）についてはカウントバ
ッファ４０６において前記画素に対応する位置の値を１
カウントアップする。また、変化検出手段４０３で変化
が検出された画素（変化領域マスク４０４で値０の画
素）については、カウントバッファ４０６において前記
画素に対応する位置の値を０にリセットする。The count buffer updating means 405 sets the value of the pixel corresponding to the pixel whose change is not detected by the change detecting means 403 (the pixel having the value 1 in the change area mask 404) to 1 in the count buffer 406.
Count up. Also, for the pixel for which a change has been detected by the change detecting means 403 (the pixel having a value of 0 in the change area mask 404), the value of the position corresponding to the pixel in the count buffer 406 is reset to 0.
【００９２】従って、カウントバッファ４０６の各画素
の値は、入力された動画像において画素毎に変化が検出
されなかった期間を表している。つまり、カウントバッ
ファ４０６の画素値が１１であれば、入力された動画像
において、その位置の画素値は時刻（ｔ−１０）から現
在の時刻ｔまで変化が無かったことを表す。Accordingly, the value of each pixel in the count buffer 406 represents a period during which no change is detected for each pixel in the input moving image. That is, if the pixel value of the count buffer 406 is 11, it indicates that the pixel value at that position in the input moving image has not changed from the time (t−10) to the current time t.
【００９３】背景マスク更新手段４０７では、カウント
バッファ４０６の各画素について背景画像への登録条件
を満たしているか否かを判定し、満たしていれば新規登
録マスク４０８へ当該画素を登録し、背景確定マスク４
０９へ背景画像への登録が確定したことを示すフラグが
記録される。The background mask updating means 407 determines whether or not each pixel in the count buffer 406 satisfies the registration condition for the background image, and if so, registers the pixel in the new registration mask 408 and determines the background. Mask 4
At 09, a flag indicating that registration with the background image has been confirmed is recorded.
【００９４】ここで、新規登録マスク４０８および背景
確定マスク４０９は各々入力画像と同じサイズの２値画
像であり、背景確定マスク４０９はシステム起動時に全
ての画素値が１に初期化されており、値１の画素は背景
画像へは未登録であり、値０の画素は既に背景画像へ登
録されていることを示す。Here, the new registration mask 408 and the background determination mask 409 are each a binary image having the same size as the input image, and all pixel values of the background determination mask 409 are initialized to 1 when the system is started. A pixel having a value of 1 indicates that the pixel has not been registered in the background image, and a pixel having a value of 0 indicates that the pixel has been registered in the background image.
【００９５】新規登録マスク４０８は新しい入力画像が
入力される毎に０に初期化される。カウントバッファ４
０６の値が予め閾値記憶手段４１０に記憶されている閾
値Ｔ以上であり、かつ背景確定マスク４０９の値が１で
あるという条件を満たす画素が存在すれば、新規登録マ
スク４０８において前記画素に対応する位置の画素値を
１とし、背景確定マスク４０９の画素値を０とする。す
なわち、所定の時間入力画像において変化が検出され
ず、過去に背景画像へ登録されていない画素について新
規に背景画像への登録を行う。The new registration mask 408 is initialized to 0 each time a new input image is input. Count buffer 4
If there is a pixel satisfying the condition that the value of 06 is equal to or greater than the threshold value T stored in the threshold value storage means 410 in advance and the value of the background confirmation mask 409 is 1, the newly registered mask 408 corresponds to the pixel. The pixel value of the position to be set is set to 1 and the pixel value of the background fixed mask 409 is set to 0. That is, a pixel that has not been detected in the input image for a predetermined time and has not been registered in the background image in the past is newly registered in the background image.
【００９６】背景更新手段４１１では、新規登録マスク
４０８において値１の画素が存在すれば、フレームバッ
ファ４０２に格納されている当該時刻の入力画像の前記
画素に対応する位置の画素値を背景画像記録手段４１２
にコピーする。さらに、既に背景画像記録手段４１２に
登録されている画素については更新を行う。背景画像の
更新は以下のようにして行う。If a pixel having a value of 1 exists in the newly registered mask 408, the background updating means 411 records the pixel value at the position corresponding to the pixel of the input image at that time stored in the frame buffer 402 as the background image. Means 412
Copy to Further, the pixel already registered in the background image recording unit 412 is updated. The updating of the background image is performed as follows.
【００９７】まず、フレームバッファ４０２に格納され
ている当該時刻の入力画像と背景画像ＩBGとの差分を求
め、各画素の差分値の絶対値が閾値以上であれば０、閾
値以下であれば１であるような２値画像を作成する。こ
の画像において画素値が１であり、かつ背景確定マスク
４０９において値が０である画素について、以下の式に
より背景画像を更新する。First, the difference between the input image at that time stored in the frame buffer 402 and the background image IBG is obtained, and if the absolute value of the difference value of each pixel is equal to or greater than the threshold value, 0; Create a binary image that is 1. For a pixel having a pixel value of 1 in this image and a value of 0 in the background confirmation mask 409, the background image is updated by the following equation.
【００９８】Ｂt （ｉ，ｊ）＝Ｉt （ｉ，ｊ）×〔１−
ｅｘｐ（−１／Ｃ）〕＋Ｂt-1 （ｉ，ｊ）×ｅｘｐ（−
１／Ｃ） ここでＢt （ｉ，ｊ）は更新後の背景画像、Ｂ
t-1 （ｉ，ｊ）は更新前の背景画像、Ｉt （ｉ，ｊ）は
当該時刻の入力画像、Ｃは時定数を表している。B t (i, j) = I t (i, j) × [1-
exp (−1 / C)] + B t−1 (i, j) × exp (−
1 / C) where B t (i, j) is the updated background image,
t-1 (i, j) is updated before the background image, I t (i, j) is the input image of the time, C is represent time constants.
【００９９】このように、既に背景画像として確定した
画素の値を最新の入力画像を用いて更新することによ
り、背景作成中に天候の変動等の理由により背景が変動
した場合でも、その変動を吸収することが可能となる。As described above, by updating the value of a pixel already determined as a background image using the latest input image, even if the background fluctuates due to a change in weather or the like during creation of the background, the fluctuation can be reduced. It becomes possible to absorb.
【０１００】背景作成終了判定手段４１３では背景確定
マスク４０９において値１の画素が存在するか否かの判
定を行い、もし値１の画素が１つでも存在すれば背景画
像は不完全であるとして処理を継続する。値１の画素が
存在しなければ、背景画像の作成が完了したとして、処
理を終了する。また、背景作成終了判定手段４１３では
フレームバッファ４０２に記憶されている当該時刻の入
力画像、背景画像ＩBGの中間結果および背景確定マスク
４０９を合成し、逐次出力する。The background creation end determination means 413 determines whether or not a pixel having a value of 1 exists in the background determination mask 409. If at least one pixel having a value of 1 exists, the background image is determined to be incomplete. Continue processing. If the pixel having the value 1 does not exist, it is determined that the creation of the background image has been completed, and the process ends. In addition, the background creation end determination unit 413 combines the input image at that time, the intermediate result of the background image IBG , and the background determination mask 409 stored in the frame buffer 402 and sequentially outputs them.
【０１０１】画像表示装置４１４は、背景作成終了判定
手段４１３から出力された合成画像を動画像として表示
する。The image display device 414 displays the composite image output from the background creation end determination means 413 as a moving image.
【０１０２】図６はその画像表示装置４１４で表示され
る画像の一例を示しており、左上が入力画像５０１、右
上が背景画像５０２、右下が背景確定マスク５０３であ
る。また、背景画像において黒で塗りつぶされている領
域および背景確定マスクで白（値１）く塗りつぶされて
いる領域は、背景画像未確定領域５０４であり、背景画
像の作成途中であることを示している。FIG. 6 shows an example of an image displayed on the image display device 414. The upper left is an input image 501, the upper right is a background image 502, and the lower right is a background fixed mask 503. Further, a region painted black in the background image and a region painted white (value 1) by the background confirmation mask are background image undetermined regions 504, which indicate that the background image is being created. I have.
【０１０３】入力手段４１５では、ユーザからの入力を
受け付けるインタフェースを供給する。入力手段４１５
がキーボードで実現されている場合は、例えば背景再生
コマンドをＲ（Ｒｅｄｏ）キーに、背景生成終了コマン
ドをＩ（Ｉｎｔｅｒｒｕｐｔ）キーといったように、必
要なコマンドを割り当てる。Ｒキーが押された場合は、
背景作成終了判定手段４１３においてコマンドが解釈さ
れ、背景画像記録手段４１２、背景確定マスク４０９、
新規登録マスク４０８、カウントバッファ４０６が初期
化され、背景生成処理を再度行う。The input means 415 provides an interface for receiving an input from the user. Input means 415
Is realized by a keyboard, for example, necessary commands are assigned such as an R (Redo) key for a background reproduction command and an I (Interrupt) key for a background generation end command. If the R key is pressed,
The command is interpreted by the background creation end determination unit 413, and the background image recording unit 412, the background fixed mask 409,
The new registration mask 408 and the count buffer 406 are initialized, and the background generation processing is performed again.
【０１０４】また、Ｉキーが押された場合も同様に背景
作成終了判定手段４１３でコマンドが解釈され、背景確
定マスク４０９で未確定（値１）の画素が存在すれば、
背景画像記録手段４１２においてその画素に対応する位
置にフレームバッファ４０２に記憶されている当該時刻
の入力画像の画素値をコピーし、背景生成の処理を終了
する。Similarly, when the I key is pressed, the command is interpreted by the background creation end determination means 413, and if there is an undetermined (value 1) pixel in the background determination mask 409,
The background image recording unit 412 copies the pixel value of the input image at that time stored in the frame buffer 402 to a position corresponding to the pixel, and ends the background generation processing.
【０１０５】このようにユーザは、画像表示装置４１４
に表示されている像を目視で確認し、作成完了（作成途
中）した背景画像が所望するものと異なる、あるいは何
らかの理由により誤った背景画像が作成されたなどの場
合は背景再作成を指示することができる。また、既にユ
ーザが所望する領域の背景画像は確定し作成終了してい
るが、それ以外の領域に未確定の画素が１部残っている
ような場合、背景生成処理の終了を指示することができ
る。As described above, the user operates the image display device 414.
Is visually checked, and if the completed background image is different from the desired background image or an erroneous background image is created for some reason, an instruction to recreate the background is issued. be able to. If the background image of the area desired by the user has already been determined and the creation has been completed, but one undetermined pixel remains in the other area, the end of the background generation processing may be instructed. it can.
【０１０６】このように、第４実施例の背景画像生成シ
ステムによれば、都市部のような交通量の多い道路で移
動物体の存在しない画像の取得が困難である場合（常に
移動物体が存在する画像しか撮影できない場合）におい
ても、ＩＴＶカメラ等の撮像装置から得られる動画像を
用いて、高速に良好な背景画像を生成することが可能と
なる。As described above, according to the background image generation system of the fourth embodiment, it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area (when a moving object always exists). (Where only images to be captured can be captured), it is possible to generate a good background image at high speed using a moving image obtained from an imaging device such as an ITV camera.
【０１０７】更に、得られた背景画像がユーザの所望す
るものと異なる場合は背景画像の再生成を、既にユーザ
が所望する領域の背景画像は生成されており、それ以外
の領域に背景画像未確定の領域が存在する場合は背景画
像生成処理の終了を指示することができ、ユーザが装置
の簡単な制御を行えるようなインタフェースを供給する
ことが可能となる。Further, when the obtained background image is different from the one desired by the user, the background image is regenerated, the background image of the area desired by the user has already been generated, and the background image has not been set in other areas. If the determined area exists, it is possible to instruct the end of the background image generation processing, and it is possible to provide an interface that allows the user to perform simple control of the apparatus.
【０１０８】また、本発明は上記実施例に限定されるも
のではなく、本発明の趣旨に基づき種々の変形が可能で
あり、それらを本発明の範囲から排除するものではな
い。Further, the present invention is not limited to the above-described embodiment, and various modifications can be made based on the gist of the present invention, and they are not excluded from the scope of the present invention.
【０１０９】[0109]
【発明の効果】以上、詳細に説明したように、本発明に
よれば、以下のような効果を奏することができる。As described above, according to the present invention, the following effects can be obtained.
【０１１０】（Ａ）ＴＶカメラを用いて交通流監視や侵
入監視等の基準画像として背景画像を用いるシステムに
おいて、たとえ画面内に移動物体が存在する場合におい
ても移動物体を除いた背景画像を生成し好適な背景画像
を得ることができる。(A) In a system using a background image as a reference image such as a traffic flow monitor or an intrusion monitor using a TV camera, a background image excluding a moving object is generated even if a moving object exists in the screen. Thus, a suitable background image can be obtained.
【０１１１】（Ｂ）都市部のような交通量の多い道路で
移動物体の存在しない画像の取得が困難である場合（常
に移動物体が存在する画像しか撮影できない場合）にお
いても、ＩＴＶカメラ等の撮像装置から得られる動画像
を用いて、良好な背景画像を生成することが可能とな
る。(B) Even when it is difficult to obtain an image without a moving object on a road with a lot of traffic such as an urban area (when only an image with a moving object can be photographed at all times), an ITV camera or the like may be used. Using the moving image obtained from the imaging device, it is possible to generate a good background image.
【０１１２】（Ｃ）都市部のような交通量の多い道路
で、移動物体の存在しない画像の取得が困難である場合
（常に移動物体が存在する画像しか撮影できない場合）
においても、ＩＴＶカメラ等の撮像装置から得られる動
画像を用いて、高速に良好な背景画像を生成することが
可能となる。また、撮像画像にノイズが多く画素値が不
安定な場合でも高速に良好な背景画像を生成することが
可能である。(C) When it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area (when only an image with a moving object can always be captured)
Also, it is possible to generate a good background image at high speed using a moving image obtained from an imaging device such as an ITV camera. Further, even when the picked-up image has much noise and the pixel value is unstable, a good background image can be generated at high speed.
【０１１３】（Ｄ）都市部のような交通量の多い道路で
移動物体の存在しない画像の取得が困難であり、常に移
動物体が存在する画像しか撮影できない場合において
も、ＩＴＶカメラ等の撮像装置から得られる動画像を用
いて、高速に良好な背景画像を生成することが可能とな
る。また、背景画像の生成途中に天候の変動などの理由
により背景が変動したとしても、既に登録されている画
素に関しては最新の入力画像を用いて更新を行うため、
たとえ背景の変動前に背景画像として登録された画素で
あっても、その変動を吸収することが可能である。(D) Even when it is difficult to obtain an image without a moving object on a road with a lot of traffic such as an urban area and can always photograph only an image with a moving object, an imaging device such as an ITV camera can be used. It is possible to generate a good background image at high speed using the moving image obtained from. Also, even if the background fluctuates during the generation of the background image due to weather fluctuation or the like, the already registered pixels are updated using the latest input image,
Even if a pixel is registered as a background image before the background change, the change can be absorbed.
【０１１４】（Ｅ）都市部のような交通量の多い道路で
移動物体の存在しない画像の取得が困難である場合（常
に移動物体が存在する画像しか撮影できない場合）にお
いても、ＩＴＶカメラ等の撮像装置から得られる動画像
を用いて、高速に良好な背景画像を生成することが可能
となる。また、得られた背景画像がユーザの所望するも
のと異なる場合は背景画像の再生成を、既にユーザが所
望する領域の背景画像は生成されており、それ以外の領
域に背景画像未確定の領域が存在する場合は背景画像生
成処理の終了を指示することができ、ユーザが装置の簡
単な制御を行えるようなインタフェースを供給すること
が可能となる。(E) Even when it is difficult to obtain an image without a moving object on a road with a large traffic volume such as an urban area (when only an image with a moving object can be photographed at all times), an ITV camera or the like may be used. A good background image can be generated at high speed using a moving image obtained from the imaging device. If the obtained background image is different from the one desired by the user, the background image is regenerated. The background image of the area desired by the user has already been generated, and the undetermined background image is set in other areas. Exists, it is possible to instruct the end of the background image generation processing, and it is possible to supply an interface that allows the user to easily control the apparatus.
【図１】本発明の第１実施例を示す背景画像生成システ
ムのブロック図である。FIG. 1 is a block diagram of a background image generation system showing a first embodiment of the present invention.
【図２】本発明の第１実施例を示す背景画像生成システ
ムのカウントバッファの動作説明図である。FIG. 2 is an explanatory diagram of an operation of a count buffer of the background image generation system according to the first embodiment of the present invention.
【図３】本発明の第２実施例を示す背景画像生成システ
ムのブロック図である。FIG. 3 is a block diagram of a background image generation system showing a second embodiment of the present invention.
【図４】本発明の第３実施例を示す背景画像生成システ
ムのブロック図である。FIG. 4 is a block diagram of a background image generation system showing a third embodiment of the present invention.
【図５】本発明の第４実施例を示す背景画像生成システ
ムのブロック図である。FIG. 5 is a block diagram of a background image generation system showing a fourth embodiment of the present invention.
【図６】本発明の第４実施例を示す背景画像生成システ
ムの画像表示装置で表示される画像の一例を示す図であ
る。FIG. 6 is a diagram illustrating an example of an image displayed on an image display device of a background image generation system according to a fourth embodiment of the present invention.
１０１，２０１，３０１，４０１ 撮像装置 １０２，２０２，３０２，４０２ フレームバッファ １０３，２０３，３０３，４０３ 変化検出手段 １０４，２０４，３０４，４０４ 変化領域マスク １０５，２０５，３０５，４０５ カウントバッファ
更新手段 １０６，２０６，３０６，４０６ カウントバッファ １０７，２０７，３０７，４０７ 背景マスク更新手
段 １０８，２０８，３０８，４０８ 新規登録マスク １０９，２０９，３０９，４０９，５０３ 背景確定
マスク １１０，２１０，３１０，４１０ 閾値記憶手段 １１１，２１２ 背景登録手段 １１２，２１３，３１２，４１２ 背景画像記録手段 １１３，２１４，３１３，４１３ 背景作成終了判定
手段 １１４，２１５，３１４，４１４ 画像表示装置 １１５，２１６，３１５，４１６ 背景画像生成装置 ２１１ 閾値変更手段 ３１１，４１１ 背景更新手段 ４１５ 入力手段 ５０１ 入力画像 ５０２ 背景画像 ５０４ 背景画像未確定領域101, 201, 301, 401 Imaging device 102, 202, 302, 402 Frame buffer 103, 203, 303, 403 Change detection means 104, 204, 304, 404 Change area mask 105, 205, 305, 405 Count buffer update means 106 , 206, 306, 406 Count buffer 107, 207, 307, 407 Background mask updating means 108, 208, 308, 408 New registration mask 109, 209, 309, 409, 503 Background determination mask 110, 210, 310, 410 Threshold value storage Means 111, 212 Background registration means 112, 213, 312, 412 Background image recording means 113, 214, 313, 413 Background creation end determination means 114, 215, 314, 414 Image display device 115, 216, 315, 41 6 Background Image Generation Device 211 Threshold Value Changing Unit 311, 411 Background Update Unit 415 Input Unit 501 Input Image 502 Background Image 504 Background Image Undetermined Area
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ４０５ Ｆターム(参考） 5B057 AA19 BA02 DA16 DA20 DC32 5C054 CC00 CE12 FC01 FC04 FC12 FC15 FF03 GA04 GB14 HA18 HA30 5C084 AA01 AA06 BB01 BB31 DD12 GG52 GG54 GG65 GG78 5C087 AA08 AA19 EE06 EE07 EE14 GG02 GG06 GG18 GG19 GG31 GG43 5L096 BA02 CA02 EA37 GA10 GA51 HA02 LA05 LA08 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/70 405 F-term (Reference) 5B057 AA19 BA02 DA16 DA20 DC32 5C054 CC00 CE12 FC01 FC04 FC12 FC15 FF03 GA04 GB14 HA18 HA30 5C084 AA01 AA06 BB01 BB31 DD12 GG52 GG54 GG65 GG78 5C087 AA08 AA19 EE06 EE07 EE14 GG02 GG06 GG18 GG19 GG31 GG43 5L096 BA02 CA02 EA37 GA10 GA51 HA02 LA05 LA08
Claims (4)
像装置と、（ｂ）前記撮像画像を処理し、背景画像を生
成する背景画像生成装置と、（ｃ）前記背景画像を表示
し、ユーザに呈示する画像表示装置とを備え、（ｄ）前
記背景画像生成装置は、 前記撮像装置で撮像された入力画像を記憶するフレーム
バッファと、 前記フレームバッファに記憶された画像に対して、当該
時刻の入力画像とその１時刻前の入力画像との差分の絶
対値を２値化し、変化が検出された画素の値を０、変化
が検出されなかった画素の値を１とした変化領域マスク
を作成する変化検出手段と、 前記変化検出手段において変化が検出されなかった画素
はカウントバッファの値を１カウントアップし、変化が
検出された画素はカウントバッファの値を０にリセット
するカウントバッファ更新手段と、 前記カウントバッファの各画素値の比較に用いる閾値を
記憶する閾値記憶手段と、 前記カウントバッファの各画素の値が前記閾値記憶手段
の閾値より大きく、かつ背景確定マスクにおいて確定さ
れていない画素は新規登録マスクの画素値を１にセット
し、背景確定マスクの画素値を０にセットする背景マス
ク更新手段と、 新規登録マスクで値１の画素は当該時刻の入力画像の画
素値を背景画像にコピーする背景登録手段と、 背景確定マスクにおいて、全ての画素が確定したか否か
を判定し、確定していなければ継続して処理を行い、確
定していれば背景画像を出力し処理を終了する背景作成
終了判定手段とを有することを特徴とする背景画像生成
システム。1. An imaging device that captures an image of a predetermined monitoring area, (b) a background image generation device that processes the captured image and generates a background image, and (c) displaying the background image. And an image display device for presenting to a user. (D) the background image generation device includes: a frame buffer that stores an input image captured by the imaging device; The absolute value of the difference between the input image at the time and the input image one time before the current time is binarized, and the value of the pixel whose change is detected is 0, and the value of the pixel whose change is not detected is 1 A change detecting means for creating an area mask; a pixel in which no change is detected by the change detecting means counts up the value of the count buffer by one; and a pixel in which a change is detected resets the value of the count buffer to zero. Count buffer updating means; threshold value storing means for storing a threshold value used for comparing each pixel value of the count buffer; and a value of each pixel of the count buffer being larger than the threshold value of the threshold value storing means, and determined in a background fixed mask. A background mask updating means for setting the pixel value of the newly registered mask to 1 for a pixel which has not been set and setting the pixel value of the background fixed mask to 0; In the background registration means for copying the value to the background image, and in the background determination mask, it is determined whether or not all the pixels have been determined. If the determination has not been performed, the process is continuously performed. A background image generation system comprising: a background creation end determination unit that outputs and ends processing.
おいて、 前記背景画像生成装置は、 背景確定マスクにおいて、確定されていない画素がノイ
ズか否かを判定し、ノイズであれば前記閾値記憶手段に
記憶されている閾値を小さくなる方向に変更する閾値変
更手段をさらに備えることを特徴とする背景画像生成シ
ステム。2. The background image generation system according to claim 1, wherein the background image generation device determines whether or not undetermined pixels in the background determination mask are noise. A background image generation system, further comprising a threshold changing unit that changes a threshold stored in the background image in a direction of decreasing the threshold.
像装置と、（ｂ）前記撮像画像を処理し、背景画像を生
成する背景画像生成装置と、（ｃ）前記背景画像を表示
し、ユーザに呈示する画像表示装置とを備え、（ｄ）前
記背景画像生成装置は、 前記撮像装置で撮像された入力画像を記憶するフレーム
バッファと、 前記フレームバッファに記憶された画像に対して、当該
時刻の入力画像とその１時刻前の入力画像との差分の絶
対値を２値化し、変化が検出された画素の値を０、変化
が検出されなかった画素の値を１とした変化領域マスク
を作成する変化検出手段と、 前記変化検出手段において変化が検出されなかった画素
はカウントバッファの値を１カウントアップし、変化が
検出された画素はカウントバッファの値を０にリセット
するカウントバッファ更新手段と、 前記カウントバッファの各画素値の比較に用いる閾値を
記憶する閾値記憶手段と、 前記カウントバッファの各画素の値が前記閾値記憶手段
の閾値より大きく、かつ背景確定マスクにおいて確定さ
れていない画素は新規登録マスクの画素値を１にセット
し、背景確定マスクの画素値を０にセットする背景マス
ク更新手段と、 既に背景画像に登録されている画素については当該時刻
の入力画像を用いて更新を行い、新規登録マスクで値１
の画素は当該時刻の入力画像の画素値を背景画像にコピ
ーする背景更新手段と、 背景確定マスクにおいて、全ての画素が確定したか否か
を判定し、確定していなければ継続して処理を行い、確
定していれば背景画像を出力し処理を終了する背景作成
終了判定手段とを有することを特徴とする背景画像生成
システム。3. An imaging device for capturing an image of a predetermined monitoring area; (b) a background image generation device for processing the captured image to generate a background image; and (c) displaying the background image. And an image display device for presenting to a user. (D) the background image generation device includes: a frame buffer that stores an input image captured by the imaging device; The absolute value of the difference between the input image at the time and the input image one time before the current time is binarized, and the value of the pixel whose change is detected is 0, and the value of the pixel whose change is not detected is 1 A change detecting means for creating an area mask; a pixel in which no change is detected by the change detecting means counts up the value of the count buffer by one; and a pixel in which a change is detected resets the value of the count buffer to zero. Count buffer updating means; threshold value storing means for storing a threshold value used for comparing each pixel value of the count buffer; and a value of each pixel of the count buffer being larger than the threshold value of the threshold value storing means, and determined in a background fixed mask. For a pixel that has not been set, the pixel value of the newly registered mask is set to 1, and the pixel value of the background fixed mask is set to 0. For a pixel that has already been registered in the background image, Update using the new registration mask and the value 1
The pixel of (1) determines whether or not all the pixels have been determined in the background updating unit that copies the pixel value of the input image at the time to the background image, and if the pixels have not been determined, continues the processing. A background image generation system comprising: a background creation end determination unit that outputs a background image if the determination is made and ends the processing.
おいて、 前記背景作成終了判定手段は、背景マスクにおいて、す
べての画素が確定したか否かを判定し、確定していなけ
れば継続して処理を行い、入力画像と背景画像と背景確
定マスクを合成した画像を逐次出力し、ユーザからコマ
ンド入力が行われたときはそのコマンドを解釈し、全背
景画像が確定していれば処理を終了することを特徴とす
る背景画像生成システム。4. The background image generation system according to claim 3, wherein the background creation end determination means determines whether or not all pixels are determined in the background mask, and if not determined, continues processing. To sequentially output images obtained by synthesizing the input image, the background image, and the background determination mask, interpret the command when a user inputs a command, and terminate the process if all the background images have been determined. A background image generation system, characterized in that:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11215064A JP2001043458A (en) | 1999-07-29 | 1999-07-29 | System for generating background picture |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11215064A JP2001043458A (en) | 1999-07-29 | 1999-07-29 | System for generating background picture |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001043458A true JP2001043458A (en) | 2001-02-16 |
Family
ID=16666166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11215064A Withdrawn JP2001043458A (en) | 1999-07-29 | 1999-07-29 | System for generating background picture |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001043458A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006203444A (en) * | 2005-01-19 | 2006-08-03 | Inc Corp | Background image formation device and program |
| US8098897B2 (en) | 2006-11-07 | 2012-01-17 | Olympus Corporation | Multi dimensional imaging system |
| JP2012060299A (en) * | 2010-09-07 | 2012-03-22 | Canon Inc | Image pickup device, control method thereof, program, and recording medium |
| US8179471B2 (en) | 2009-01-30 | 2012-05-15 | Olympus Corporation | Focusing device and image pickup apparatus |
| JP2014074623A (en) * | 2012-10-03 | 2014-04-24 | Denso Corp | Vehicle navigation system |
| JP2014081676A (en) * | 2012-10-12 | 2014-05-08 | Nippon Telegr & Teleph Corp <Ntt> | Foreground detection device, foreground detection method, and computer program |
| JP2016503913A (en) * | 2012-12-17 | 2016-02-08 | ボリーメディアコミュニケーションズ（シンチェン）カンパニーリミテッドＢｏｌｙ Ｍｅｄｉａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （Ｓｈｅｎｚｈｅｎ）Ｃｏ．， Ｌｔｄ | Security monitoring system and corresponding alarm triggering method |
| US9500495B2 (en) | 2012-10-03 | 2016-11-22 | Denso Corporation | Vehicular navigation system |
| CN110956146A (en) * | 2019-12-04 | 2020-04-03 | 新奇点企业管理集团有限公司 | Road background modeling method and device, electronic equipment and storage medium |
| JP2020197989A (en) * | 2019-06-04 | 2020-12-10 | キヤノン株式会社 | Image processing system, image processing device, image processing method, and program |
| US11361448B2 (en) | 2018-09-19 | 2022-06-14 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling image processing apparatus, and storage medium |
-
1999
- 1999-07-29 JP JP11215064A patent/JP2001043458A/en not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4596929B2 (en) * | 2005-01-19 | 2010-12-15 | 株式会社インク | Background image generation apparatus and background image generation program |
| JP2006203444A (en) * | 2005-01-19 | 2006-08-03 | Inc Corp | Background image formation device and program |
| US8098897B2 (en) | 2006-11-07 | 2012-01-17 | Olympus Corporation | Multi dimensional imaging system |
| US8179471B2 (en) | 2009-01-30 | 2012-05-15 | Olympus Corporation | Focusing device and image pickup apparatus |
| JP2012060299A (en) * | 2010-09-07 | 2012-03-22 | Canon Inc | Image pickup device, control method thereof, program, and recording medium |
| US9500495B2 (en) | 2012-10-03 | 2016-11-22 | Denso Corporation | Vehicular navigation system |
| JP2014074623A (en) * | 2012-10-03 | 2014-04-24 | Denso Corp | Vehicle navigation system |
| JP2014081676A (en) * | 2012-10-12 | 2014-05-08 | Nippon Telegr & Teleph Corp <Ntt> | Foreground detection device, foreground detection method, and computer program |
| JP2016503913A (en) * | 2012-12-17 | 2016-02-08 | ボリーメディアコミュニケーションズ（シンチェン）カンパニーリミテッドＢｏｌｙ Ｍｅｄｉａ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ （Ｓｈｅｎｚｈｅｎ）Ｃｏ．， Ｌｔｄ | Security monitoring system and corresponding alarm triggering method |
| US11361448B2 (en) | 2018-09-19 | 2022-06-14 | Canon Kabushiki Kaisha | Image processing apparatus, method of controlling image processing apparatus, and storage medium |
| JP2020197989A (en) * | 2019-06-04 | 2020-12-10 | キヤノン株式会社 | Image processing system, image processing device, image processing method, and program |
| JP7391542B2 (en) | 2019-06-04 | 2023-12-05 | キヤノン株式会社 | Image processing system, image processing method, and program |
| US11838674B2 (en) | 2019-06-04 | 2023-12-05 | Canon Kabushiki Kaisha | Image processing system, image processing method and storage medium |
| CN110956146A (en) * | 2019-12-04 | 2020-04-03 | 新奇点企业管理集团有限公司 | Road background modeling method and device, electronic equipment and storage medium |
| CN110956146B (en) * | 2019-12-04 | 2024-04-12 | 新奇点企业管理集团有限公司 | Road background modeling method and device, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3279479B2 (en) | Video monitoring method and device | |
| US20080144964A1 (en) | System, method, device, and computer program product for providing image correction | |
| US6377711B1 (en) | Methods and systems for detecting the edges of objects in raster images using diagonal edge detection | |
| CN107820013A (en) | A kind of photographic method and terminal | |
| JP2001043458A (en) | System for generating background picture | |
| JP3038051B2 (en) | Video region extraction device | |
| JPH0973541A (en) | Object detection device/method | |
| JP2001043383A (en) | Image monitoring system | |
| CN116580182B (en) | Method, system, equipment and storage medium for automatically-adjusted target detection | |
| CN114565952A (en) | Pedestrian trajectory generation method, device, equipment and storage medium | |
| JP4421121B2 (en) | Intruder detection method | |
| JPH06333193A (en) | Method for detecting mobile body | |
| JP4676385B2 (en) | Image composition method, image composition apparatus, and image composition program | |
| JPH1131296A (en) | Parking lot managing method/device | |
| JP2621806B2 (en) | Background feature mask generation device and moving object feature extraction device | |
| JP2667885B2 (en) | Automatic tracking device for moving objects | |
| JPH10105689A (en) | Moving body movement detector | |
| JP3163601B2 (en) | Image processing apparatus and method | |
| JPH06187437A (en) | Method for measuring circular particle | |
| JP3138381B2 (en) | Monitoring device | |
| JP3075937B2 (en) | Motion vector detection circuit and subject tracking camera device using the same | |
| JPH11120349A (en) | System and method for extracting change between images | |
| JPH10320549A (en) | Image filter | |
| JPH09219853A (en) | Moving image processing method and its device | |
| JPH0556329A (en) | Image blur amount detector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20061003 |