KR101203050B1

KR101203050B1 - Background Modeling Device and Method Using Bernoulli Distribution

Info

Publication number: KR101203050B1
Application number: KR1020110011710A
Authority: KR
Inventors: 김장희; 강대성
Original assignee: 동아대학교 산학협력단
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2012-11-20
Anticipated expiration: 2031-02-10
Also published as: KR20120091742A

Abstract

본 발명은 베르누이혼합모델을 이용한 배경모델링장치 및 이를 사용하여 동영상에서 배경 영역을 자동으로 분류하는 방법으로서, 동영상을 입력받아 이미지로 캡쳐하는 이미지캡쳐단계, 상기 동영상이 이진값의 흑백 영상이 아닌 경우 캡쳐한 이미지를 흑백 이미지로 변환하는 이미지선처리단계, 상기 흑백 이미지의 모든 픽셀에 대한 베르누이혼합모델의 파라미터를 추정하는 파라미터추정단계, 상기 베르누이혼합모델과 추정한 파라미터를 이용하여 상기 모든 픽셀이 배경 영역에 속하는지 판단하는 배경추정단계, 배경 영역에 속하는 모든 픽셀의 위치정보를 수집하여 상기 캡쳐된 이미지의 배경모델을 생성하는 배경모델링단계, 상기 배경모델을 사용자가 인식가능한 데이터형식으로 생성하여 출력장치로 전달하는 출력단계를 포함하며, 실시간으로 배경영역을 빠르게 분석해야하는 보안, 교통, 안전사고감시와 같은 실시간 감시 분야의 영상 분석 등에 적용할 때 다량의 정보를 정확하고 빠르게 처리할 수 있는 효과를 제공한다.The present invention provides a background modeling apparatus using a Bernoulli mixed model and a method of automatically classifying a background area in a video using the same. An image capturing step of capturing a video as an image, when the video is not a black and white image of a binary value. An image line processing step of converting a captured image into a black and white image, a parameter estimating step of estimating a parameter of a Bernoulli mixed model for all pixels of the black and white image, and a background region of all the pixels using the Bernoulli mixed model and the estimated parameter A background estimation step of determining whether it belongs to a background modeling step of generating a background model of the captured image by collecting location information of all pixels belonging to a background area, and generating the background model in a data format recognizable by a user It includes an output step to deliver to When applied to a need to rapidly analyze security, transportation, image analysis, real-time monitoring of areas such as safety monitors the background area provides an effect that can accurately and quickly process large amounts of information.

Description

Background Modeling Device and Method Using Bernoulli Distribution

본 발명은 베르누이혼합모델을 이용한 영상의 배경모델링장치 및 방법으로, 구체적으로는 영상에서 배경 영역을 추정하여 모델링하되, 추정해야할 파라미터의 개수가 적은 베르누이혼합모델을 이용하여 처리속도를 높이므로써, 실시간 처리에 보다 적합한 베르누이혼합모델을 이용한 영상의 배경모델링장치 및 방법에 관한 것이다.
Background of the Invention The present invention is an apparatus and method for modeling an image using a Bernoulli mixed model, specifically, by estimating and modeling a background region in an image, thereby increasing the processing speed by using a Bernoulli mixed model having a small number of parameters to be estimated. Background of the Invention The present invention relates to an apparatus and method for background modeling of images using a Bernoulli mixed model that is more suitable for processing.

비디오 영상 처리에 필요한 하드웨어 환경의 발전과 더불어 사회적으로 보안과 감시의 필요성이 강조되고 있다. 이에 따라 영상을 분석하기 위한 객체 검출(Object detection) 및 객체 추적(Object tracking) 알고리즘들에 대한 연구가 다양하게 진행되고 있다.With the development of the hardware environment for video image processing, the need for security and surveillance in society is emphasized. Accordingly, various researches on object detection and object tracking algorithms for analyzing images have been conducted.

객체 검출은 움직이는 객체와 배경을 분리하는 기술로서 정확한 배경 모델링은 객체 추적의 성능을 좌우한다. 픽셀 기반의 배경 분리방법이 배경 모델링을 위해 주로 사용되고 있으며, 그 중에서 가우시언 혼합 모델이 가장 널리 사용되고 있다. 대표적인 가우시언 혼합 모델에 관한 연구로는 Friedman과 Russell이 제안한 영상에서 도로, 그림자, 자동차를 3개의 가우시언 분포로 모델링하는 방법[N. Friedman and S. Russell, "Image segmentation in video sequences: A probabilistic approach", in The Thirteenth Conference on Uncertainty in Artificial Intelligence, 1997.], Stauffer와 Grimson의 가우시언 혼합 모델을 이용하여 각각의 픽셀을 모델링하는 방법[C. Stauffer and W. Grimson, "Adaptive background mixture models for real-time tracking", in Proceedings CVPR, Vol. 2, pp. 246-252, 1999.], 그리고 KaewTraKulPong과 Bowden의 새로운 업데이트 방정식을 사용하여 적응적인 배경 혼합 모델을 구현한 방법[P. KaewTraKulPong and R. Bowden, "An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection", 2nd European Workshop an Advanced Video Based Surveillance System, AVBS01, 2001.] 등이 있다.Object detection is a technique for separating moving objects and backgrounds. Accurate background modeling determines the performance of object tracking. Pixel-based background separation is mainly used for background modeling, among which the Gaussian mixture model is the most widely used. Representative Gaussian mixture model includes three Gaussian distributions of roads, shadows, and cars in Friedman and Russell's proposed image [N. Friedman and S. Russell, "Image segmentation in video sequences: A probabilistic approach", in The Thirteenth Conference on Uncertainty in Artificial Intelligence, 1997.], and how to model each pixel using the Gaussian mixture model of Stauffer and Grimson. [C. Stauffer and W. Grimson, "Adaptive background mixture models for real-time tracking", in Proceedings CVPR, Vol. 2, pp. 246-252, 1999.] and how to implement an adaptive background mixing model using KaewTraKulPong and Bowden's new update equations [P. KaewTraKulPong and R. Bowden, "An Improved Adaptive Background Mixture Model for Real-time Tracking with Shadow Detection", 2nd European Workshop an Advanced Video Based Surveillance System, AVBS01, 2001.

하지만 이러한 적응적인 배경 혼합 모델들이 배경 모델링에 있어서 좋은 성능을 보임에도 불구하고 추적 또는 인식 알고리즘과 함께 사용될 때 계산량의 증가로 인한 실시간 분석에 어려움이 따른다.
However, even though these adaptive background mixture models show good performance in background modeling, they have difficulty in real-time analysis due to the increase of computation when used with tracking or recognition algorithms.

본 발명은 영상의 배경모델링에 있어서, 기존에 주로 사용하던 가우시안혼합모델 대신 파라미터의 개수가 적고 확률분포식이 간결한 베르누이혼합모델을 이용한 장치 및 방법을 사용함으로써, 영상에서 배경 영역을 추정하기 위한 연산과정에서 처리하여야 할 계산량을 줄여 실시간 분석에 적합한 베르누이혼합모델을 이용한 배경모델링장치 및 방법을 제공한다.
In the background modeling of an image, a computational process for estimating a background region in an image by using an apparatus and a method using a Bernoulli mixture model having a small number of parameters and a simple probability distribution equation instead of the Gaussian mixture model, which is mainly used in the background, is performed. We provide a background modeling device and method using the Bernoulli mixture model that is suitable for real-time analysis by reducing the amount of computation to be processed in.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링장치는, 베르누이혼합모델을 이용하여 동영상에서 배경 영역을 자동으로 분류하는 장치로서, 상기 동영상을 입력받아 이미지로 캡쳐하는 이미지캡쳐모듈(10); 및 상기 동영상이 이진값의 흑백 영상이 아닌 경우 상기 이미지캡쳐모듈(10)로 캡쳐한 이미지를 흑백 이미지로 변환하는 이미지선처리모듈(20); 및 상기 흑백 이미지의 모든 픽셀에대한 베르누이혼합모델의 파라미터를 추정하는 파라미터추정모듈(30); 및 상기 베르누이혼합모델과 추정한 파라미터를 이용하여 상기 모든 픽셀이 배경 영역에 속하는지 판단하는 배경추정모듈(40); 및 상기 배경추정모듈(40)로부터 배경 영역에 속하는 모든 픽셀의 위치정보를 수집하여 상기 캡쳐된 이미지의 배경모델을 생성하는 배경모델링모듈(50); 및 상기 생성된 배경모델을 사용자가 인식가능한 데이터형식으로 생성하여 출력장치로 전달하는 출력모듈(60);을 포함하는 것을 특징으로 하되, 상기 파라미터추정모듈(30)과 배경추정모듈(40)은 상기 흑백 이미지의 모든 픽셀에 대해서 상기 파라미터 추정 및 상기 각각의 픽셀이 배경 영역에 속하는지 판단을 반복하는 것을 특징으로 한다.
In order to solve the above problems, the background modeling apparatus using the Bernoulli mixed model of the present invention is an apparatus for automatically classifying a background area in a video using the Bernoulli mixed model, and captures an image by receiving the video as an image. Module 10; And an image line processing module 20 for converting the image captured by the image capturing module 10 into a black and white image when the video is not a black and white image having a binary value. And a parameter estimation module 30 for estimating the parameters of the Bernoulli mixture model for all the pixels of the monochrome image. And a background estimation module 40 for determining whether all the pixels belong to a background area by using the Bernoulli mixture model and the estimated parameters. And a background modeling module 50 for collecting location information of all pixels belonging to a background area from the background estimation module 40 to generate a background model of the captured image. And an output module 60 for generating the generated background model in a data format recognizable by a user and transmitting the generated background model to an output device. The parameter estimation module 30 and the background estimation module 40 The parameter estimation and determination of whether each pixel belongs to a background region is repeated for all pixels of the black and white image.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링장치에 있어서, 상기 이미지선처리모듈(20)은, 사용자에게 기준명암도를 입력받고, 상기 캡쳐한 이미지를 각 픽셀이 0~255의 명암도로 표현되는 그레이스케일 이미지로 변환한 후 상기 그레이스케일 이미지에서 각 픽셀의 명암도가 상기 기준명암도를 초과하는 픽셀은 흰색으로 상기 기준명암도 이하인 픽셀은 검정색으로 변환하는 것을 특징으로 한다.
In order to solve the above problems, in the background modeling apparatus using the Bernoulli mixed model of the present invention, the image line processing module 20 receives a reference contrast to the user, and the captured image is 0 to 255 for each pixel. After converting to a grayscale image represented by the contrast of the grayscale image, the pixel of which the intensity of each pixel in the grayscale exceeds the reference intensity is converted to white, the pixel less than the reference intensity is characterized in that the black.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링장치에 있어서, 상기 파라미터추정모듈(30)은, 상기 베르누이혼합모델에 적용되는 상기 베르누이혼합분포에 대해 EM알고리즘을 수행하여 상기 파라미터인

와

를 추정하되, 수렴조건인

를 만족할 때까지 상기 EM알고리즘을 반복하여 수행하며, 상기

,

는 이번 회의 EM알고리즘에서 추정된

와

의 값이며, 상기

,

는 전 회의 EM알고리즘에서 추정된

와

의 값이되, 상기 모든픽셀에 대해 EM알고리즘을 실시한 첫 회에는

,

은 사용자에게서 입력받은 값이며,

는 사용자가 입력한

의 수렴조건,

는 사용자가 입력한

의 수렴조건,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포의 가중치,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포에 속하는

이 1일 확률,

는 상기 임의의 픽셀이 속한 베르누이 분포의 인덱스이며,

는 상기 임의의 픽셀이 속한 흑백 이미지의 인덱스인 것을 특징으로 한다.
In order to solve the above problems, in the background modeling apparatus using the Bernoulli mixture model of the present invention, the parameter estimation module 30 performs an EM algorithm on the Bernoulli mixture distribution applied to the Bernoulli mixture model to perform the EM algorithm. Parameter

Wow

, But the convergence condition

The EM algorithm is repeatedly performed until it satisfies the above.

,

Estimated at the EM algorithm

Wow

Is the value of

,

Estimated from the previous EM algorithm

Wow

The first time we implemented the EM algorithm for all the pixels

,

Is the value entered by the user.

Is entered by the user

Of convergence conditions,

Is entered by the user

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which the random pixel belongs,

Is an index of a black and white image to which the arbitrary pixel belongs.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링장치에 있어서, 상기 배경추정모듈(40)은,사용자가 설정한 임계치를 입력받고, 상기 모든 픽셀에 대한 상기 베르누이혼합분포를 계산하여 나온 확률값이 상기 임계치를 초과하면 상기 해당 픽셀을 상기 배경 영역에 속하는 것으로 판단하고, 임계치 이하이면 상기 해당 픽셀을 객체 영역에 속하는 것으로 판단하는 것을 특징으로 한다.
In order to solve the above problems, in the background modeling apparatus using the Bernoulli mixture model of the present invention, the background estimation module 40 receives a threshold set by the user and provides the Bernoulli mixture distribution for all the pixels. If the calculated probability value exceeds the threshold, the corresponding pixel is determined to belong to the background area, and if the threshold value is less than or equal to, the corresponding pixel is determined to belong to an object area.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링방법은, 이미지캡쳐모듈(10)이 상기 동영상을 입력받아 이미지로 캡쳐하는 이미지캡쳐단계(S10); 및 상기 동영상이 이진값의 흑백 영상이 아닌 경우 이미지선처리모듈(20)이 상기 이미지캡쳐모듈(10)로 캡쳐한 이미지를 흑백 이미지로 변환하는 이미지선처리단계(S20); 및 파라미터추정모듈(30)이 상기 흑백 이미지의 모든 픽셀에 대한 베르누이혼합모델의 파라미터를 추정하는 파라미터추정단계(S30); 및 배경추정모듈(40)이 상기 베르누이혼합모델과 추정한 파라미터를 이용하여 상기 모든 픽셀이 배경 영역에 속하는지 판단하는 배경추정단계(S40); 및 상기 배경추정모듈(40)로부터 배경 영역에 속하는 모든 픽셀의 위치정보를 수집하여 상기 캡쳐된 이미지의 배경모델을 생성하는 배경모델링단계(S50); 및 출력모듈(60)이 상기 배경모델을 사용자가 인식가능한 데이터형식으로 생성하여 출력장치로 전달하는 출력단계(S60);을 포함하는 것을 특징으로 하되, 상기 (S30)단계와 (S40)단계가 상기 흑백 이미지의 모든 픽셀에 대해서 수행될 때까지 반복수행되고, 상기 (S10)단계 내지 (S60)단계는 상기 동영상에 대하여 일정 시간 간격으로 반복 수행되는 것을 특징으로 한다.
In order to solve the above problems, the background modeling method using the Bernoulli mixed model of the present invention, the image capture step of the image capture module 10 receives the video to capture the image (S10); And an image line processing step (S20) of converting the image captured by the image capture module 10 into a black and white image when the video is not a black and white image having a binary value. And a parameter estimating step (S30) in which the parameter estimation module 30 estimates the parameters of the Bernoulli mixture model for all the pixels of the monochrome image. And a background estimation step of determining, by the background estimation module 40, whether all the pixels belong to the background region by using the Bernoulli mixture model and the estimated parameters (S40). And a background modeling step (S50) of collecting position information of all pixels belonging to a background area from the background estimation module 40 and generating a background model of the captured image. And an output step (S60) of the output module 60 generating the background model in a data format recognizable by a user, and transmitting the generated background model to the output device. Repeating is performed until all the pixels of the black and white image is performed, and steps (S10) to (S60) are repeated for a predetermined time interval with respect to the video.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링방법에 있어서, 상기 이미지선처리단계(S20)는, 상기 이미지선처리모듈(20)이 사용자에게 기준명암도를 입력받고, 상기 캡쳐한 이미지를 각 픽셀이 0~255의 명암도로 표현되는 그레이스케일 이미지로 변환한 후 상기 그레이스케일 이미지에서 각 픽셀의 명암도가 상기 기준명암도를 초과하는 픽셀은 흰색으로 상기 기준명암도 이하인 픽셀은 검정색으로 변환하는 것을 특징으로 한다.
In order to solve the above problems, in the background modeling method using the Bernoulli mixed model of the present invention, the image line processing step (S20), the image line processing module 20 receives a reference contrast to the user, the captured The image is converted to a grayscale image in which each pixel is represented with a contrast level of 0 to 255, and then, in the grayscale image, a pixel in which the intensity of each pixel exceeds the reference intensity is converted into white and a pixel less than the reference contrast is converted into black. It is characterized by.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링방법에 있어서, 상기 파라미터추정단계(S30)는, 상기 파라미터추정모듈(30)이 상기 베르누이혼합모델에 적용되는 상기 베르누이혼합분포에 대해 EM알고리즘을 수행하여 상기 베르누이혼합분포의 파라미터인

와

를 추정하되, 수렴조건인

,

는 이번 회의 EM알고리즘에서 추정된

와

의 값이며, 상기

,

는 전 회의 EM알고리즘에서 추정된

와

의 값이되, 상기 모든 픽셀에 대해 EM알고리즘을 실시한 첫 회에는

,

은 사용자에게서 입력받은 값이며,

는 사용자가 입력한

의 수렴조건,

는 사용자가 입력한

의 수렴조건,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포의 가중치,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포에 속하는

이 1일 확률,

는 상기 임의의 픽셀이 속한 베르누이 분포의 인덱스,

는 상기 임의의 픽셀이 속한 흑백 이미지의 인덱스인 것을 특징으로 한다.
In order to solve the above problems, in the background modeling method using the Bernoulli mixture model of the present invention, the parameter estimation step (S30), the Bernoulli mixture distribution is applied to the Bernoulli mixture model is the parameter estimation module 30 EM algorithm is performed on the Bernoulli mixture distribution

Wow

, But the convergence condition

The EM algorithm is repeatedly performed until it satisfies the above.

,

Estimated at the EM algorithm

Wow

Is the value of

,

Estimated from the previous EM algorithm

Wow

The first time we implemented the EM algorithm for all the pixels

,

Is the value entered by the user.

Is entered by the user

Of convergence conditions,

Is entered by the user

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which the random pixel belongs,

Is an index of a black and white image to which the arbitrary pixel belongs.

상술한 문제점을 해결하기 위해, 본 발명의 베르누이혼합모델을 이용한 배경모델링방법에 있어서, 상기 배경추정단계(S40)는, 상기 배경추정모듈(40)이 상기 모든 픽셀에 대한 상기 베르누이혼합분포를 계산하여 나온 확률값이 사용자가 설정한 임계치를 초과하면 상기 해당 픽셀을 상기 배경 영역에 속하는 것으로 판단하고, 임계치 이하이면 상기 해당 픽셀을 객체 영역에 속하는 것으로 판단하는 것을 특징으로 한다.
In order to solve the above problems, in the background modeling method using the Bernoulli mixture model of the present invention, the background estimation step (S40), the background estimation module 40 calculates the Bernoulli mixture distribution for all the pixels When the probability value is greater than the threshold set by the user, the corresponding pixel is determined to belong to the background area, and when the threshold value is less than the threshold, the corresponding pixel is determined to belong to the object area.

본 발명은 기존에 주로 사용하던 가우시안혼합모델을 이용한 배경모델링방법과는 달리 파라미터의 개수가 적고 확률분포식이 간결한 베르누이혼합모델을 이용한 배경모델링장치 및 방법을 사용하여 영상에서 배경 영역을 추정하기 위한 연산과정에서 처리하여야 할 계산량을 줄임으로써, 다량의 정보를 정확하고 빠르게 처리하여 실시간으로 배경영역을 빠르게 분석해야하는 보안, 교통, 안전사고감시, 공공장소에서의 사람수의 카운팅, 로봇 비전을 적용한 건물 안내 서비스, 공간 인지 및 주행 환경 인지, 자율 주행 기술, 물체 찾기 서비스(물체 검출 및 인식) 등 실시간 감시 분야의 영상 분석이 필요한 분야에 다양하게 적용할 수 있는 효과를 제공한다.
Unlike the background modeling method using the Gaussian mixture model, which is mainly used in the present invention, the operation for estimating the background region in the image using the background modeling apparatus and method using the Bernoulli mixture model with a small number of parameters and a simple probability distribution equation By reducing the amount of computation to be processed in the process, it is necessary to process large amounts of information accurately and quickly, and to guide the building to apply security, traffic, safety accident monitoring, counting the number of people in public places, and robot vision to analyze the background area quickly in real time. It can be applied to various fields that need video analysis in real time surveillance such as service, space recognition and driving environment awareness, autonomous driving technology, and object search service (object detection and recognition).

도 1은 본 발명에 따른 베르누이혼합모델을 이용한 배경모델링장치를 도시한 도면.
도 2는 본 발명에 따른 베르누이혼합모델을 이용한 배경모델링방법을 도시한 도면.
도 3(a),(d)는 동영상 2의 입력 영상의 캡쳐 이미지.
도 3(b),(e)는 본 발명의 방법에 의한 동영상 2의 배경모델링 이미지.
도 3(c),(f)는 가우시언혼합모델에 의한 동영상 2의 배경모델링 이미지.1 is a view showing a background modeling apparatus using a Bernoulli mixed model according to the present invention.
2 is a diagram illustrating a background modeling method using a Bernoulli mixed model according to the present invention.
3 (a), (d) is a captured image of the input image of the video 2.
3 (b), (e) is a background modeling image of the moving picture 2 by the method of the present invention.
Figure 3 (c), (f) is a background modeling image of the video 2 by the Gaussian mixture model.

본 발명은 영상의 배경모델링에 있어서, 기존에 주로 사용하던 가우시안혼합모델 대신 파라미터의 개수가 적고 확률분포식이 간결한 베르누이혼합모델을 이용한 장치 및 방법을 사용함으로써, 영상에서 배경 영역을 추정하기 위한 연산과정에서 처리하여야 할 계산량을 줄여, 영상의 실시간 분석에 보다 적합한 베르누이혼합모델을 이용한 배경모델링장치 및 방법을 제공하며, 그 구성 및 실시 방법은 다음과 같다.
In the background modeling of an image, a computational process for estimating a background region in an image by using an apparatus and a method using a Bernoulli mixture model having a small number of parameters and a simple probability distribution equation instead of the Gaussian mixture model, which is mainly used in the background, is performed. It provides a background modeling apparatus and method using a Bernoulli mixed model that is more suitable for real-time analysis of images by reducing the amount of computation to be processed in. The configuration and implementation method are as follows.

베르누이혼합모델을 이용한 Using Bernoulli Mixed Model 배경모델링장치Background modeling device

본 발명의 베르누이혼합모델을 이용한 배경모델링장치(100)는 도 1에 도시된 바와 같이, 동영상을 촬영하는 장치나 동영상을 저장해놓은 장치로부터 상기 동영상을 입력받아 이미지로 캡쳐하는 이미지캡쳐모듈(10) 및 상기 동영상이 이진값의 흑백 영상이 아닌 경우 상기 이미지캡쳐모듈(10)로 캡쳐한 이미지를 흑백 이미지로 변환하는 이미지선처리모듈(20) 및 상기 흑백 이미지의 모든 픽셀에대한 베르누이혼합모델의 파라미터를 추정하는 파라미터추정모듈(30) 및 상기 베르누이혼합모델과 추정한 파라미터를 이용하여 상기 모든 픽셀이 배경 영역에 속하는지 판단하는 배경추정모듈(40) 및 상기 배경추정모듈(40)로부터 배경 영역에 속하는 모든 픽셀의 위치정보를 수집하여 상기 캡쳐된 이미지의 배경모델을 생성하는 배경모델링모듈(50) 및 상기 생성된 배경모델을 사용자가 인식가능한 데이터형식으로 생성하여 출력장치로 전달하는 출력모듈(60)을 포함한다. 상기 이미지선처리모듈(20), 파라미터추정모듈(30) 및 배경추정모듈(40)은 사용자가 설정하는 값을 입력받기 위해 입력장치와 연결되어 있다. 또한 상기 파라미터추정모듈(30)과 배경추정모듈(40)은 상기 흑백 이미지의 모든 픽셀에 대해서 상기 파라미터 추정 및 상기 모든 픽셀이 배경 영역에 속하는지 판단을 반복한다.
Background modeling apparatus 100 using the Bernoulli mixed model of the present invention, as shown in Figure 1, the image capturing module 10 for receiving the video from a device for shooting a video or a device that stores the video to capture the image And an image preprocessing module 20 for converting an image captured by the image capturing module 10 into a black and white image when the video is not a black and white image having a binary value, and a Bernoulli mixed model parameter for all pixels of the black and white image. The background estimation module 40 and the background estimation module 40 which belong to the background region from the parameter estimation module 30 and the Bernoulli mixture model and the estimated parameters, determine whether all the pixels belong to the background region. Background modeling module 50 and the generated to generate the background model of the captured image by collecting position information of all pixels The output module 60 generates a background model in a data format recognizable by a user and delivers the output to the output device. The image line processing module 20, the parameter estimation module 30, and the background estimation module 40 are connected to an input device to receive a value set by a user. In addition, the parameter estimation module 30 and the background estimation module 40 repeat the parameter estimation and determining whether all the pixels belong to the background region for all the pixels of the monochrome image.

상기 이미지선처리모듈(20)은 사용자에게 상기 입력장치를 통해 기준명암도를 입력받고, 상기 캡쳐한 이미지를 각 픽셀이 0~255의 명암도로 표현되는 그레이스케일 이미지로 변환한 후 상기 그레이스케일 이미지에서 각 픽셀의 명암도가 상기 기준명암도를 초과하는 픽셀은 흰색(픽셀값이 1)으로 상기 기준명암도 이하인 픽셀은 검정색(픽셀값이 0)으로 변환하는 것을 특징으로 한다.
The image line processing module 20 receives a reference contrast value through the input device to the user, converts the captured image into a grayscale image in which each pixel is represented with a contrast level of 0 to 255, and then, in the grayscale image, Pixels of which the intensity of the pixel exceeds the reference intensity are converted into white (pixel value of 1), and pixels having the reference intensity less than or equal to black (pixel value of 0) are converted.

상기 파라미터추정모듈(30)은 상기 베르누이혼합모델에 적용되는 상기 베르누이혼합분포에 대해 EM알고리즘을 수행하여 상기 파라미터인

와

를 추정하되, 수렴조건인

를 만족할 때까지 상기 EM알고리즘을 반복하여 수행한다. 상기

,

는 이번 회의 EM알고리즘에서 추정된

와

의 값이며, 상기

,

는 전 회의 EM알고리즘에서 추정된

와

,

은 사용자에게서 상기 입력장치를 통해 입력받은 값을 사용한다.

는 사용자가 상기 입력장치를 통해 입력한

의 수렴조건,

는 사용자가 상기 입력장치를 통해 입력한

의 수렴조건,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포의 가중치,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포에 속하는

이 1일 확률,

는 상기 임의의 픽셀이 속한 베르누이 분포의 인덱스이며,

은 상기 임의의 픽셀이 속한 흑백 이미지의 인덱스인 것을 특징으로 한다.
The parameter estimation module 30 performs an EM algorithm on the Bernoulli mixture distribution applied to the Bernoulli mixture model to determine the parameters.

Wow

, But the convergence condition

The EM algorithm is repeatedly performed until it satisfies. remind

,

Estimated at the EM algorithm

Wow

Is the value of

,

Estimated from the previous EM algorithm

Wow

The first time we implemented the EM algorithm for all the pixels

,

Uses a value input from the user through the input device.

Is input by the user through the input device.

Of convergence conditions,

Is input by the user through the input device.

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which the random pixel belongs,

Is an index of a black and white image to which the arbitrary pixel belongs.

상기 배경추정모듈(40)은 사용자가 상기 입력장치를 통해 설정한 임계치를 입력받고, 상기 모든 픽셀에 대한 상기 베르누이혼합분포를 계산하여 나온 확률값이 상기 임계치를 초과하면 상기 해당 픽셀을 상기 배경 영역에 속하는 것으로 판단하고, 임계치 이하이면 상기 해당 픽셀을 객체 영역에 속하는 것으로 판단하는 것을 특징으로 한다.
The background estimation module 40 receives a threshold set by the user through the input device, and if the probability value obtained by calculating the Bernoulli mixture distribution for all the pixels exceeds the threshold, the pixel is added to the background area. It is determined to belong, and if the threshold value or less, the corresponding pixel is determined to belong to the object region.

베르누이혼합모델을 이용한 Using Bernoulli Mixed Model 배경모델링방법Background modeling method

본 발명의 베르누이혼합모델을 이용한 배경모델링방법은 도 2에 도시된 바와 같이, 이미지캡쳐모듈(10)이 상기 동영상을 입력받아 이미지로 캡쳐하는 이미지캡쳐단계(S10) 및 상기 동영상이 이진값의 흑백 영상이 아닌 경우 이미지선처리모듈(20)이 상기 이미지캡쳐모듈(10)로 캡쳐한 이미지를 흑백 이미지로 변환하는 이미지선처리단계(S20) 및 파라미터추정모듈(30)이 상기 흑백 이미지에서의 각 픽셀에 대한 베르누이혼합모델의 파라미터를 추정하는 파라미터추정단계(S30) 및 배경추정모듈(40)이 상기 베르누이혼합모델과 추정한 파라미터를 이용하여 상기 흑백 이미지에서의 각 픽셀이 배경 영역에 속하는지 판단하는 배경추정단계(S40) 및 배경모델링모듈(50)이 상기 배경추정모듈(40)로부터 배경 영역에 속하는 모든 픽셀의 위치정보를 수집하여 상기 캡쳐된 이미지의 배경모델을 생성하는 배경모델링단계(S60); 및 출력모듈(60)이 상기 배경모델을 사용자가 인식가능한 데이터형식(이미지, 그래프, 표, 영상 등)으로 생성하여 출력장치로 전달하는 출력단계(S60)를 포함하는 것을 특징으로 하되 상기 (S30)단계 및 (S40)단계는 상기 흑백 이미지의 모든 픽셀에 대해서 수행되고, 상기 (S10)단계 내지 (S60)단계는 상기 동영상에 대하여 일정 시간 간격으로 반복 수행되는 것을 특징으로 한다.
In the background modeling method using the Bernoulli mixed model of the present invention, as shown in FIG. 2, the image capture module 10 receives the video and captures it as an image (S10) and the video is a black and white binary value. If the image is not an image, the image line processing module 20 converts the image captured by the image capture module 10 into a black and white image, and the image line processing step S20 and the parameter estimation module 30 are applied to each pixel in the black and white image. Background for estimating the parameters of the Bernoulli mixture model (S30) and the background estimation module 40 determines whether each pixel in the monochrome image belongs to the background region using the Bernoulli mixture model and the estimated parameters. The capturing step S40 and the background modeling module 50 collect position information of all pixels belonging to the background area from the background estimation module 40 and collect the cap. Background modeling to generate a background model of the image (S60); And an output step S60 of outputting the background model to the output device by generating the background model in a data format (image, graph, table, image, etc.) recognizable by the user (S30). Steps S40 and S40 are performed for all pixels of the black and white image, and steps S10 to S60 are repeatedly performed at a predetermined time interval with respect to the video.

상기 이미지선처리단계(S20)는, 상기 이미지선처리모듈(20)이 사용자에게 기준명암도를 입력받고, 상기 캡쳐한 이미지를 각 픽셀이 0~255의 명암도로 표현되는 그레이스케일 이미지로 변환한 후 상기 그레이스케일 이미지에서 각 픽셀의 명암도가 상기 기준명암도를 초과하는 픽셀은 흰색으로 상기 기준명암도 이하인 픽셀은 검정색으로 변환하는 것을 특징으로 한다.
In the image line processing step (S20), the image line processing module 20 receives a reference contrast value from a user, and converts the captured image into a grayscale image in which each pixel is represented with 0 to 255 intensity. In the scale image, a pixel in which the intensity of each pixel exceeds the reference intensity is converted into white, and a pixel having the intensity less than or equal to the reference intensity is converted into black.

상기 파라미터추정단계(S30)는 상기 파라미터추정모듈(30)이 상기 베르누이혼합모델에 적용되는 상기 베르누이혼합분포에 대해 EM알고리즘을 수행하여 상기 베르누이혼합분포의 파라미터인

와

를 추정하되, 수렴조건인

,

는 이번 회의 EM알고리즘에서 추정된

와

의 값이며, 상기

,

는 전 회의 EM알고리즘에서 추정된

와

,

는 사용자가 입력한

의 수렴조건,

는 사용자가 입력한

의 수렴조건,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포의 가중치,

는

의 인덱스값을 가진 흑백 이미지에서

의 인덱스 값을 가진 베르누이 분포에 속하는

이 1일 확률,

는 상기 임의의 픽셀이 속한 베르누이 분포의 인덱스,

는 상기 임의의 픽셀이 속한 흑백 이미지의 인덱스인 것을 특징으로 한다.
The parameter estimating step (S30) is a parameter of the Bernoulli mixture distribution by performing an EM algorithm on the Bernoulli mixture distribution applied by the parameter estimation module 30 to the Bernoulli mixture model.

Wow

, But the convergence condition

The EM algorithm is repeatedly performed until it satisfies. remind

,

Estimated at the EM algorithm

Wow

Is the value of

,

Estimated from the previous EM algorithm

Wow

The first time we implemented the EM algorithm for all the pixels

,

Uses a value input from the user through the input device.

Is entered by the user

Of convergence conditions,

Is entered by the user

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which the random pixel belongs,

Is an index of a black and white image to which the arbitrary pixel belongs.

상기 베르누이혼합분포는 수학식 1과 같이 나타낼 수 있다.The Bernoulli mixture distribution can be represented by Equation 1.

상기

는 일정 시간간격으로 캡쳐된 1~

개의 흑백 이미지에서 관측된 모든 픽셀의 픽셀값이

라 할 때, 시간에 따른 픽셀값의 분포를

개의 단일 베르누이 분포의 가중합으로 나타낸 것으로, 1~

중

의 인덱스값을 가진 흑백 이미지에서 상기 모든 픽셀에 대해 값이

으로 관측될 확률을 나타낸 것이다. 본 발명에서는 모든 흑백 이미지당 모든 위치의 픽셀에 대해

을 구하는 과정을 반복한다.

는 상기 베르누이혼합분포를 이루는 단일 베르누이 분포로 수학식 2와 같이 나타낼 수 있다.remind

Is 1 ~ captured at regular intervals

Pixel values of all the observed pixels in

Let's say the distribution of pixel values over time

Weighted sum of single Bernoulli distributions, from 1 to

medium

For black and white images with an index of, the value is

Shows the probability of being observed. In the present invention, for every pixel in every position

Repeat the process to find.

Is a single Bernoulli distribution constituting the Bernoulli mixed distribution can be represented by Equation 2.

추정해야할 매개변수인

와

에 대한

의 우도는 수학식 3과 같이 나타낼 수 있으며, 로그우도 형태는 수학식 4와 같이 나타낼 수 있다.(

는

와

를 나타낸다.)The parameters to be estimated

Wow

For

The likelihood of may be represented as Equation 3, and the log likelihood form may be represented as Equation 4.

The

Wow

Indicates.)

최대 우도를 가지는 매개 변수를 추정하기 위해 EM 알고리즘을 적용한다. 은닉변수

를 정의하여 상기 모든 픽셀의 픽셀값이 어느 베르누이 분포에 속하는지 확률 추정을 한다(수학식 3 내지 수학식 7에서

와

의 첨자

은 편의상 생략). 수학식 5는

이 어느 베르누이 분포에 속하는지를 확률로 추정한 것이다. M 단계로서, 수학식 4를 최대로 하는 매개 변수

와

를 추정하면, 수학식 6과 수학식 7이 된다.The EM algorithm is applied to estimate the parameter with the maximum likelihood. Hidden variable

To estimate the probability of which Bernoulli distribution of the pixel values of all the pixels belong to (Equation 3 to Equation 7)

Wow

Subscript

Is omitted for convenience). Equation 5 is

It is estimated by which probability the Bernoulli distribution belongs. As the M step, the parameter that maximizes Equation 4

Wow

Equations 6 and 7 are estimated.

수학식 7에서

는

의 인덱스를 가진 베르누이 분포에 소속된 픽셀의 개수를 나타낸다.
In equation (7)

The

Represents the number of pixels belonging to the Bernoulli distribution with an index of.

상기 파라미터추정단계(S30)에서 상기 파라미터추정모듈(30)을 통해 실시하는 EM알고리즘에서는 E단계와 M단계를 수렴조건이 만족할 때까지 반복한다. E단계에서는 수학식 5로 모든 픽셀의 픽셀값이 어느 베르누이 분포에 속하는지 확률값으로 계산하되, 해당 픽셀에 대해 EM알고리즘을 처음 실시하는 경우에는 In the parameter estimation step (S30), the EM algorithm implemented through the parameter estimation module 30 repeats steps E and M until convergence conditions are satisfied. In step E, Equation 5 calculates the probability value of which Bernoulli distribution of the pixel values of all pixels, but if the EM algorithm is first performed on the pixel,

상기

와

의 값은 사용자가 설정한 값을 입력한다. M단계에서는 E단계에서 구한

의 값으로 수학식 6과 수학식 7을 이용하여,

와

를 구한다. 구한

와

가 상기 수렴조건을 만족하지 않을 경우 EM알고리즘을 다시 실시하되, 이때, 상기 수학식 5에 입력되는

와

의 값은 전에 실시한 M단계에서 구한 값으로 대체된다.
remind

Wow

Enter the value set by the user. In stage M,

Using Equations 6 and 7 as the value of,

Wow

. Saved

Wow

Does not satisfy the convergence condition, the EM algorithm is executed again, in which case,

Wow

Is replaced by the value obtained in step M.

상기 배경추정단계(S40)는, 상기 배경추정모듈(40)이 상기 모든 픽셀에 대한 상기 베르누이혼합분포를 계산하여 나온 확률값, 즉 수학식 1의 값이 사용자가 설정한 임계치를 초과하면 상기 해당 픽셀을 상기 배경 영역에 속하는 것으로 판단하고, 임계치 이하이면 상기 해당 픽셀을 객체 영역에 속하는 것으로 판단하는 것을 특징으로 한다.
The background estimation step (S40), when the background estimation module 40 calculates the Bernoulli mixture distribution for all the pixels, that is, the value of Equation 1 exceeds the threshold set by the user, the corresponding pixel. Is determined to belong to the background area, and if it is less than or equal to a threshold, the corresponding pixel is determined to belong to an object area.

본 발명의 상기 베르누이혼합모델을 이용한 배경모델링방법은 컴퓨터로 읽을 수 있는 기록매체에 기록되어 실시될 수 있는 것을 특징으로 한다.
The background modeling method using the Bernoulli mixed model of the present invention is characterized in that it can be recorded and executed on a computer-readable recording medium.

상기 방법으로 동영상 샘플을 이용하여 본 발명의 효과를 가우시안 혼합모델과 비교하는 테스트를 수행하였다. 표 1은 본발명의 실시예에 사용된 동영상의 세부 사항을 나타낸다. In this manner, a test was performed to compare the effects of the present invention with a Gaussian mixture model using a moving picture sample. Table 1 shows the details of the video used in the embodiment of the present invention.

동영상 1Video 1 동영상 2Video 2 동영상의 길이(sec)Length of video (sec) 30초 30 seconds 117초117 seconds 총 프레임 수(개)Total number of frames 300 300 11791179 프레임 속도(frame/sec)Frame rate (frame / sec) 23 23 1010 프레임 크기(pixel×pixel)Frame size (pixel × pixel) 320×240 320 × 240 352×288352 × 288

도 3(a), 도 3(d)는 동영상 2의 입력 영상의 캡쳐 이미지이고, 도 3(b), 도 3(e)는 본 발명의 방법에 의해 동영상 2의 배경을 모델링한 결과를 이미지로 나타낸 것이다. 도 3(c), 도 3(f)는 본 발명과 성능을 비교하기 위해 가우시언 혼합 모델로 동영상 2의 배경을 모델링한 결과를 이미지로 나타낸 것이다.3 (a) and 3 (d) are captured images of the input image of the video 2, and FIGS. 3 (b) and 3 (e) show the results of modeling the background of the video 2 by the method of the present invention. It is represented as. 3 (c) and 3 (f) show the results of modeling the background of the video 2 with a Gaussian mixture model to compare the present invention with performance.

본 발명에서 이진영상으로 변환 시 기준명암도는 175로 설정하였으며,

와

는 각각 0.01로 설정하였으며, 배경 영역임을 판단하는 임계치는 0.7로 설정하였다. In the present invention, the reference contrast when converting to binary image is set to 175,

Wow

Were set to 0.01, respectively, and the threshold for determining the background area was set to 0.7.

도 3(b),(c),(e),(f)에서 알 수 있듯이 두 알고리즘이 배경 모델링에 있어서 유사한 성능을 보이나, 도 3(c)와 도 3(f)에서 차와 지나가는 행인의 그림자까지 움직이는 객체로 각각 추출하였고, 도 3(c)에서는 잡음이 상당수 존재하여, 본 발명에 의한 배경모델이 가우시안 혼합모델을 사용하였을 때보다 정확함을 확인할 수 있다.As shown in Figures 3 (b), (c), (e), and (f), the two algorithms perform similarly in background modeling, but in Figures 3 (c) and 3 (f), Each object was extracted as a moving object to a shadow, and in FIG. 3 (c), noise was present in a considerable amount, and thus the background model according to the present invention was more accurate than when the Gaussian mixture model was used.

표 2는 동영상 1, 2에 대한 평균 프레임 처리 시간을 나타낸다.Table 2 shows the average frame processing time for the video 1, 2.

가우시안 혼합모델Gaussian Mixed Model 본 발명Invention 동영상 1Video 1 0.061(sec/frame)0.061 (sec / frame) 0.049(sec/frame)0.049 (sec / frame) 동영상 2 Video 2 0.062(sec/frame)0.062 (sec / frame) 0.051(sec/frame)0.051 (sec / frame)

본 발명은 프레임 처리 시 가우시언 혼합모델에 비해 동영상 1에서는 0.012초, 동영상 2에서는 0.011초를 절감할 수 있었다. 이는 가우시언 혼합모델을 적용한 경우보다 약 19%(동영상 1에서는 약 19.6%, 동영상 2에서는 18.0%)의 처리시간을 줄인 것으로 본 실시예를 통해 본 발명이 가우시언 혼합 모델에 비해 더 빠른 속도로 더 정확한 배경모델을 생성함으로써 실시간 분석에 더 적합하다는 것을 확인하였다.
The present invention was able to save 0.012 seconds in the video 1, 0.011 seconds in the video 2 compared to the Gaussian mixed model when processing the frame. This reduced the processing time of about 19% (approximately 19.6% in video 1, 18.0% in video 2) than when the Gaussian mixed model is applied. By generating a more accurate background model, we found that it is more suitable for real-time analysis.

이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
Preferred embodiments of the present invention described above are disclosed to solve the technical problem, and those skilled in the art to which the present invention pertains will be capable of various modifications, changes, additions, etc. within the spirit and scope of the present invention. Such changes, modifications and the like should be considered to be within the scope of the following claims.

100 : 배경모델링장치 10 : 이미지캡쳐모듈
20 : 이미지선처리모듈 30 : 파라미터추정모듈
40 : 배경추정모듈 50 : 배경모델링모듈
60 : 출력모듈 S10 : 이미지캡쳐단계
S20 : 이미지선처리단계 S30 : 파라미터추정단계
S40 : 배경추정단계 S50 : 배경모델링단계
S60 : 출력단계100: background modeling device 10: image capture module
20: image line processing module 30: parameter estimation module
40: background estimation module 50: background modeling module
60: output module S10: image capture step
S20: image line processing step S30: parameter estimation step
S40: Background estimation step S50: Background modeling step
S60: output stage

Claims

A device that automatically classifies the background area in a video using the Bernoulli mixed model.
An image capture module 10 for receiving the video and capturing it as an image; And
An image line processing module 20 for converting an image captured by the image capturing module 10 into a black and white image when the video is not a black and white image having a binary value; And
A parameter estimation module 30 for estimating a parameter of the Bernoulli mixed model for all pixels of the black and white image; And
A background estimation module 40 for determining whether all the pixels belong to a background area by using the Bernoulli mixture model and the estimated parameters; And
A background modeling module 50 for collecting location information of all pixels belonging to a background area from the background estimation module 40 and generating a background model of the captured image; And
And an output module 60 for generating the generated background model in a data format recognizable by a user and transferring the generated background model to an output device.
The parameter estimation module 30 and the background estimation module 40 repeat the parameter estimation and determining whether all the pixels belong to the background region for all the pixels of the monochrome image. Modeling device.

The method of claim 1,
The image line processing module 20,
The user inputs a reference contrast value, converts the captured image into a grayscale image in which each pixel is represented with a contrast level of 0 to 255, and then, in the grayscale image, a pixel whose intensity of each pixel exceeds the reference intensity is white. The background modeling apparatus using the Bernoulli mixed model, characterized in that for converting the pixel less than the reference contrast to black.

The method of claim 1,
The parameter estimation module 30,
The parameter is performed by performing an EM algorithm on the Bernoulli mixture distribution applied to the Bernoulli mixture model as shown in Equation 1 below.

Wow

To estimate,
Convergence

The EM algorithm is repeatedly performed until it satisfies
remind

,

Estimated at the EM algorithm

Wow

Is the value of,
remind

,

Estimated from the previous EM algorithm

Wow

Is the value of,
The first time an EM algorithm is performed on all the pixels

,

Is the value entered by the user.

Is entered by the user

Of convergence conditions,

Is entered by the user

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which any pixel of all the pixels belong,

The background modeling apparatus using the Bernoulli mixed model, characterized in that the index of the black and white image to which any pixel of the pixels belong.

[Equation 1]

remind

Is 1 ~ captured at regular intervals

Pixel values of all the observed pixels in

Let's say the distribution of pixel values over time

Weighted sum of single Bernoulli distributions, from 1 to

medium

For black and white images with an index of, the value is

Indicative of the probability of being observed.

The method of claim 1,
The background estimation module 40,
When the user inputs a threshold value set by the user and calculates a Bernoulli mixture distribution for all the pixels as shown in Equation 1 below, if the probability value exceeds the threshold, the pixel whose probability exceeds the threshold value is added to the background area. And determining that it belongs, and determining that the pixel belonging to the object region has a probability value equal to or less than the threshold if the threshold value is less than or equal to the threshold.

[Equation 1]

remind

Is 1 ~ captured at regular intervals

Pixel values of all the observed pixels in

Let's say the distribution of pixel values over time

Weighted sum of single Bernoulli distributions, from 1 to

medium

For black and white images with an index of, the value is

Indicative of the probability of being observed.

As a method of automatically classifying a background area in a video using a background modeling apparatus 100 using a Bernoulli mixed model,
An image capturing step (S10) in which the image capturing module 10 receives the video and captures it as an image; And
An image line processing step (S20) of converting an image captured by the image capturing module 10 into a black and white image when the video is not a black and white image having a binary value; And
A parameter estimation step (S30) of the parameter estimation module 30 estimating a parameter of the Bernoulli mixed model for all the pixels of the monochrome image; And
A background estimating step (S40) by the background estimating module (40) determining whether all the pixels belong to the background area by using the Bernoulli mixture model and the estimated parameters; And
A background modeling step (S50) of collecting position information of all pixels belonging to a background area from the background estimation module 40 to generate a background model of the captured image; And
And outputting the output module 60 to generate the background model in a data format recognizable by a user and transferring the output to the output device (S60).
The steps S30 and S40 are repeated until all the pixels of the monochrome image are performed.
Steps (S10) to (S60) is a background modeling method using a Bernoulli mixture model, characterized in that is repeatedly performed for a predetermined time interval for the video.

6. The method of claim 5,
The image line processing step (S20),
The image line processing module 20 receives a reference contrast value from a user, converts the captured image into a grayscale image in which each pixel is represented with a contrast level of 0 to 255, and then contrast intensity of each pixel in the grayscale image. A background modeling method using a Bernoulli mixed model, wherein a pixel exceeding a reference contrast level is converted to white and a pixel below the reference contrast level is converted to black.

6. The method of claim 5,
The parameter estimation step (S30),
The parameter estimation module 30 performs an EM algorithm on the Bernoulli mixture distribution, which is applied to the Bernoulli mixture model, to be a parameter of the Bernoulli mixture distribution.

Wow

To estimate,
Convergence

The EM algorithm is repeatedly performed until it satisfies
remind

,

Estimated at the EM algorithm

Wow

Is the value of,
remind

,

Estimated from the previous EM algorithm

Wow

Is the value of,
The first time an EM algorithm is performed on all the pixels

,

Is the value entered by the user.

Is entered by the user

Of convergence conditions,

Is entered by the user

Of convergence conditions,

The

In black and white images with index values of

Weight of the Bernoulli distribution with an index value of,

The

In black and white images with index values of

Belonging to the Bernoulli distribution with an index value of

Probability of 1

Is the index of the Bernoulli distribution to which any pixel of all the pixels belongs,

The background modeling method using the Bernoulli mixed model, characterized in that the index of the black and white image to which any pixel of the pixels belong.

[Equation 1]

remind

Is 1 ~ captured at regular intervals

Pixel values of all the observed pixels in

Let's say the distribution of pixel values over time

Weighted sum of single Bernoulli distributions, from 1 to

medium

For black and white images with an index of, the value is

Indicative of the probability of being observed.

6. The method of claim 5,
The background estimation step (S40),
The background estimation module 40 calculates a Bernoulli mixture distribution for all the pixels as shown in [Equation 1] below when the probability value exceeds the threshold set by the user. And determining that the image belongs to an area, and if the value is less than or equal to a threshold, determining that the pixel having a probability value equal to or less than the threshold is included in an object area.

[Equation 1]

remind

Is 1 ~ captured at regular intervals

Pixel values of all the observed pixels in

Let's say the distribution of pixel values over time

Weighted sum of single Bernoulli distributions, from 1 to

medium

For black and white images with an index of, the value is

Indicative of the probability of being observed.

A non-transitory computer-readable recording medium having recorded thereon a program for executing the method of claim 5.