KR102064746B1

KR102064746B1 - Fire detection system based on machine learning

Info

Publication number: KR102064746B1
Application number: KR1020180040918A
Authority: KR
Inventors: 이은표; 황남주
Original assignee: 미소에이스 주식회사
Priority date: 2018-04-09
Filing date: 2018-04-09
Publication date: 2020-01-10
Also published as: KR20190117947A

Abstract

본 발명은 넓은 공간에서 고가의 고해상도 카메라를 다수 사용하지 않아도 열화상 카메라를 통해 촬영된 연속 이미지를 머신 러닝을 기반으로 분석하여 식별 정확도를 높이고, 동시에 특별한 환경에 대한 영상 특징을 학습하여 잠재적인 화재 발생 대상을 누락시키지 않게 추적함으로서 신뢰성과 정확성을 보장하는 머신 러닝을 기반으로 한 화재 감시 시스템 및 방법에 관한 것이다. The present invention improves the identification accuracy by analyzing continuous images taken through a thermal imaging camera based on machine learning without using many expensive high resolution cameras in a large space, and at the same time learns image characteristics for a special environment, and is a potential fire. The present invention relates to a fire monitoring system and method based on machine learning that ensures reliability and accuracy by tracking the occurrence of missing objects.

Description

Fire monitoring system based on machine learning {FIRE DETECTION SYSTEM BASED ON MACHINE LEARNING}

본 발명은 머신 러닝을 기반으로 하는 영상 분석 기능을 갖춘 화재 감시 시스템 및 방법에 관한 것으로, 특히 열화상 카메라로 촬영된 영상을 머신 러닝 기술을 통해 분석하여 식별 정확도를 높이고, 동시에 특별한 환경에 대한 영상 특징을 학습하여 잠재적인 화재 발생 대상을 누락시키지 않도록 추적함으로서 신뢰성과 정확성을 보장하는 머신 러닝 기술을 기반으로 한 화재 감시 시스템 및 방법에 관한 것이다. The present invention relates to a fire monitoring system and method having an image analysis function based on machine learning, and in particular, to improve identification accuracy by analyzing images taken by a thermal imaging camera through a machine learning technique, and at the same time, to images for a special environment. The present invention relates to a fire monitoring system and method based on machine learning technology that ensures reliability and accuracy by learning features and tracking them so as not to miss potential fire objects.

열화상 카메라를 이용한 화재 감시 시스템은 사물에서 방사하는 적외선을 특수 센서로 감지해 온도 값을 이미지화하여 화재를 판단하는 기술로 사물 또는 설비의 열 적 상태에 대한 정보를 얻을 수 있는 장치이다. 이를 이용하여 육안으로 보이지 않는 문제점을 빠르게 파악할 수 있기 때문에 연속 가동이 중요한 발전소, 제철소, 전력 회사를 비롯하여 공항, 정유 공장, 공공 시설 등의 설비 상의 화재 위험 상황을 미리 파악하여 사고를 미연에 방지하고 유지 비용을 절감할 수 있다. 그러나 일부에서 사용하는 저 해상도 카메라로는 공간 및 비용의 문제로 화재 판단에 대한 정확도가 떨어지므로 여러 가지 보완 방법이 지속적으로 발전되고 있다. A fire monitoring system using a thermal imaging camera is a technology that detects infrared rays emitted from an object by using a special sensor to image the temperature value and judges the fire to obtain information about the thermal state of an object or a facility. By using this, you can quickly identify problems that are not visible to the naked eye, so that you can grasp the fire hazards in facilities such as power plants, steel mills, and power companies, as well as airports, oil refineries, and public facilities, to prevent accidents in advance. The maintenance cost can be reduced. However, the low resolution cameras used by some are less accurate for fire judgment due to space and cost, and various complementary methods are continuously developed.

이를 보완하기 위한 기존 기술로는 감시할 공간의 대상물인 전열기, 가전기기 등에 전류감지센서를 설치하여 과도한 전류 흐름이 감지되면 열화상 카메라로 촬영하여 온도 변화를 분석하는 기술이 있다. 그러나 이 기술에서는 모든 감시 대상물에 센서를 부착해야 하는 문제가 있고 일부 센서가 오동작하면 위험 감지를 못할 수 있는 문제점이 있다. The existing technology to compensate for this is to install a current sensing sensor in the heater, home appliance, etc., the object of the space to be monitored, and analyze the temperature change by shooting with a thermal imaging camera when excessive current flow is detected. However, this technology has a problem in that a sensor must be attached to all monitored objects, and a problem may occur that some sensors fail to detect a danger.

또 다른 기존 기술은 주로 전기전력설비에 집중되어 촬영된 열화상 이미지를 비교 분석하여 전기설비에 대한 이상을 판단한다. 그러나 감시하는 공간이 전기전력설비가 있는 공간으로만 한정되므로 전반적인 감시가 이루어지지 어려운 문제점이 있다. Another existing technology mainly compares thermal images taken by focusing on electric power facilities to determine abnormalities of electric facilities. However, since the monitoring space is limited only to the space where the electric power facilities are located, there is a problem that overall monitoring cannot be made.

또 다른 기술에서는 고해상도 카메라를 이용하여 영상 식별 정도를 높이는 노력이 있으나, 통상 넓은 범위에서 다수의 카메라를 사용하는 경우가 많아 설치 장비 비용 부담이 증가하고, 해상도가 높더라도 시간 연속적인 영상 해석이 불가능하여 화재 판단에 대한 정확한 동작이 어려운 문제점이 있다. In other technologies, high resolution cameras have been used to improve the degree of image identification. However, many cameras are usually used in a wide range. Therefore, the burden of installation equipment is increased, and even if the resolution is high, continuous image analysis is impossible. There is a problem that the exact operation of the fire judgment is difficult.

이외에도 대한민국 특허 등록 10-1796054호는 지번과 블록을 포함하는 위치 정보에 대응하여 관리되는 아이피 주소를 활용한 화재감지를 수행하는 스마트 화재 감지 시스템을 기술하고 있다.In addition, Korean Patent Registration No. 10-1796054 describes a smart fire detection system that performs fire detection using an IP address managed in response to location information including a branch number and a block. 또한, 대한민국 공개특허 10-2018-21521호는 화재의 징후가 나타나는 영역을 감시대상영역으로 선정한 후에 해당 영역의 명도, 온도 등의 움직임을 관찰하여 화재를 판단할수 있는 열화상 카메라를 이용한 화재 감지 시스템이 기술되어 있다.In addition, the Republic of Korea Patent Publication No. 10-2018-21521 is a fire detection system using a thermal imaging camera that can determine the fire by observing the movement of brightness, temperature, etc. of the area after selecting the area in which the signs of fire appear as a monitoring target area This is described.

상기와 같은 문제점을 해결하기 위해 본 발명은 넓은 공간에서 고가의 고해상도 카메라를 다수 사용하지 않아도 기존에 사용하고 있는 열화상 카메라를 통해 촬영된 연속 영상를 머신 러닝을 기반으로 분석하여 식별 정확도를 높이고, 동시에 주변의 특별한 환경에 대한 영상 특징을 연속하여 학습하여 잠재적인 화재 발생 대상을 누락시키지 않게 추적함으로서 학습된 정보의 신뢰성과 정확성을 보장하는 머신 러닝을 기반으로 한 화재 감시 시스템 및 방법을 제공하는데 그 목적이 있다.In order to solve the above problems, the present invention improves the identification accuracy by analyzing continuous images taken through a thermal imaging camera based on machine learning without using a large number of expensive high resolution cameras in a large space. Continuously learns the image characteristics of the surrounding special environment to keep track of potential fires. Its purpose is to provide a fire monitoring system and method based on guaranteed machine learning.

상기 과제를 해결하기 위해 본 발명의 한 실시예에 따른 머신 러닝을 기반으로 한 화재 감시 시스템은 화재 감시 지역을 촬영하는 카메라; 상기 카메라에 연결되고 상기 카메라로부터 촬영된 영상을 선택적으로 전달하는 스위치; 상기 스위치로부터 전달된 영상을 처리하고 제어하는 제어부; 상기 제어부에서 처리된 결과를 표시하는 디스플레이부; 및 상기 제어부에 의해 화재 발생인 것으로 판단되면 신호를 받아 경고음을 울리는 알림부를 포함하고, 상기 제어부는 상기 스위치로부터 전달된 초기 영상프레임과 연속적인 새로운 영상 프레임을 머신 러닝의 순환 신경망(Recurrent Neural Network, RNN) 알고리즘을 기반으로 해석하는 결정 엔진; 전달된 영상 프레임을 저장하고 화재 검증에 필요한 데이터를 저장하는 저장부; 및 머신 러닝의 학습 데이터를 관리하고 상기 저장부와 연결되어 필요한 데이터를 전달하는 학습 서버를 포함하며, 상기 학습 서버는 주변보다 10도 이상의 높은 온도 지역의 범위가 점차 확대되는 경우 이후 연속적으로 입력되는 영상 프레임을 감지하여 화재 발생으로 판정하는 것을 특징으로 한다.
또한, 본 발명의 상기 제어부가 머신 러닝의 LSTM (Long short term memory) 알고리즘을 사용하는 것을 특징으로 한다.In order to solve the above problems, a fire monitoring system based on machine learning according to an embodiment of the present invention includes a camera photographing a fire monitoring area; A switch connected to the camera and selectively transferring an image captured by the camera; A controller configured to process and control an image transmitted from the switch; A display unit which displays a result processed by the controller; And a notification unit that receives a signal and sounds an alarm when it is determined that the fire has occurred by the controller, wherein the controller is configured to generate a new video frame consecutively from the initial video frame transmitted from the switch and include a recurrent neural network of machine learning. A decision engine that interprets based on an RNN) algorithm; A storage unit for storing the transmitted image frame and storing data for fire verification; And a learning server that manages learning data of machine learning and is connected to the storage to deliver necessary data, wherein the learning server is continuously inputted when a range of a temperature region higher than 10 degrees is gradually enlarged from the surrounding area. It is characterized by detecting the image frame to determine the fire occurrence.
In addition, the control unit of the present invention is characterized by using a machine learning long long term memory (LSTM) algorithm.

삭제delete

또한, 상기 학습 서버의 머신 러닝 학습 데이터를 구성할 때, 특수 환경에 대한 연속적인 영상을 분석하여 특징을 정확히 추출할 수 있도록 연속적인 훈련 데이터를 수집해 학습을 실행하는 것을 특징으로 한다. In addition, when configuring the machine learning learning data of the learning server, it is characterized in that the training by collecting the continuous training data to analyze the continuous image of the special environment to accurately extract the features.

또한, 상기 학습 서버는 상기 저장부에 저장된 화재 관련 정보 데이터와 그 영상들을 주기적으로 이용하여 학습 데이터를 업그레이드하는 것을 특징으로 한다. The learning server may upgrade the learning data by periodically using the fire related information data and the images stored in the storage unit.

또한, 본 발명의 화재 감시 시스템은 카메라를 사용하여 화재 감시 지역을 촬영하는 단계; 상기 카메라로부터 촬영된 영상을 선택적으로 전달하는 단계; 전달된 영상을 처리하고 제어하는 단계; 처리하고 제어한 결과를 표시하는 단계; 및 In addition, the fire monitoring system of the present invention comprises the steps of photographing the fire monitoring area using a camera; Selectively transmitting an image captured by the camera; Processing and controlling the transferred image; Displaying the processed and controlled results; And

처리하고 제어한 결과가 화재 발생인 것으로 판단되면 신호를 받아 경고음을 울리는 단계를 포함하고, 상기 제어하는 단계는 전달된 연속적인 영상 프레임을 머신 러닝의 순환 신경망(Recurrent Neural Network, RNN) 알고리즘을 기반으로 해석하는 단계; 전달된 영상 프레임을 저장하고 화재 검증에 필요한 데이터를 저장하는 단계; 및 머신 러닝의 학습 데이터를 관리하고 상기 해석하는 단계에서 필요한 데이터를 전달하는 학습 서버를 구성하는 단계를 포함하는 것을 특징으로 한다.If it is determined that the result of processing and control is a fire, receiving a signal and sounding a beep, wherein the controlling step is based on the recurrent Neural Network (RNN) algorithm of machine learning the transmitted continuous image frame Interpreting as; Storing the transferred image frame and storing data necessary for fire verification; And configuring a learning server that delivers data required in the step of managing and interpreting the learning data of machine learning.

또한, 상기 제어하는 단계에서 머신 러닝의 LSTM (Long short term memory) 알고리즘을 사용하는 것을 특징으로 한다. In the controlling step, a long learning term (LSTM) algorithm of machine learning is used.

또한, 상기 학습 서버는 저장된 화재 관련 정보 데이터와 그 영상들을 주기적으로 이용하여 학습 데이터를 업그레이드하는 것을 특징으로 한다. The learning server may upgrade the learning data by periodically using the stored fire related information data and images thereof.

본 발명은 특별한 화재 환경에서 초기 단계에 위험을 신속히 진압할 수 있도록 머신 러닝을 기반으로 한 학습을 통해 화재 위험 요소가 있는 영상의 식별을 지속적인 감시를 통해 정확도를 높이고, 이를 초기 단계부터 추적하여 어떠한 화재 위험 요소도 놓치지 않도록 지원하는 효과가 있다. The present invention improves the accuracy through continuous monitoring of the identification of the image of the fire hazard through learning based on machine learning to quickly extinguish the risk at an early stage in a special fire environment, and tracks it from the early stage. It also helps to avoid missing fire hazards.

또한, 본 발명은 작업 환경 특성이 반영된 이미지에 나타나는 특징 변화를 학습하고, 이를 기반으로 특수하고 열악한 환경에서 운용되는 카메라를 통해 얻어진 영상도 정확하게 식별하도록 머신 러닝 알고리즘을 최적화하여 화재에 대한 오판이 발생하지 않도록 지원하는 효과가 있다. In addition, the present invention learns the characteristic changes appearing in the image reflecting the characteristics of the working environment, and based on this, by optimizing the machine learning algorithm to accurately identify the image obtained through the camera operating in a special and poor environment, the misjudgment of the fire occurs It has the effect of avoiding it.

도 1은 본 발명의 한 실시예에 따른 머신 러닝을 기반으로 한 화재 감시 시스템의 구성도.
도 2는 본 발명에서 사용되는 머신 러닝의 순환 신경망(Recurrent Neural Network, RNN) 알고리즘을 설명하는 구조도.
도 3은 본 발명의 한 실시예에 따른 머신 러닝을 기반으로 한 화재 감시 시스템의 화재 감시 과정을 설명하는 흐름도.1 is a block diagram of a fire monitoring system based on machine learning according to an embodiment of the present invention.
2 is a structural diagram illustrating a Recurrent Neural Network (RNN) algorithm of machine learning used in the present invention.
3 is a flow chart illustrating a fire monitoring process of a fire monitoring system based on machine learning according to an embodiment of the present invention.

이하, 첨부한 도면을 참고하여 본 발명의 상세한 실시예를 설명한다. Hereinafter, with reference to the accompanying drawings will be described a detailed embodiment of the present invention.

각 도면에 제시된 동일한 참고번호는 동일한 부분을 나타낸다. 또한 본 발명의 실시예에서 특정한 구조나 기능적 설명들은 단지 본 발명에 따른 실시예를 설명하기 위한 목적이고, 다르게 정의되지 않은 한 기술적 용어를 포함해 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 같은 의미를 갖는다. Like reference numerals in the drawings denote like parts. In addition, specific structures or functional descriptions in the embodiments of the present invention are merely for the purpose of describing the embodiments according to the present invention, and unless otherwise defined, all terms used herein, including technical terms, are used in the technical field to which the present invention belongs. Has the same meaning as commonly understood by one of ordinary skill.

도 1은 본 발명의 한 실시예에 따른 머신 러닝을 기반으로 한 화재 감시 시스템의 구성도이다. 도시된 바와 같이, 화재 감시 지역을 촬영하는 다수개의 카메라(100)와, 카메라(100)에 연결되고 카메라(100)로부터 촬영된 영상들 중 하나를 선택하여 전달하는 스위치(200)와, 스위치(200)로부터 전달받은 영상을 처리하고 제어하는 제어부(300)와, 제어부(300)에서 처리된 결과를 표시하는 화재감지 결과를 표시하는 디스플레이부(400)와, 상기 제어부(300)에 의해 화재 발생인 것으로 판단되면 신호를 받아 경고음을 울리는 알람부(500)를 포함한다. 1 is a block diagram of a fire monitoring system based on machine learning according to an embodiment of the present invention. As shown, a plurality of cameras 100 for photographing the fire monitoring area, a switch 200 connected to the camera 100 and to select and transfer one of the images taken from the camera 100, and the switch ( The control unit 300 for processing and controlling the image received from the 200, the display unit 400 for displaying a fire detection result for displaying the result processed by the control unit 300, and the fire occurs by the control unit 300 If it is determined to include the alarm unit 500 that sounds a warning sound.

본 발명의 실시예에서, 카메라(100)는 열화상 영상을 촬영하는 열화상 카메라로 화재 감시 지역에서 서로 다른 장소에 위치하는 하나 이상의 카메라로 구성될 수 있다. 열화상 카메라의 제어값(틸트, 포커스, 화각 등)은 미리 설정되어 저장되어 있다가 화재 발생시 제어부(300)에 의해 조절될 수 있다. 스위치(200)는 네트워크 단위들을 연결하는 통신 장비로 여러 개의 입력 중 하나를 선택하는 네트워크 스위치로서, 카메라(100)로부터 촬영된 열화상 영상들 중 하나를 선택하여 신속하게 제어부(300)로 전달한다. In an embodiment of the present invention, the camera 100 is a thermal imaging camera for photographing a thermal image may be composed of one or more cameras located at different places in the fire monitoring area. The control values (tilt, focus, angle of view, etc.) of the thermal imaging camera may be preset and stored and then adjusted by the controller 300 in the event of a fire. The switch 200 is a network switch that selects one of a plurality of inputs as a communication device for connecting network units. The switch 200 selects one of the thermal images captured by the camera 100 and quickly transfers it to the controller 300. .

상기 제어부(300)는 스위치(200)로부터 전달받은 연속적인 영상 프레임을 머신 러닝의 순환 신경망(Recurrent Neural Network, RNN) 알고리즘을 기반으로 해석하는 결정 엔진(302)과, 전달된 영상 프레임을 저장하고 화재 검증에 필요한 데이터를 저장하는 저장부(301)와, 학습 데이터를 관리하고 저장부(301)와 연결되어 필요한 데이터를 전달하는 학습 서버(303)를 포함한다. The controller 300 stores a decision engine 302 and a transmitted image frame based on a continuous neural network (RNN) algorithm of machine learning based on a continuous image frame received from the switch 200. The storage unit 301 stores data necessary for fire verification, and a learning server 303 that manages the training data and is connected to the storage unit 301 to transmit necessary data.

디스플레이부(400)는 제어부(300)에서 화재 발생 가능성이 있다고 해석한 영상들을 표시하고 그 진행사항을 관리자에게 알려준다. 제어부(300)가 화재 발생 상황으로 판단하는 경우, 알람부(500)에 신호를 전달하여 경고음을 울린다. 알람부(500)는 실제 경고음을 울리는 장치일 수 있고, 관제 서버에 화재를 알리거나 단말기에 구성된 별도의 어플리케이션이나 메신저를 통해 관리자에게 화재를 알리는 서비스를 동시에 포함할 수 있다. The display unit 400 displays images interpreted by the controller 300 as a possibility of a fire and informs the manager of the progress. When the control unit 300 determines that the fire occurs, the alarm unit 500 transmits a signal to sound an alarm. The alarm unit 500 may be a device that sounds an actual warning sound, and may simultaneously include a service of notifying a fire to a control server through a separate application or messenger configured to notify a fire to a control server.

상술된 바와 같이, 본 발명에 따른 머신 러닝을 기반으로 한 화재 감시 시스템은 머신 러닝을 통해 화재 감시 지역의 환경 특성에 따른 영상의 특징을 지속적으로 학습하여 화재 발생 대상에 대한 화재 발생 가능성의 식별 정확도를 높이고, 잠재적인 화재 상황 이전에 그 영상을 지속적으로 주시하여 초기에 간단히 화재를 진압할 수 있도록 지원할 수 있다. As described above, the fire monitoring system based on the machine learning according to the present invention continuously learns the characteristics of the image according to the environmental characteristics of the fire monitoring area through the machine learning, and thus the accuracy of the identification of the possibility of fire for the fire occurrence target. To help reduce the risk of fire in the early stages of the fire by keeping track of the video and keeping an eye on the video prior to a potential fire situation.

상기의 구성을 기초로 하여 본 발명의 상세 동작을 설명한다. Based on the above configuration, the detailed operation of the present invention will be described.

도 2를 참고로, 학습 서버가 RNN 알고리즘을 이용하여 학습 데이터를 구성하는 방법이 설명된다. RNN 알고리즘은 순차적으로 주어지는 데이터 처리에 적합한 알고리즘으로, 필요에 따라 다양하고 유연하게 구조를 만들 수 있는 장점을 갖는다. 예를 들면, 석탄 저장소와 같이 서서히 온도가 상승하여 넓은 범위로 번질 때까지 일반 영상으로 구별이 안 되는 환경적 특징을 데이터 시퀀스로 패턴화하여 학습 데이터를 구성할 수 있다. RNN 알고리즘의 일종인 LSTM (Long short term memory) 알고리즘이 사용될 수도 있다. Referring to FIG. 2, a method of configuring learning data by a learning server using an RNN algorithm is described. The RNN algorithm is an algorithm suitable for sequentially processing data, and has an advantage in that a structure can be variously and flexibly formed as needed. For example, learning data may be constructed by patterning environmental features that cannot be distinguished from general images into data sequences until the temperature gradually rises and spreads over a wide range, such as a coal reservoir. Long short term memory (LSTM) algorithm, which is a type of RNN algorithm, may be used.

학습 데이터를 만들기 위해 훈련 데이터 세트가 구성되고 RNN 알고리즘을 통해 특징을 추출하게 된다. 추출된 특징들은 분류되어 초기 학습 데이터로 서버에 저장된다. 새로운 훈련 데이터 세트가 입력되고 이러한 동작을 반복하면서 학습이 이루어진다. 정확한 분류 작업을 위해서는 수많은 훈련 데이터 세트를 구성하여 많은 학습 데이터를 만드는 것이 중요한 핵심이 된다. 특수 환경에 대한 영상을 분석하여 특징이 정확히 추출될 수 있도록 훈련 데이터 세트를 구성하는 것도 본 발명의 큰 특징이라 할 수 있다. To create training data, a training data set is constructed and features are extracted through the RNN algorithm. The extracted features are classified and stored in the server as initial training data. A new training data set is entered and learning takes place by repeating these actions. For accurate classification, it is important to construct a large number of training data sets to form a large number of training data sets. It is also a big feature of the present invention to construct a training data set so that a feature can be accurately extracted by analyzing an image of a special environment.

이하에서는 학습데이터의 한 예를 석탄 저장고의 열화상 카메라 영상으로 설명한다. 일정시간 간격을 두고 임의의 수의 연속적인 영상 프레임을 구성한다. 연속적인 프레임 영상에서 한 구간의 온도가 섭씨 10도 이상씩 증가되는 변화를 감지하면 그 구간은 화재발생 가능 지역으로 인지되고 이후 입력되는 영상 프레임을 주시하도록 학습한다. 이후 계속적인 온도 증가가 감지되면 예를 들어 감지된 온도가 섭시 200도 이상 되는 순간 모니터에 경고 메세지를 표시하도록 학습한다. Hereinafter, an example of the training data will be described as a thermal imaging camera image of a coal storage. An arbitrary number of consecutive video frames is formed at regular time intervals. If the temperature of one section is detected to be increased by more than 10 degrees Celsius in the continuous frame image, the section is recognized as a fire-prone area and learn to watch the input image frame afterwards. Then, if a continuous increase in temperature is detected, for example, the monitor is taught to display a warning message on the monitor as soon as the detected temperature rises above 200 degrees Celsius.

다른 학습 데이터는 온도가 섭씨 10도 이상씩 증가 되지는 않지만 주변 온도보다 섭씨 10도 이상 높은 지역의 범위가 점차 확대되는 경우 이 구간을 화재 발생 가능 지역으로 인지하고 이후 입력되는 영상 프레임을 주시하도록 학습한다. 그온도 범위가 예로 1㎡ 이상 확장되면 모니터에 경고 메세지를 표시하도록 학습한다. 일반적인 환경에서는 화재로 인지되지 않더라도 석탄 저장소와 같은 특수한 환경에서는 적재된 석탄 속에 불씨가 번져나가 화재를 발생시킬 수 있다. Other learning data suggest that if the temperature does not increase by more than 10 degrees Celsius, but the range of the area that is higher than 10 degrees Celsius higher than the ambient temperature gradually expands, this section is regarded as a fire-prone area and watched for an image frame input afterwards. do. If the temperature range extends by more than 1㎡, for example, learn to display a warning message on the monitor. Although it is not recognized as a fire in a typical environment, in a special environment such as a coal reservoir, embers can spread out of the loaded coal and cause a fire.

이와 같이, 화재 감시 시스템이 설치되는 특수한 환경에 따라 화재 발생의 위험이 있는 상황을 미리 학습하여 큰 화재로 발전하기 이전에 그 상황을 인지하여 화재를 미연에 방지할 수 있는 시스템을 구성하게 된다. In this way, according to the special environment in which the fire monitoring system is installed, the situation in which there is a risk of fire is learned in advance, and the system is configured to recognize the situation before generating a large fire and prevent the fire in advance.

학습 데이터를 구축한 학습 서버가 완성되면, 제어부(300)는 실제 영상 세트를 입력 받아 RNN 알고리즘을 통해 특징을 추출하게 된다. 이후 학습 서버에 저장된 학습 데이터와 비교하여 특징을 정확히 분류하고 분류 결과를 해석하여 화재 발생 여부를 판단하여 결정한다. When the learning server constructing the learning data is completed, the controller 300 receives an actual image set and extracts a feature through an RNN algorithm. After that, the characteristics are accurately classified and compared with the learning data stored in the learning server, and the classification results are analyzed to determine whether a fire has occurred.

상기 학습 서버는 다양한 특징의 연속 영상 프레임을 훈련 데이터 세트로 입력하여 반복적인 학습을 통해 특징 추출이 우수한 높은 수준의 학습 데이터를 생성하여 저장한다. 화재 감시 시스템에서 화재가 발생하면 그에 대한 정보 데이터가 저장부(301)에 저장되므로, 학습 서버는 주기적으로 화재 관련 정보 데이터와 그 영상을 입력으로 하여 학습 데이터를 업그레이드한다. 학습 데이터의 지속적인 업그레이드에 따라, 상기 화재 감시 시스템의 신뢰성과 정확성은 더욱 향상된다. The learning server inputs a continuous image frame of various features as a training data set to generate and store high-level learning data having excellent feature extraction through repetitive learning. When a fire occurs in the fire monitoring system, since information data thereof is stored in the storage unit 301, the learning server periodically upgrades the learning data by inputting the fire related information data and its image. With the continuous upgrade of learning data, the reliability and accuracy of the fire monitoring system is further improved.

도 3은 본 발명에 따른 머신 러닝을 기반으로 한 화재 감시 시스템의 화재 감시 과정을 설명하는 흐름도이다. 본 실시예에서는 예를 들어 석탄저장소에서 서서히 온도 변화가 일어나는 영상을 감지하여 화재 발생 위험이 있는가 주시하는 화재 감시 과정을 통해 본 발명을 설명한다. 그러나 본 발명은 이에 한정되지 않는다. 3 is a flowchart illustrating a fire monitoring process of a fire monitoring system based on machine learning according to the present invention. In the present embodiment, for example, the present invention will be described through a fire monitoring process that detects an image in which a temperature change gradually occurs in a coal storage and monitors whether there is a risk of fire. However, the present invention is not limited thereto.

도면의 단계(S100)에서, 본 발명에 따른 화재 감시 시스템은 영상 프레임을 수신한다. 이어서, 단계(S200)에서는 이전에 수신된 영상 프레임과 비교해 소정의 값 이상으로 온도 변화가 일어났는가 여부를 판단한다. 온도 변화가 일어나지 않았으면 다시 단계(S100)로 돌아가 새로운 영상 프레임을 계속해서 수신한다. In step S100 of the figure, the fire monitoring system according to the present invention receives an image frame. Subsequently, in step S200, it is determined whether the temperature change has occurred by more than a predetermined value compared to a previously received image frame. If no temperature change occurs, the process returns to step S100 again to continue receiving a new image frame.

만약 소정의 값 이상으로 온도 변화가 일어난 경우, 단계(S300)에서 머신 러닝을 기반으로 한 결정 엔진으로 연속하여 영상 프레임을 전달한다. 단계(S400)에서는 결정 엔진이 학습 데이터와 연계되어 화재 가능성이 있는가 여부를 판단한다. 화재 가능성이 없는 것으로 결정되면, 다시 단계(S100)로 돌아가 새로운 영상 프레임을 수신한다. If the temperature change is greater than a predetermined value, the image frame is continuously transmitted to the decision engine based on machine learning in step S300. In step S400, the determination engine determines whether there is a fire possibility in association with the training data. If it is determined that there is no possibility of a fire, the flow returns to step S100 to receive a new image frame.

화재 가능성이 있는 것으로 판단하면, 단계(S500)에서 화재 발생 경고음을 울려야 하는 상황인가 판단한다. 화재 경고음을 울려야 하는 상황으로 판단하면, 알람부(500)에 신호를 전송하여 화재 발생을 알린다. 아직 주시하는 단계로 판단하면, 단계(S600)에서 위험 정도를 포함하여 디스플레이부(400)에 화재로 발전할 수 있다고 해석한 영상들을 표시하고 그 진행사항을 관리자에게 알려준다. 이어서, 그 지점의 영상을 계속 주시하며 지속적으로 화재 발생 경고음을 울려야 하는 상황인가를 판단한다. If it is determined that there is a possibility of a fire, it is determined whether or not a fire occurrence alarm should be sounded at step S500. When it is determined that the fire alarm should be sounded, a signal is sent to the alarm unit 500 to notify the occurrence of a fire. If it is determined that the still watching step, in step (S600), including the degree of danger, the display unit 400 displays the image that can be generated by the fire and informs the manager of the progress. Subsequently, the image of the spot is continuously watched to determine whether the fire alarm should be continuously generated.

단계(S400)에서, 예를 들면, 석탄저장소에서 자연 발화되어 석탄 속 작은 불씨가 점차 번져가는 경우와 같이, 화재 가능성을 판단하는 기준으로 시간에 따라 온도가 소정의 값 이상으로 증가 되면서 그 범위가 넓어지는 것을 머신 러닝을 기반으로 한 결정 엔진이 학습 데이터과 연계되어 화재인 것으로 해석하여 판단한다. In step S400, for example, when the ignition spontaneously ignites in the coal storage, and small embers in the coal gradually spread, the temperature increases over a predetermined value with time as a criterion for determining the possibility of fire. A decision engine based on machine learning is interpreted as being fire in connection with learning data.

상기에 기술된 바와 같이, 본 발명은 화재 감지 시스템은 특별한 환경에서 초기 단계에 위험을 신속히 진압할 수 있도록 머신 러닝을 기반으로 한 학습을 통해 연속적인 영상의 특징을 추출하여 정확히 분류하여 상황을 판단하고, 이를 초기 단계부터 추적하여 어떠한 위험 요소도 놓치지 않도록 지원하는 특징을 갖는다. 또한, 본 발명은 작업 환경 특성이 반영된 연속 영상을 이용하여 학습 데이터를 구성하므로, 특수하고 열악한 환경에서 운용되는 카메라 또는 기존에 설치된 열화상 카메라를 통해 얻어진 영상도 정확하게 식별하도록 머신 러닝 알고리즘을 최적화하여 화재에 대한 오판이 발생하지 않도록 지원하는 특징을 갖는다. As described above, in the present invention, the fire detection system determines the situation by extracting and accurately classifying features of continuous images through learning based on machine learning so that the risk can be quickly suppressed at an early stage in a specific environment. And it tracks it from an early stage, so that it does not miss any risk factor. In addition, since the present invention configures the training data using continuous images reflecting the characteristics of the working environment, the machine learning algorithm is optimized to accurately identify images obtained through a camera operating in a special and poor environment or an existing thermal imaging camera. It is characterized by supporting the prevention of false positives on fire.

본 발명에서 기술된 다양한 구성부는 하드웨어 회로, 펌웨어, 소프트웨어, 또는 이들의 조합에 의해 구현될 수 있다. Various components described in the present invention can be implemented by hardware circuitry, firmware, software, or a combination thereof.

이상으로 본 발명은 도면에 도시된 실시예를 참고하여 설명되었으나, 이는 실시예에 불과하며, 종래 기술에 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 다른 실시예가 가능하다는 것을 인지할 것이다. 따라서 본 발명의 기술적 보호 범위는 아래의 특허 청구범위에 의해서 판단되어야 한다. Although the present invention has been described with reference to the embodiments shown in the drawings, this is only an embodiment, and those skilled in the art to which the related art will recognize that various modifications and other embodiments are possible from this. will be. Therefore, the technical protection scope of the present invention should be judged by the following claims.

본 발명은 열화상 카메라를 이용한 화재 감지 분야에 사용될 수 있다.The present invention can be used in the field of fire detection using a thermal imaging camera.

Claims

A camera for photographing fire surveillance areas;
A switch connected to the camera and selectively transferring an image captured by the camera;
A controller configured to process and control an image transmitted from the switch;
A display unit which displays a result processed by the controller; And
If it is determined that the fire caused by the control unit comprises a notification unit for receiving a signal to sound a warning,
The control unit
A decision engine that interprets the initial image frame transmitted from the switch and a new continuous image frame based on a recurrent neural network (RNN) algorithm of machine learning;
A storage unit for storing the transmitted image frame and storing data for fire verification; And
It includes a learning server that manages the learning data of the machine learning and connected to the storage and delivers the necessary data,
The learning server is based on the machine learning fire monitoring system, characterized in that if the range of the temperature zone is more than 10 degrees higher than the surrounding area is gradually expanded after the image frames are continuously input to determine the fire.

The method of claim 1,
And a control unit using a machine learning long short term memory (LSTM) algorithm.

The method of claim 1,
When configuring the machine learning learning data of the learning server, based on the machine learning, the continuous training data is collected and executed to analyze the continuous images of the special environment so as to accurately extract the features. One fire surveillance system.

The method of claim 1,
The learning server is a fire monitoring system based on machine learning, characterized in that for upgrading the learning data using the fire-related information data and the images stored in the storage unit periodically.

delete