[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101980551B1 - 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법 - Google Patents

기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법 Download PDF

Info

Publication number
KR101980551B1
KR101980551B1 KR1020180136720A KR20180136720A KR101980551B1 KR 101980551 B1 KR101980551 B1 KR 101980551B1 KR 1020180136720 A KR1020180136720 A KR 1020180136720A KR 20180136720 A KR20180136720 A KR 20180136720A KR 101980551 B1 KR101980551 B1 KR 101980551B1
Authority
KR
South Korea
Prior art keywords
behavior
image
image frame
unit
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180136720A
Other languages
English (en)
Inventor
윤일로
Original Assignee
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다누시스 filed Critical 주식회사 다누시스
Priority to KR1020180136720A priority Critical patent/KR101980551B1/ko
Application granted granted Critical
Publication of KR101980551B1 publication Critical patent/KR101980551B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 CCTV를 통해 촬영된 이미지에서 사람 검출 및 행동을 판단하는 기술에 관한 것이다.
여기서, 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템은 설정영역을 촬영하여 영상패킷을 생성하는 영상촬영부;
영상촬영부에서 영상패킷을 수신하여 영상프레임을 생성하는 영상프레임생성부;
기 설정된 복수 개의 기준설정객체를 포함하고, 영상프레임생성부에서 영상프레임을 수신하여, 영상프레임에서 기준설정객체와 매칭되는 객체를 검출하는 객체검출부;
기 설정된 복수 개의 기준행동객체를 포함하고, 객체검출부에서 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하며 영상프레임에서 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 객체행동분류부를 포함한다.
또한, 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 영상촬영부가 설정영역을 촬영하여 영상패킷을 생성하는 (A)단계;
영상프레임생성부가 영상촬영부에서 영상패킷을 수신하여 영상프레임을 생성하는 (B)단계;
객체검출부가 기 설정된 복수 개의 기준설정객체를 포함하여, 영상프레임생성부에서 수신된 영상프레임에서 기준설정객체와 매칭되는 객체를 검출하는 (C)단계;
객체행동분류부가 기 설정된 복수 개의 기준행동객체를 포함하고, 객체검출부에서 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하여 영상프레임에서 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 (D)단계를 포함한다.

Description

기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법{System For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection And Method For Detecting An Action Through Real-Time Intelligent CCTV Image Analysis Using Machine Learning Object Detection}
본 발명은 CCTV를 통해 촬영된 이미지에서 사람을 검출하고 검출된 사람의 행동을 판단하는 시스템 및 방법에 관한 것이다. 이에, 본 발명은 사람 검출 및 검출된 사람의 행동을 판단하는 기술분야에 속한다.
폐회로 텔레비전(CCTV: Closed Circuit Television)은 아파트, 골목 등에 설치되어 활용되고 있다. 폐회로 텔레비전의 다양한 곳에 활용됨에 따라, 효율적인 모니터링 기술개발이 진행되고 있다.
현재에는 영상의 정보를 분석하여 기계 학습된 객체가 영상에서 검출되면, 자동으로 이상 행위를 탐지하고 관리자에서 경보를 전송하는 지능형 지능형 영상 감지 시스템이 활발히 개발되고 있다.
지능형 영상 감지(IVS: Intelligent Video Surveillance) 시스템은 영상 전처리 단계, 배경 영역분리 단계, 객체 식별단계, 객체 추적 단계 및 사전에 정의된 규칙을 기반으로 이벤트를 탐지하는 이벤트 탐지 단계로 구성된다.
현재 개발된 대다수의 지능형 영상 감지 시스템은 배경 차분 기법을 이용해, 배경프레임과 현재프레임을 비교하여 차이를 구하는 방법으로 현재프레임에 있는 객체를 검출하고 있다. 이러한 지능형 영상 감지 시스템은 기준이 되는 배경이미지를 생성하여 임의의 객체를 일관되게 검출할 수 있다.
그러나, 이와 같은 지능형 영상 감지 시스템은 감지된 객체의 행동을 분류하고 특정된 행동에 기반한 사고를 검출할 수 없어 특정된 행동이 큰 사고로 번지는 것을 예방할 수 없는 문제를 가지고 있다.
대한민국등록특허 제10-1519342호 (등록일자 2015.05.06)
이에, 본 발명이 해결하고자 하는 과제는 이러한 문제점을 해결하기 위한 것이다. 본 발명은 객체 검출기를 통해 객체를 검출하고 객체행동분류기를 통해 객체의 행동을 판단하여 판단된 행동이 특정행동으로 판단되었을 때, 이벤트신호가 발생될 수 있도록 하는 것이다. 일례로, 본 발명이 해결하고자 하는 과제는 CCTV에서 사람이 쓰러져 있거나, 사람들이 싸우는 상황을 감지하여 이벤트신호가 발생될 수 있도록 하는 것이다.
본 발명의 해결 하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템은,
설정영역을 촬영하여 영상패킷을 생성하는 영상촬영부;
상기 영상촬영부에서 상기 영상패킷을 수신하여 영상프레임을 생성하는 영상프레임생성부;
기 설정된 복수 개의 기준설정객체를 포함하고, 상기 영상프레임생성부에서 상기 영상프레임을 수신하여, 상기 영상프레임에서 상기 기준설정객체와 매칭되는 객체를 검출하는 객체검출부;
기 설정된 복수 개의 기준행동객체를 포함하고, 상기 객체검출부에서 상기 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하며 상기 영상프레임에서 상기 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 객체행동분류부;
상기 객체행동분류부는 객체가 걷거나, 앉는 행동을 포함하는 기준비위험행동객체와 객체가 쓰러지거나 군집 그리고 싸우는 행동을 포함하는 기준위험행동객체를 포함하여, 상기 기준위험행동객체와 매칭되는 객체행동이 검출되면 상기 객체행동에 따라 서로 다른 이벤트신호를 발생시켜 신호발생부에 전송하고,
상기 신호발생부는 객체가 쓰러져 있는 기준위험행동객체일 때, 제1경보음을 발생시키고, 객체가 싸우고 있는 기준위험행동객체일 때, 제2경보음을 발생시킬 수 있다.
삭제
삭제
삭제
또 다른 상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은,
영상촬영부가 설정영역을 촬영하여 영상패킷을 생성하는 (A)단계;
영상프레임생성부가 상기 영상촬영부에서 상기 영상패킷을 수신하여 영상프레임을 생성하는 (B)단계;
객체검출부가 기 설정된 복수 개의 기준설정객체를 포함하여, 상기 영상프레임생성부에서 수신된 상기 영상프레임에서 상기 기준설정객체와 매칭되는 객체를 검출하는 (C)단계;
객체행동분류부가 기 설정된 복수 개의 기준행동객체를 포함하고, 상기 객체검출부에서 상기 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하여 상기 영상프레임에서 상기 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 (D)단계;
상기 객체행동분류부가 객체가 걷거나, 앉는 행동을 포함하는 기준비위험행동객체와 객체가 쓰러지거나 군집 그리고 싸우는 행동을 포함하는 기준위험행동객체를 포함하여, 상기 기준위험행동객체와 매칭되는 객체행동이 검출되면 상기 객체행동에 따라 서로 다른 이벤트신호를 발생시켜 신호발생부에 전송하는 단계;
상기 신호발생부는 객체가 쓰러져 있는 기준위험행동객체일 때, 제1경보음을 발생시키고, 객체가 싸우고 있는 기준위험행동객체일 때, 제2경보음을 발생시키는 단계를 포함한다.
삭제
삭제
삭제
본 발명에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 객체를 검출하고, 검출된 객체의 행동을 검출하여 행동에 따른 사고를 감지할 수 있다. 그리고 이를 주위에 신속하게 알려 큰 사고로 이어지지 않도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 블록도이다.
도 2는 도 1의 영상촬영부가 일정시간 동안 설정영역을 촬영하는 상태를 나타낸 도면이다.
도 3은 도 1의 객체검출부에 설정된 기준설정객체를 나타낸 도면이다.
도 4는 도 1의 객체행동분류기에 설정된 기준설정행동객체를 나타낸 도면이다.
도 5는 내지 도 7은 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 객체 및 객체행동을 검출하고, 검출된 객체행동을 통해 이벤트신호를 발생시키는 상태를 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 순서도이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.
그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 발명의 청구범위는 청구항에 의해 정의될 수 있다. 아울러, 청구범위에 기재된 구성요소의 동일 참조부호는 동일 구성요소를 지칭한다.
아울러, 본 명세서 상에서의 영상촬영부, 영상프레임생성부, 객체검출기, 객체행동분류기 등은 모두 입력된 데이터를 연산하여 출력하는 연산모듈 즉, 컴퓨터가 될 수 있다.
이하, 도 1 내지 도 7를 참조하여 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템에 대해 상세히 설명하고, 설명된 내용과 도 8을 바탕으로 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법에 대해 상세히 설명한다.
먼저, 도 1을 참조하여 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템에 대해 개괄적으로 설명한다.
도 1은 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 블록도이다.
본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템(1)은 객체(ob)를 검출하고 검출된 객체의 행동을 파악한다. 그리고 파악된 행동이 기준행동과 매칭되었을 때 이를 특정행동으로 판단한다. 또한, 본 발명은 특정행동을 판단하였을 때 이벤트신호를 출력해 경보신호를 발생시켜 주위에 사고 발생을 알릴 수 있다. 일례로, 본 발명은 영상촬영부(10)에서 객체(ob)가 쓰러져 있거나 객체(ob)가 싸우는 행동을 취할 때, 이를 신속하게 감지한 후, 이벤트신호를 생성하여 경보음을 발생시킬 수 있다. 이를 통해, 본 발명은 특정행동이 발생되는 주변에 있는 사람들에게 긴급사항이 발생되었음을 알릴 수 있다.
이러한 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템(1)은 영상촬영부(10), 영상프레임생성부(20), 객체검출부(30) 및 객체행동분류부(40) 등을 구성요소로 포함한다. 아울러 신호발생부(50)를 구성요소로 더 포함할 수 있다.
이하, 도 2 내지 도 4를 참조하여 본 발명을 이루는 각 구성요소에 대해 구체적으로 설명한다.
도 2는 도 1의 영상촬영부가 일정시간 동안 설정영역을 촬영하는 상태를 나타낸 도면이고, 도 3은 도 1의 객체검출부에 설정된 기준설정객체를 나타낸 도면이다. 그리고 도 4는 도 1의 객체행동분류기에 설정된 기준설정행동객체를 나타낸 도면이다.
영상촬영부(10)는 설정영역을 촬영하여 제1영상패킷을 생성하고 제1시간에서 일정시간 경과된 제2시간에 설정영역을 촬영하여 제2영상패킷을 생성할 수 있다. 그리고 제3시간에 실정영역을 촬영하여 제3영상패킷을 생성할 수 있다. 즉, 영상촬영부(10)는 도 2에 도시된 바와 같이, 설정영역을 시간에 따라 연속 촬영하여 제1영상프레임(110)에 기반이 되는 제1영상패킷, 제2영상프레임(120)의 기반이 되는 제2영상패킷 그리고 제3영상프레임(130)에 기반이 되는 제3영상패킷을 생성할 수 있다.
예를 들어, 영상촬영부(10)는 설정영역을 촬영할 때, 설정된 촬영시간에 따라 설정영역을 촬영하며 제1영상패킷, 제2영상패킷 및 제3영상패킷을 생성할 수 있다. 이때, 설정시간은 사용자의 설정에 따라 다양하게 변경될 수 있다.
영상촬영부(10)는 생성한 제1영상패킷, 제2영상패킷 및 제3영상패킷을 영상프레임생성부(20)로 송신한다.
영상프레임생성부(20)는 영상촬영부(10)에서 송신하는 복수 개의 영상패킷을 수신하여 각 영상프레임으로 생성한다.
즉, 영상프레임생성부(20)는 영상촬영부(10)에서 제1영상패킷을 수신하여 도 2에 도시된 바와 같은 제1영상프레임(110), 제2영상패킷을 수신하여 도 2에 도시된 바와 같은 제2영상프레임(120) 그리고 제3영상패킷을 수신하여 도 2에 도시된 바와 같은 제3영상프레임(130)을 생성할 수 있다.
영상프레임생성부(20)는 생성한 제1영상프레임(110) 및 제2영상프레임(120) 및 제3영상프레임(130) 즉, 복수 개의 영상프레임을 객체검출부(30)로 전송한다.
객체검출부(30)는 수신된 영상프레임으로부터 기 설정된 객체를 검출한다. 객체검출부(30)는 원활한 객체 검출을 위해, 영상프레임을 수신하기 앞서, 복수 개의 기준설정객체를 포함할 수 있다. 즉, 객체검출부(30)에는 복수 개의 기준설정객체가 설정될 수 있다.
이러한 객체검출부(30)는 제1영상프레임(110)에서 검색된 객체(ob)와 기 설정된 기준설정객체(300)와 매칭하며 매칭률을 연산한다. 이때, 객체검출부(30)는 기준설정객체(300)와 객체(ob) 간 매칭값이 기준매칭값 이상이면 제1객체 즉, 중요객체로 간주할 수 있다. 반면, 매창값이 기준매칭값 미만이면 제2객체 즉, 배경객체로 간주할 수 있다.
객체검출부(30)는 도 3에 도시된 바와 같이 복수 개의 기준설정객체를 기계 학습하며 저장하는 객체정보제공기(301)를 포함할 수 있다. 여기서, 객체정보제공기(301)는 딥 러닝 기술과 같은 기계학습을 통해 영상프레임에 포함된 객체를 추출 및 배경이미자와 분류할 수 있는 장치가 될 수 있다. 객체검출부(30)는 이러한 객체정보제공기(301)를 통해, 객체정보제공기(301)에 저장된 기준설정객체(300)를 기반으로 수신된 영상프레임으로부터 객체를 정확하게 검출할 수 있다. 그리고 추출 및 분류된 객체를 기계 학습하며 학습된 객체로부터 객체정보를 추출할 수 있다.
객체검출부(30)는 이러한 객체정보제공기(301)를 통해 추출된 중요객체 또는 중요객체를 포함하는 영상프레임을 객체행동분류부(40)로 전송할 수 있다.
객체행동분류부(40)는 객체검출부(30)에서 수신되는 영상프레임으로부터 기 설정된 객체행동을 검출한다. 객체행동분류부(40)는 원활한 객체행동 검출을 위해, 중요객체가 포함된 영상프레임 또는 복수 개의 기준행동객체를 포함할 수 있다.
객체행동분류부(40)는 도 4에 도시된 바와 같이 복수 개의 기준행동객체를 기계 학습하며 저장하는 기준행동객체정보제공기(301)를 포함할 수 있다. 여기서, 기준행동객체정보제공기(301)는 딥 러닝 기술과 같은 기계학습을 통해 영상프레임에 포함된 객체행동을 검출할 수 있다.
여기서, 기준행동객체는 객체가 걷거나, 앉는 등의 위험하지 않은 행동을 포함하는 기준비위험행동객체 그리고 객체가 쓰러지거나, 군집되어 있는 객체 또는 싸우는 행동 등의 위험행동을 포함하는 기준위험행동객체를 포함한다.
객체행동분류부(40)는 객체검출부(30)에서 객체가 검출된 이후의 영상프레임 또는 검출된 최초 객체 이후의 객체 만을 일정한 시간 간격에 따라 계속해서 수신한다. 그리고 기준위험행동객체와 매칭되는 객체행동을 검출 한 후, 검출된 객체행동에 대응되는 이벤트신호를 발생시킬 수 있다.
이때, 객체행동분류부(40)는 이벤트신호의 발생오류를 막기 위해, 기준위험행동객체가 일정시간 지속될 때만 이벤트신호를 발생시킬 수 있다.
신호발생부(50)는 발생된 이벤트신호를 수신하여 경보신호를 발생시킬 수 있다. 일례로, 신호발생부(50)는 경보음을 발생시키는 버저(buzzer)가 될 수 있다.
이하, 도 5 내지 도 7을 참조하여, 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템이 객체 및 객체행동을 검출하는 과정에 대해 구체적으로 설명한다.
도 5는 내지 도 7은 본 발명의 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 객체 및 객체행동을 검출하고, 검출된 객체행동을 통해 이벤트신호를 발생시키는 상태를 나타낸 도면이다.
기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템(1)은 영상촬영부(10)를 통해 설정영역을 촬영하고, 객체검출부(30)를 통해, 촬영된 영상으로부터 설정객체를 검출할 수 있다.
기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템(1)은 설정객체가 감지되면 객체행동분류부(40)로 설정객체 만을 전송하거나 설정객체가 포함된 영상프레임을 전송한다.
반면, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템(1)은 설정객체가 감지되지 않을 경우, 객체행동분류부(40)에 대한 불필요한 연산처리 발생 및 신호발생부의 오작동 발생을 방지하기 위해 객체행동분류부(40) 및 신호발생부(50)가 작동되지 않는 상태가 되도록 할 수 있다.
설정객체(300)가 감지되어 객체행동분류부(40)가 작동될 때, 객체행동분류부(40)는 객체행동을 도 6의(a)에 도시된 바와 같이 걷는 상태, 도 6의(b)에 도시된 바와 같이 앉은 상태 그리고 도 6의(c)에 도시된 바와 같이 쓰러진 상태 등을 검출할 수 있다. 그리고, 객체행동분류부(40)는 객체행동을 도 7의(a)에 도시된 바와 같이 복수 개의 객체가 함께 있는 상태, 도 7의(b)에 도시된 바와 같이 어느 하나의 객체가 다른 하나의 객체를 때리는 상태 그리고 도 7의(c)에 도시된 바와 같이 어느 하나의 객체가 쓰러진 상태 등을 검출할 수 있다.
객체행동분류부(40)는 도 6과 도 7에 도시된 바와 같이, 객체(ob)가 쓰러진 상태 및 어느 하나의 객체가 다른 하나의 객체를 때리는 상태 등을 검출하였을 때 이벤트신호를 발생시키거나 검출된 상태가 일정시간 지속되었을 때 이벤트신호를 발생시킬 수 있다.
신호발생부(50)는 이벤트신호를 수신하여 싸이렌 같은 경보음을 발생시킬 수 있다. 특히, 신호발생부(50)는 객체행동분류부(40)에서 발생시키는 다양한 이벤트신호에 대응해 다양한 경보음을 발생시킬 수 있다. 일례로, 신호발생부(50)는 객체가 쓰러져 있는 기준위험행동객체에 따라 제1경보음을 발생시키고, 객체가 싸우고 있는 기준위험행동객체에 따라 제2경보음을 발생시킬 수 있다. 즉, 신호발생부(50)는 기준위험행동객체에 따라 서로 다른 경보음을 발생시킬 수 있다.
이와 같이 경보음을 발생시키는 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템은 특정 행동에 기반한 위험 사고를 검출하여 특정된 행동이 큰 사고로 번지지 않도록 할 수 있다.
이하, 지금까지 설명한 객체를 검출하는 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템에 대한 설명을 바탕으로 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법에 대해 설명한다.
기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법의 단계를 진행하는 주체에 대한 내용은 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템을 구성하는 구성요소와 동일할 수 있다.
즉, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법의 각 단계의 주체는 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템을 구성하는 구성요소와 동일하다.
따라서, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법에 대한 설명이 간결하고 명확해질 수 있도록 방법을 진행하는 주체에 대한 설명은 생략한다.
이와 같은 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법에 대한 설명은 도 8의 순서도를 기준으로 한다.
도 8은 본 발명의 일 실시예에 따른 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템의 순서도이다.
기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 영상프레임에서 객체(ob)를 검출하고, 검출된 객체의 행동을 파악한 후, 파악된 행동이 기준행동과 매칭되었을 때 이를 특정행동으로 판단하여 이벤트 신호를 발생시키는 단계들로 처리된다. 아울러, 이러한 방법은 특정행동으로 판단되었을 때, 이벤트신호를 발생시키는 단계로 처리되어 주위에 사고 발생을 알릴 수 있도록 할 수 있다.
이하, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 아래와 같은 단계로 진행된다.
먼저, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 영상촬영부(10)가 설정영역을 촬영하여 영상패킷을 생성하는 (A)단계로 시작된다.
(A)단계 이후, 영상프레임생성부(20)가 영상촬영부(10)에서 영상패킷을 수신하여 영상프레임을 생성하는 (B)단계로 진행된다. 이후, 객체검출부(30)가 기 설정된 복수 개의 기준설정객체(300)를 포함하여, 영상프레임생성부(20)에서 수신된 영상프레임에서 기준설정객체(300)와 매칭되는 객체를 검출하는 (C)단계로 진행된다.
(C)단계 이후, 객체행동분류부(40)가 기 설정된 복수 개의 기준행동객체(400)를 포함하고, 객체검출부(30)에서 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하여 영상프레임에서 기준행동객체(400)와 매칭되는 객체행동을 시간 변화에 따라 검출하는 (D)단계로 진행된다.
(D)단계에서, 기술된 기준행동객체는 기준비위험행동객체 및 기준위험행동객체를 포함한다.
이에, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 (D)단계에서 기준위험행동객체를 검출하였을 때 그리고 기준위험행동객체를 검출한 후, 기준위험행동객체와 객체행동이 설정시간 이상 매칭될 때, 이벤트신호를 발생시키는 단계로 진행될 수 있다.
이벤트신호를 발생시키는 단계로 진행되었을 때, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 신호발생부(50)를 통해 객체행동분류부에서 발생된 상기 이벤트신호를 수신하여 경보 신호를 발생시키는 단계를 끝으로 일련의 단계가 종료될 수 있다.
이와 같은 일련의 단계를 진행되는 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법은 특정 행동에 기반한 위험 사고를 검출하여 특정된 행동이 큰 사고로 번지는 것을 예방할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템
10: 영상촬영부 110: 제1영상프레임
120: 제2영상프레임 130: 제3영상프레임
20: 영상프레임생성부
30: 객체검출부 300: 설정객체
301: 객체정보제공기
40: 객체행동분류부 400: 기준행동객체
50: 신호발생부 ob: 객체

Claims (6)

  1. 설정영역을 촬영하여 영상패킷을 생성하는 영상촬영부;
    상기 영상촬영부에서 상기 영상패킷을 수신하여 영상프레임을 생성하는 영상프레임생성부;
    기 설정된 복수 개의 기준설정객체를 포함하고, 상기 영상프레임생성부에서 상기 영상프레임을 수신하여, 상기 영상프레임에서 상기 기준설정객체와 매칭되는 객체를 검출하는 객체검출부;
    기 설정된 복수 개의 기준행동객체를 포함하고, 상기 객체검출부에서 상기 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하며 상기 영상프레임에서 상기 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 객체행동분류부;
    상기 객체행동분류부는 객체가 걷거나, 앉는 행동을 포함하는 기준비위험행동객체와 객체가 쓰러지거나 군집 그리고 싸우는 행동을 포함하는 기준위험행동객체를 포함하여, 상기 기준위험행동객체와 매칭되는 객체행동이 검출되면 상기 객체행동에 따라 서로 다른 이벤트신호를 발생시켜 신호발생부에 전송하고,
    상기 신호발생부는 객체가 쓰러져 있는 기준위험행동객체일 때, 제1경보음을 발생시키고, 객체가 싸우고 있는 기준위험행동객체일 때, 제2경보음을 발생시킬 수 있는, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 시스템.
  2. 삭제
  3. 삭제
  4. 영상촬영부가 설정영역을 촬영하여 영상패킷을 생성하는 (A)단계;
    영상프레임생성부가 상기 영상촬영부에서 상기 영상패킷을 수신하여 영상프레임을 생성하는 (B)단계;
    객체검출부가 기 설정된 복수 개의 기준설정객체를 포함하여, 상기 영상프레임생성부에서 수신된 상기 영상프레임에서 상기 기준설정객체와 매칭되는 객체를 검출하는 (C)단계;
    객체행동분류부가 기 설정된 복수 개의 기준행동객체를 포함하고, 상기 객체검출부에서 상기 객체가 검출된 이후의 영상프레임을 시간 변화에 따라 수신하여 상기 영상프레임에서 상기 기준행동객체와 매칭되는 객체행동을 시간 변화에 따라 검출하는 (D)단계;
    상기 객체행동분류부가 객체가 걷거나, 앉는 행동을 포함하는 기준비위험행동객체와 객체가 쓰러지거나 군집 그리고 싸우는 행동을 포함하는 기준위험행동객체를 포함하여, 상기 기준위험행동객체와 매칭되는 객체행동이 검출되면 상기 객체행동에 따라 서로 다른 이벤트신호를 발생시켜 신호발생부에 전송하는 단계;
    상기 신호발생부는 객체가 쓰러져 있는 기준위험행동객체일 때, 제1경보음을 발생시키고, 객체가 싸우고 있는 기준위험행동객체일 때, 제2경보음을 발생시키는 단계;를 포함하는, 기계학습 객체검출을 이용한 실시간 지능형 CCTV 영상 분석 행위 탐지 방법.
  5. 삭제
  6. 삭제
KR1020180136720A 2018-11-08 2018-11-08 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법 Active KR101980551B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180136720A KR101980551B1 (ko) 2018-11-08 2018-11-08 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180136720A KR101980551B1 (ko) 2018-11-08 2018-11-08 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Publications (1)

Publication Number Publication Date
KR101980551B1 true KR101980551B1 (ko) 2019-05-21

Family

ID=66676127

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180136720A Active KR101980551B1 (ko) 2018-11-08 2018-11-08 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법

Country Status (1)

Country Link
KR (1) KR101980551B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111402532A (zh) * 2020-03-26 2020-07-10 海南鸿达盛创网络信息科技有限公司 一种综合安防视频管理控制系统
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템
KR20210008574A (ko) 2019-06-17 2021-01-25 포인드 주식회사 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
KR102293547B1 (ko) * 2021-03-08 2021-08-26 주식회사 에스아이에이 변화 탐지 방법 및 장치
KR20220050033A (ko) * 2020-10-15 2022-04-22 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR102491521B1 (ko) * 2022-09-01 2023-01-27 주식회사 케이티앤씨 지능형 모니터링 시스템
WO2023113183A1 (ko) * 2021-12-14 2023-06-22 주식회사 우경정보기술 아동 대상의 교육 문화 개선을 위한 에듀테크 기술을 활용한 아동 행동 분석 장치 및 방법
WO2023167532A1 (en) * 2022-03-04 2023-09-07 Samsung Electronics Co., Ltd. Method and apparatus for video action classification
US11893761B2 (en) 2020-01-16 2024-02-06 Samsung Electronics Co., Ltd. Image processing apparatus and method
US11954942B2 (en) 2020-12-31 2024-04-09 Korea Institute Of Science And Technology Human behavior recognition system and method using hierarchical class learning considering safety
KR20240169386A (ko) 2023-05-24 2024-12-03 배재대학교 산학협력단 객체 검출 기반 산업재해 탐지 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010038264A (ko) * 1999-10-23 2001-05-15 윤종용 위급 상황 신호 송출용 감시 카메라 및 그에 의한 위급 상황 신호 송출 방법
KR20090091539A (ko) * 2008-02-25 2009-08-28 동서대학교산학협력단 위험 동작 발생 감시 시스템
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR101519342B1 (ko) 2014-11-21 2015-05-13 주식회사 로보티어 Cctv 방범·안전 argos 타워 및 argos 시스템 및 argos 제어방법
KR101751032B1 (ko) * 2015-11-20 2017-06-26 유한회사 청텍 이미지 센서를 이용한 위험 감지 장치
KR101762400B1 (ko) * 2015-03-23 2017-07-27 주식회사 에스원 행동 인식 방법 및 그 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010038264A (ko) * 1999-10-23 2001-05-15 윤종용 위급 상황 신호 송출용 감시 카메라 및 그에 의한 위급 상황 신호 송출 방법
KR20090091539A (ko) * 2008-02-25 2009-08-28 동서대학교산학협력단 위험 동작 발생 감시 시스템
KR101180887B1 (ko) * 2010-09-08 2012-09-07 중앙대학교 산학협력단 이상행위 검출장치 및 방법
KR101519342B1 (ko) 2014-11-21 2015-05-13 주식회사 로보티어 Cctv 방범·안전 argos 타워 및 argos 시스템 및 argos 제어방법
KR101762400B1 (ko) * 2015-03-23 2017-07-27 주식회사 에스원 행동 인식 방법 및 그 장치
KR101751032B1 (ko) * 2015-11-20 2017-06-26 유한회사 청텍 이미지 센서를 이용한 위험 감지 장치

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210008574A (ko) 2019-06-17 2021-01-25 포인드 주식회사 프레임 분할과 지능형 검출 pool을 이용한 다수의 카메라 영상에서 실시간 객체 검출 방법
US11893761B2 (en) 2020-01-16 2024-02-06 Samsung Electronics Co., Ltd. Image processing apparatus and method
CN111402532A (zh) * 2020-03-26 2020-07-10 海南鸿达盛创网络信息科技有限公司 一种综合安防视频管理控制系统
KR102155724B1 (ko) * 2020-04-21 2020-09-14 호서대학교 산학협력단 심층신경망을 이용한 선박 내 객체의 위험 검출 방법 및 시스템
KR102455996B1 (ko) * 2020-10-15 2022-10-18 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR102455999B1 (ko) * 2020-10-15 2022-10-18 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR20220050032A (ko) * 2020-10-15 2022-04-22 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR20220050031A (ko) * 2020-10-15 2022-04-22 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR20220050030A (ko) * 2020-10-15 2022-04-22 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR20220127196A (ko) * 2020-10-15 2022-09-19 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR102779031B1 (ko) * 2020-10-15 2025-03-12 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR102455997B1 (ko) * 2020-10-15 2022-10-18 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR102455998B1 (ko) * 2020-10-15 2022-10-18 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
KR20220050033A (ko) * 2020-10-15 2022-04-22 주식회사 유니유니 비식별화 데이터를 이용한 딥러닝 기반 이상행동 탐지 시스템
US11954942B2 (en) 2020-12-31 2024-04-09 Korea Institute Of Science And Technology Human behavior recognition system and method using hierarchical class learning considering safety
KR102293547B1 (ko) * 2021-03-08 2021-08-26 주식회사 에스아이에이 변화 탐지 방법 및 장치
KR102345892B1 (ko) * 2021-03-08 2022-01-03 주식회사 에스아이에이 변화 탐지 방법 및 장치
WO2023113183A1 (ko) * 2021-12-14 2023-06-22 주식회사 우경정보기술 아동 대상의 교육 문화 개선을 위한 에듀테크 기술을 활용한 아동 행동 분석 장치 및 방법
WO2023167532A1 (en) * 2022-03-04 2023-09-07 Samsung Electronics Co., Ltd. Method and apparatus for video action classification
KR102491521B1 (ko) * 2022-09-01 2023-01-27 주식회사 케이티앤씨 지능형 모니터링 시스템
KR20240169386A (ko) 2023-05-24 2024-12-03 배재대학교 산학협력단 객체 검출 기반 산업재해 탐지 방법 및 장치

Similar Documents

Publication Publication Date Title
KR101980551B1 (ko) 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 시스템 및 기계학습 객체검출을 이용한 실시간 지능형 cctv 영상 분석 행위 탐지 방법
TWI749113B (zh) 在視訊監控系統中產生警示之方法、系統及電腦程式產品
KR101789690B1 (ko) 딥 러닝 기반 보안 서비스 제공 시스템 및 방법
KR102233679B1 (ko) Ess 침입자 및 화재 감지 장치 및 방법
KR20190035187A (ko) 감시 지역 음성 경고 방송 시스템
KR102058452B1 (ko) IoT 융합 지능형 영상분석 플랫폼 시스템
JP2018101317A (ja) 異常監視システム
KR20190035186A (ko) 딥 러닝 기법을 활용한 지능형 무인 보안 시스템
KR20220113631A (ko) 위험 상황 감지 장치 및 위험 상황 감지 방법
CN111652185A (zh) 一种基于违章行为识别的安全施工方法、系统、装置及存储介质
KR101442669B1 (ko) 지능형 객체감지를 통한 범죄행위 판별방법 및 그 장치
KR101907442B1 (ko) 사람 이동 궤적 기반 유기 감지 시스템 및 사람 이동 궤적 기반 유기 감지 방법
KR101075550B1 (ko) 이미지 센싱 에이전트 및 ｕｓｎ 복합형 보안 시스템
CN107122743A (zh) 安防监控方法、装置和电子设备
EP3496397A1 (en) Systems and methods for automatic video recording
KR20210013865A (ko) 생성적 대립 네트워크를 이용한 사람의 비정상 행동 탐지 시스템 및 방법
KR101893875B1 (ko) 유기 행위 검출 시스템 및 유기 행위 검출 방법
JP2009077064A (ja) 監視方法および監視装置
KR20140108789A (ko) 영상 감시 장치 및 영상 감시 방법
CN107784289A (zh) 一种安防监控方法、装置及系统
CN111126100B (zh) 报警方法、装置、电子设备及存储介质
JP2021087031A (ja) 情報処理装置、情報処理方法、監視システム、及びプログラム
EP3444750A1 (en) Cloud based systems and methods for locating a peace breaker
KR20140057225A (ko) 열상과 다중센서를 이용한 cctv영상개선과 감시시스템활용 방법
WO2012074352A1 (en) System and method to detect loitering event in a region

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181108

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20181120

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20181108

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190111

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190501

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20190515

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20190515

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20220428

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230509

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20240514

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20250430

Start annual number: 7

End annual number: 7