KR102697088B1 - 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 - Google Patents
외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 Download PDFInfo
- Publication number
- KR102697088B1 KR102697088B1 KR1020210189957A KR20210189957A KR102697088B1 KR 102697088 B1 KR102697088 B1 KR 102697088B1 KR 1020210189957 A KR1020210189957 A KR 1020210189957A KR 20210189957 A KR20210189957 A KR 20210189957A KR 102697088 B1 KR102697088 B1 KR 102697088B1
- Authority
- KR
- South Korea
- Prior art keywords
- image analysis
- photographed object
- similarity
- alarm
- cctv
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 18
- 238000010191 image analysis Methods 0.000 claims abstract description 93
- 238000003703 image analysis method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 230000008030 elimination Effects 0.000 description 6
- 238000003379 elimination reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 241000283973 Oryctolagus cuniculus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 CCTV를 포함하는 외곽침입감지시스템에 사용되는 AI를 이용한 CCTV 이미지분석 방법에 있어서, 상기 CCTV로 촬영된 이미지를 획득하는 이미지획득단계; 상기 이미지에서 제1 촬영객체의 제1 프레임을 결정하고 이미지분석을 수행하는 1차이미지분석단계; 상기 1차이미지분석단계에서, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 임계확률 이상인 경우 경보를 발생시키는 단계; 상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 상기 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 제1 촬영객체의 프레임에 대한 디지털 확대를 수행하여 제2 촬영객체를 재설정하고 이미지분석을 수행하는 2차이미지분석단계; 및 상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 이상인 경우 상기 외곽침임감지시스템의 경보를 실행하는 단계를 포함하는 외곽침입감지시스템용 AI를 이용한 CCTV 이미지분석 방법을 제공한다.
Description
본 발명은 외곽침입감지시스템에 이용되는 CCTV를 이용한 이미지분석 방법에 관한 것으로서, 특히 외곽침입감지시스템의 물리적 센서의 오탐을 보완하기 위하여 침입객체를 분석하기 위한 강화된 이미지 분석방법이다.
본 발명은 외곽침입감지시스템에 이용되는 CCTV를 이용한 이미지분석 기술에 대한 발명으로서, 통상적으로 외곽감지시스템은 침입자의 존재여부를 직접적으로 감지하는 1차 센서를 구비한다. 이러한 1차 센서는 통상 장력센서, 압전센서, 접점센서, 광케이블센서로 이루어지며, 침입자의 움직임에 의한 진동을 직접적으로 감지하는 물리적 센서이다.
외곽침입감지시스템을 1차 센서로만 구성하는 경우 모든 진동에 대해 센서가 작동하므로 단순한 동물의 이동, 낙뢰, 뇌우, 우박, 기타 노이즈에 의한 오탐지가 발생할 수 있는 문제점이 있다.
이를 보완하기 위하여 2차 센서로서 CCTV, 레이더, 초음파, 라이더 등의 센서가 이용된다. 특히 CCTV의 경우 가시광 또는 적외선 영역의 이미지를 감지하기 때문에 관리자가 직접 확인할 수 있는 장점이 있어서 널리 이용된다.
최근 딥러닝(deep learing) 알고리즘을 이용한 AI 이미지 분석기술이 개발되어 있는 상황에서 이를 이용하여 1차 센서에서 감지한 영역의 CCTV 촬영 이미지를 분석함으로써 오탐율을 줄이고 노이즈를 줄이는 기술이 개발되고 있다.
도 1에 도시된 바와 같이, 일반적인 외곽침입감지시스템은 보안 대상물의 경계를 형성하는 펜스형 센서(11) 및 바닥센서(12) 등의 1차 센서와, 1차 센서의 감지 결과에 따라 작동하며, 침입자(P)를 이미지적으로 확인할 수 있는 CCTV(20)를 포함한다.
도 2에 도시된 바와 같이, 촬영객체(P1)가 보안대상물의 경계를 통과하기 위해 바닥을 따라 이동하거나 펜스를 건드리는 경우 펜스형 센서(11) 또는 바닥센서(12)가 1차적으로 이벤트 발생을 감지하고, 이벤트 발생지역을 CCTV(20)가 촬영한다.
CCTV(20)에 의해 촬영된 이미지는 이미지 분석 알고리즘에 의해 분석된다. CCTV 이미지는 촬영객체(P1)의 움직임을 감지하여야 하므로 분석속도가 빠른 알고리즘이 이용된다. 예컨데, 실시간 이미지 분석을 위하여 속도가 빠른 1-stage detector 기술인 YOLO 알고리즘 등이 이용된다. 이미지 분석결과는 촬영객체(P1)를 학습알고리즘을 통해 확률적으로 객체의 경계를 감지하고, 촬영객체의 정보를 분석한다. 촬영객체(P1)의 정보는 학습대상물에 대해 딥 러닝 방식으로 학습되어 100% 미만의 확률로 탐지되며, 탐지의 정확도를 위해 임계확률 (본 출원인의 경우 80% 이상의 확률) 이상으로 촬영객체(P1)의 정보가 분석된다면, 신뢰할 수 있는 분석결과로 이용될 수 있다.
예컨대, 도 3에 도시된 바와 같이, 촬영객체(P1)의 이동에 의해 1차 센서가 움직임으로 탐지하여, CCTV가 1차 센서가 움직임을 감지한 지역을 촬영한 경우, 촬영객체(P1)의 AI 이미지 분석된 결과가 97%로 나타난 경우 침임자가 이동하고 있는 것으로 판단하고, 경보를 울리거나, 관리자 매뉴얼에 따라 절차가 진행된다.
도 4에 도시된 바와 같이, 1차 센서(11, 12)에 의해 움직임이 감지된 지역이 모니터링 화면의 지도에 표시되고(zone 2), 2차 센서인 CCTV(20) 이미지 분석결과 침입자일 확률이 임계 확률 이상인 경우 음성, 화면, 문자, 텍스트 등을 통해 침입자 발생을 경보하게 된다.
전술한 종래의 외곽침입감지 시스템의 경우, 2차 센서인 CCTV(20)의 설치 상태, 성능 및 화질에 따라 촬영객체의 이미지 분석값이 임계확률 미만인 경우에 문제된다. 상술하면, 임계확률 근처의 값으로 촬영객체의 정보가 탐지된 경우, 예컨대, 80%의 임계확률로 설정된 경우 79% 값으로 촬영객체의 정보가 탐지된 경우, 침입자 데이터를 누락시키고 경보를 울리지 않는다면 침입자를 허용할 리스크가 발생한다.
또한, CCTV(20)와 촬영객체의 거리가 먼 경우 촬영객체는 실제로 화면상 사람이 확인할 수도 없을 뿐만 아니라, 디지털 처리하여 이미지 분석한 결과도 촬영객체(P2)의 화질이 열화되어 신뢰성이 매우 낮아지게 된다. 특히, 통상 CCTV의 설치 거리는 대상지역과 주체에 따라 다르게 설치되는데, CCTV 성능상 100m 이상의 촬영객체에 대한 이미지 분석 결과의 신뢰도가 현저히 떨어지는 문제점이 있다.
데이터의 누락을 방지하기 위하여 임계확률을 낮게 설정하는 경우 많은 오탐이 발생할 수 있다. 예컨데, 임계확률을 60% 정도로 설정하는 경우, 갖가지 동물, 새, 그림자 등에 의한 오탐지가 발생하여 불필요한 경보가 수시로 발생할 수 있는 것이다.
따라서, 보안과 관련된 시설은 데이터가 누락되지 않으면서도 오탐지를 최소화 할 수 있는 새로운 기술이 필요한 실정이다.
본 발명은 카메라의 화질이 나쁘거나, CCTV가 커버해야할 거리가 멀어 촬영객체가 매우 작게 촬영된 경우에도, 이미지 분석활률을 높일 수 있는 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 이미지 분석 결과를 재처리 함으로써, 임계확률 근처의 결과를 처리함으로써, 데이터 누락의 리스크를 감소시키고, 오탐지를 줄이는 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법을 제공하는 것을 목적으로 한다.
상기와 같은 목적을 달성하기 위하여, 본 발명은 CCTV를 포함하는 외곽침입감지시스템에 사용되는 AI를 이용한 CCTV 이미지분석 방법에 있어서, 상기 CCTV로 촬영된 이미지를 획득하는 이미지획득단계; 상기 이미지에서 제1 촬영객체의 제1 프레임을 결정하고 이미지분석을 수행하는 1차이미지분석단계; 상기 1차이미지분석단계에서, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 임계확률 이상인 경우 경보를 발생시키는 단계; 상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 상기 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 제1 촬영객체의 프레임에 대한 디지털 확대를 수행하여 제2 촬영객체를 재설정하고 이미지분석을 수행하는 2차이미지분석단계; 및 상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 이상인 경우 상기 외곽침임감지시스템의 경보를 실행하는 단계를 포함하는 외곽침입감지시스템용 AI를 이용한 CCTV 이미지분석 방법을 제공한다.
또한, 본 발명에서, 상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 경보상황 카테고리 유사도가 제거확률 미만인 경우 경보를 울리지 않고 외곽침입감지 절차를 재시작하고, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 이상 상기 임계확률 미만인 경우 상기 2차이미지분석단계를 수행하여 처리속도를 향상시킬 수 있다.
또한, 본 발명은 CCTV를 포함하는 외곽침입감지시스템에 사용되는 AI를 이용한 CCTV 이미지분석 방법에 있어서, 상기 CCTV로 촬영된 이미지를 획득하는 이미지획득단계; 상기 이미지에서 제1 촬영객체의 제1 프레임을 결정하고 이미지분석을 수행하는 1차이미지분석단계; 상기 1차이미지분석단계에서, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 임계확률 이상인 경우 경보를 발생시키는 단계; 상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 상기 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 CCTV는 제1 촬영객체를 광학적으로 확대하여 상기 제2 촬영객체를 재설정하고 이미지분석을 수행하는 2차이미지분석단계; 및 상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 이상인 경우 상기 외곽침임감지시스템의 경보를 실행하는 경보실행단계를 포함하는 외곽침입감지시스템용 AI를 이용한 CCTV 이미지분석 방법을 제공한다.
마찬가지로 이 경우, 상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 경보상황 카테고리 유사도가 제거확률 미만인 경우 경보를 울리지 않고 외곽침입감지 절차를 재시작하고, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 이상 상기 임계확률 미만인 경우 상기 2차이미지분석단계를 수행하여 처리속도를 향상시킬 수 있다.
한편, 본 발명은 상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 제2 촬영객체의 프레임에 대한 디지털 확대를 수행하여 제3 촬영객체를 재설정하고 이미지분석을 수행하는 3차이미지분석단계를 더 포함할 수 있다.
이 경우에도, 상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 제거확률 미만인 경우 경보를 울리지 않고 외곽침입감지 절차를 재시작하고, 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 이상 상기 임계확률 미만인 경우 상기 3차이미지분석단계를 수행하여 처리속도를 증대시킬 수 있다.
본 발명에 따르면, 1차 신호 감지후 2차 CCTV 이미지 분석 결과의 신뢰성을 높일 수 있어서, 실제 침입데이터의 누락을 방지하고, 오탐지 확률을 최소화 할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 외곽침입감지시스템에서 2차 센서로서, CCTV가 커버할 수 있는 대상지역의 범위를 확대할 수 있는 또 다른 효과가 있다.
또한, 본 발명에 따르면, 광학적 확대 후 이미지 분석을 수행하고 이 결과에 대해 다시 디지털적 확대를 통해 이미지 분석을 수행하여 이미지분석 결과의 신뢰도를 현저히 향상시킬 수 있다.
또한, 본 발명에 따르면, 확실히 제거가능한 이미지분석결과에 대해서는 경보를 실행하지 않고, 추가적인 이미지분석도 실행하지 않으므로 처리속도를 향상시킬 수 있는 또 다른 효과가 있다.
도 1은 통상적인 외곽침입감지시스템을 도시한 도면,
도 2는 통상적인 외곽침입감지시스템 근처에 침입자가 움직이는 것을 나타내는 도면,
도 3은 종래 기술에 따른 외곽침입감지시스템을 이용하여 침입자를 촬영객체화 하여 이미지 분석한 결과를 도시한 도면,
도 4는 통상적인 외곽침입감지시스템의 상황실 모니터링 화면으로서, 침입자 발생시 경보화면을 나타낸 도면,
도 5는 외곽침입감지시스템에서 촬영객체가 CCTV로부터 100미터 이상 떨어져 있는 경우를 도시한 도면,
도 6은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법에 이용되는 YOLO 알고리즘을 설명하는 도면,
도 7은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법을 통해 1차적으로 촬영객체를 분석한 결과를 나타낸 도면,
도 8은 도 7의 촬영객체를 디지털 확대하여 2차적으로 촬영객체를 분석한 결과를 나타낸 도면,
도 9는 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제1 실시예를 나타낸 순서도,
도 10은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제2 실시예를 나타낸 순서도,
도 11는 도 7의 촬영객체를 디지털적으로 확대하여 3차적으로 촬영객체를 분석한 결과를 나타낸 도면, 그리고
도 12는 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제3 실시예를 나타낸 순서도이다.
도 2는 통상적인 외곽침입감지시스템 근처에 침입자가 움직이는 것을 나타내는 도면,
도 3은 종래 기술에 따른 외곽침입감지시스템을 이용하여 침입자를 촬영객체화 하여 이미지 분석한 결과를 도시한 도면,
도 4는 통상적인 외곽침입감지시스템의 상황실 모니터링 화면으로서, 침입자 발생시 경보화면을 나타낸 도면,
도 5는 외곽침입감지시스템에서 촬영객체가 CCTV로부터 100미터 이상 떨어져 있는 경우를 도시한 도면,
도 6은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법에 이용되는 YOLO 알고리즘을 설명하는 도면,
도 7은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법을 통해 1차적으로 촬영객체를 분석한 결과를 나타낸 도면,
도 8은 도 7의 촬영객체를 디지털 확대하여 2차적으로 촬영객체를 분석한 결과를 나타낸 도면,
도 9는 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제1 실시예를 나타낸 순서도,
도 10은 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제2 실시예를 나타낸 순서도,
도 11는 도 7의 촬영객체를 디지털적으로 확대하여 3차적으로 촬영객체를 분석한 결과를 나타낸 도면, 그리고
도 12는 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 제3 실시예를 나타낸 순서도이다.
본 명세서에 첨부된 도면들을 참조하여 본 개시의 실시 예들을 설명한다. 본 발명의 실시예는 여러가지의 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시예들로만 한정되는 것은 아니다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있으며, 도면상의 동일한 부호로 표시되는 요소는 동일한 요소이다.
그리고 명세서 전체에서 어떤 부분이 다른부분과 “연결”되어 있다고 할 때 이는 “직접적으로 연결”되어 있는 경우뿐만 아니라 그 중간에 다른 소자를 사이에 두고 “전기적으로 연결”되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 “포함” 또는 “구비”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함하거나 구비할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법의 실시예를 설명한다.
도 5에 도시된 바와 같이, 펜스센서(11)와 바닥센서(12)위를 지나는 움직임을 감지하면, 외곽침입감지시스템의 CCTV(20)는 움직임이 감지된 위치의 촬영객체(P2) 방향을 촬영하여 이미지를 획득한다. 이와 같이 획득된 이미지를 분석하여 촬영객체(P2)의 식별 카테고리를 분석하여 1차 이미지 분석을 수행한다. 여기서 식별 카테고리라 함은 촬영객체의 정보를 특정한 사물로 분류하여 정의하는 원본이미지의 분류 카테고리를 의미한다.
이미지 분석 방법은 처리속도를 높일 수 있는 1 stage detector 방식으로 수행되는 딥러닝 학습 알고리즘으로 처리되며, 여기서 딥러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화를시도하는 기계학습 알고리즘의 집 합으로 정의되며, 큰틀에서 사람의 사고방식을 컴퓨터에게 학습시키는 기계학습의 한 분야이다. 딥러닝 기법들로는 신경망(deep neural networks), 콘볼루션 신경망(convolutional deep neural networks), DBN(deep believe networks) 등과 같은 다양한 기법들이 컴퓨터비젼, 음성인식, 자연어처리, 음성 및 신호 처리 등의 분야에 적용되어 최첨단의 결과들을 보여준다.
본 실시예에서는 도 6에 도시된 바와 같이, 촬영객체(P2)에 대한 이미지 분석을 위하여, 다수 종류의 딥러닝 알고리즘 중 하나의 신경망을 사용하고 이미지 하나에서 동시에 모든 물체의 바운딩 박스(Bounding box)를 찾는 욜로(YOLO) 알고리즘을 기초로 하여 촬영객체의 프레임 내 모든 객체를 식별한다.
본 발명의 이미지 분석 방법은 아래와 같이 수행된다.
본 실시예에서, 이미지 분석은 데이터베이스에 미리 입력된 훈련 데이터, 카메라 촬영 데이터를 기초로 수행된다. 이미지 분석방법은 먼저, CCTV(20)에 촬영된 촬영객체(P2)의 ID, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보 및 해당 객체에서 추출된 복수의 특징점간 벡터 정보를 이용하여 복수개의 프레임별로 원본 데이터셋 (dataset)을 각각 생성한다.
그리고 원본 데이터 셋을 기초로 딥러닝 알고리즘을 이용하여 프레임을 추출하고, 프레임 내에 포함된 객체를 각 프레임별로 식별한다. 이 때, 딥러닝 알고리즘은 욜로 알고리즘을 이용하여 프레임 내 모든 객체를 식별할 수 있다(도 6의 (a) 참조). 그리고 객체 식별시 각 객체별로 생성되는 바운딩 박스를 이용하여 각 객체마다 복수의 특징점을 추출한다. 이 때, 특징점 추출 과정은 촬영객체(P2)의 바운딩박스 내 객체를 이진화하여 윤곽선을 추출하고 추출된 윤곽선에서 변형에 강인한 부분을 특징점으로 추출할 수 있다.
다음으로, 촬영객체(P2)의 식별 대상 이미지에서 추출된 설정 개수의 프레임을 입력 받고, 원본 데이터셋에 저장된 각각의 질의 데이터셋에 포함된 객체의 ID와, 해당 프레임 내에서 해당 객체가 차지하는 면적 비율 정보를 이용하여 각 질의 데이터셋에 대응하는 원본 데이터셋을 각각 추출한다. 그리고 미리 저장된 질의 데이터셋 중 어느 하나의 질의 데이터셋과, 추출된 원본 데이터셋 중 해당 질의 데이터셋에 대응하는 원본 데이터 셋에 각각 포함된 인접한 특징점간 벡터 정보를 이용하여 원본 이미지의 프레임과 식별 대상 이미지의 프레임 간 유사도를 판단하고, 판단된 유사도에 따라 해당 질의 데이터셋의 프레임에 가중치를 부여하되, 생성된 질의 데이터셋의 수만큼 반복하여 유사도 판단 및 가중치를 부여한다. 이 때, 질의 데이터셋과, 해당 질의 데이터셋에 대응하여 추출된 원본 데이터셋에 각각 포함된 인접한 특징점간 벡터 정보 간의 유클리디안 거리(Euclidean Distance)를 이용하여 원본 이미지의 프레임과 식별 대상 이미지의 프레임간 유사도(이하, '카테고리 유사도'라 함)를 결정할 수 있다. 판단된 카테고리 유사도는 확률적으로 표시되며, 카테고리 유사도가 임계확률(X) 이상이면 원본 이미지의 프레임과 촬영객체(P2)의 식별 대상 이미지의 프레임이 유사한 것으로 판단할 수 있다. 여기서 유클리디안 거리는 공식에 의해 n차원의 공간에서 두 특징점(벡터)간의 거리를 측정하여 두 특징점간 유사도를 분석하기 위한 것으로 측정된 거리가 가까울수록 유사하다고 판단하며, 이는 널리 알려진 공지의 기술이므로 자세한 공식은 기재하지 않기로 한다.
예를 들어, 촬영객체(P2)의 식별 대상 이미지에 토끼가 포착된 경우(도 6 (b) 참조), 원본 데이터셋에 미리 저장된 토끼(ID)의 원본 이미지와 카테고리 유사도를 판단하여 그 유사촬영객체가 토끼 라는 카테고리에 포함된다고 판단한다.
도 7에 도시된 바와 같이, 1차 센서에 의해 탐지된 촬영객체(P21)가 있다 하더라도 CCTV(20)로부터 먼거리에 위치하는 경우 CCTV(20)의 촬영이미지에서 획득하는 화소수가 적기 때문에, 원본 이미지와의 카테고리 유사도가 임계확률(X) 이하일 수 있다. 이러한 촬영객체(21)의 데이터를 제거하는 경우, 실제 침입자가 발생하였음에도 외곽침입감지시스템의 경보가 울리지 않는 리스크가 발생할 수 있다. 예컨데, 본 실시예에서 사용된 CCTV로 임계확률(X)을 80%로 설정한 경우, 100m 이하의 거리에서 사람이 촬영객체(P21)로 설정된 경우 카테고리 유사도는 85% 내지 99%로서 데이터 누락의 우려가 거의 없었지만, 100m 내지 150m에 대한 카테고리 유사도는 55% 내지 87%로서 극 소수이지만, 일부 데이터 누락의 우려가 있었다.
본 실시예에서, 도 8에 도시된 바와 같이, 전술한 데이터 누락의 리스크를 감소시키기 위하여, 해당 촬영객체(P21)에 대한 프레임을 4*4배 디지털 확대하여 촬영객체(P22)의 프레임을 재설정하고, 재차 이미지 분석을 실시한 결과 동일한 사람 촬영대상에 대하여, 사람 카테고리에 대하여 58%의 카테고리 유사도를 가지던 사물의 유사도가 85%로 분석되어 데이터 누락을 방지할 수 있었다.
이하, 도 9를 참조하여, 본 발명에 따른 외곽침입감지시스템용 AI를 이용한 강화된 CCTV 이미지분석 방법을 수행하는 제1 실시예를 상술한다. 이 실시예에서, 경보를 울리기 위한 경보상황 카테고리를 침입자로 하고 경보를 울려야 할 침입자 유사도의 임계확률을 X라 한다. 이러한, 경보상황 카테고리는 외곽침입감지시스템의 목적에 따라 추가 또는 제거할 수 있다.
도 9에 도시된 바와 같이, 본 실시예는 펜스 센서(11), 바닥 센서(12)와 같은 물리센서가 작동하면(S10), 해당 물리센서 작동 지역에 대한 CCTV(20) 이미지를 획득한다(S20). 이후, 획득된 이미지에서 촬영객체(P21)의 프레임을 결정하고 1차 이미지분석을 수행한다(S30). 1차 이미지분석 결과에 따라, 촬영객체(P21)의 침입자 유사도가 임계확률(X)이상인 경우 경보를 발생시킨다(S50). 촬영객체(P21)의 침입자 유사도가 임계확률(X) 미만인 경우 촬영객체(P21)에 대한 디지털 확대를 수행하여 촬영객체(P22)를 재설정하고 2차 이미지분석을 수행한다(S60). 2차 이미지분석 결과 촬영객체(P22)의 침입자 유사도가 임계확률(X)이상인 경우(S70) 외곽침임감지시스템의 경보(S50)를 실행한다. 1차 및 2차의 이미지분석결과에도 불구하고 촬영객체(P21) 및 재설정된 촬영객체(P22)의 침입자 유사도가 임계확률(X) 미만인 경우에는 오탐지로 판단하고 경보를 실행하지 않고 외곽침입감지 절차를 재시작 한다.
도 10은 제거확률(X1)을 포함시켜 처리속도를 향상시킬 수 있는 본 발명의 제2 실시예를 나타낸 순서도이다. 도 10에 도시된 바와 같이, 본 실시예는 펜스 센서(11), 바닥 센서(12)와 같은 물리센서가 작동하면(S110), 해당 물리센서 작동 지역에 대한 CCTV(20) 이미지를 획득한다(S120). 이후, 획득된 이미지에서 촬영객체(P21)의 프레임을 결정하고 1차 이미지분석을 수행한다(S130). 1차 이미지분석 결과에 따라, 촬영객체(P21)의 침입자 유사도가 제거확률(X1) 미만인 경우(S140) 오탐지로 판단하고 경보를 울리지 않고 외곽침입감지 절차를 재시작하고, 임계확률(X2) 이상인 경우(S150) 경보(180)를 실행한다(S140).
촬영객체(P21)의 침입자 유사도가 제거확률(X1)이상이지만, 임계확률(X2) 미만인 경우 촬영객체(P21)에 대한 디지털 확대를 수행하여 촬영객체(P22)를 재설정하고 2차 이미지분석을 수행한다(S160). 2차 이미지분석 결과 촬영객체(P22)의 침입자 유사도가 임계확률(X2)이상인 경우(S70) 경보(S180)를 실행한다. 1차 및 2차의 이미지분석 결과에도 불구하고 촬영객체(P21) 및 재설정된 촬영객체(P22)의 침입자 유사도가 임계확률(X2) 미만인 경우에는 오탐지로 판단하고 경보를 실행하지 않고 외곽침입감지 절차를 재시작 한다.
이러한 본 발명의 제2 실시예는 제거확률(X1) 미만인 부분에서 2차 이미지 분석을 실행하지 않기 때문에, 처리속도를 증대 시킬 수 있다. 제거확률(X1)은 카메라 성능과 배치간격에 따라 데이터를 누락시키지 않도록 최적화 된다. 예컨데, 본 발명의 출원인은 테스트 현장에서 실질적으로 CCTV 모니터링 화면에서 사람이 확인할 수 없는 100m 내지 150m 사이의 촬영객체의 경우에도 이미지분석을 통하여 최소 55% 이상의 유사도를 판별할 수 있는 것으로 판단하고, 촬영객체에 대한 제거확률을 50% 이상으로 설정하여 테스트 하였다.
CCTV는 제품 사양에 따라 광학줌이 가능한 모델이 있을 수 있다. 이 경우, 촬영객체의 이미지 분석을 더욱 강화할 수 있다. 도 11은 CCTV(20)에 광학 줌 기능이 있는 경우의 광학줌을 통한 이미지분석 절차를 수행한 도면이다. 도 11에 도시된 바와 같이, 도 7에서 침입자 유사도가 58% 였던 사례에서, 2배 광학줌을 이용하여 촬영객체(P23)프레임을 재설정하고 이미지분석을 한 결과 침입자 유사도가 77%로 강화되었다.
도 12는 도 11과 같이 광학줌 기능을 갖는 CCTV가 설치된 경우에 제2 실시예에서 광학줌에 의한 이미지분석 강화를 통해 성능을 향상시킨 제3 실시예를 나타낸 것이다. 도 12에 도시된 바와 같이, 본 실시예는 펜스 센서(11), 바닥 센서(12)와 같은 물리센서가 작동하면(S210), 해당 물리센서 작동 지역에 대한 CCTV(20) 이미지를 획득한다(S220). 이후, 획득된 이미지에서 촬영객체(P21)의 프레임을 결정하고 1차 이미지분석을 수행한다(S230). 1차 이미지분석 결과에 따라, 촬영객체(P21)의 침입자 유사도가 제거확률(X1) 미만인 경우(S240) 오탐지로 판단하고 경보를 울리지 않고 외곽침입감지 절차를 재시작하고, 임계확률(X2) 이상인 경우(S242) 경보(290)를 실행한다.
촬영객체(P21)의 침입자 유사도가 제거확률(X1)이상이지만, 임계확률(X2) 미만인 경우 촬영객체(P21)에 대한 CCTV의 광학줌을 통해 이미지를 광학적으로 확대하여 촬영객체(P23)의 프레임을 재설정하고 2차 이미지분석을 수행한다(S250). 2차 이미지분석 결과 촬영객체(P23)의 침입자 유사도가 임계확률(X2)이상인 경우(S260) 경보(S290)를 실행한다.
1차 및 2차의 이미지분석결과에도 불구하고 광학적으로 확대되어 프레임이 재설정된 촬영객체(P23)의 침입자 유사도가 임계확률(X2) 미만인 경우에는 촬영객체(P23)에 대한 프레임을 디지털적으로 확대하여 촬영객체(P23)의 프레임을 재설정하고 3차 이미지분석을 수행한다(S270). 2차 이미지분석 결과 촬영객체(도시하지 않음)의 침입자 유사도가 임계확률(X2)이상인 경우(S280) 경보(S290)를 실행한다.
1차 내지 3차의 이미지분석결과에도 불구하고 광학적으로 확대되어 프레임이 재설정된 후 해당 프레임이 디지털 적으로 확대되어 프레임이 또 다시 재설정된 촬영객체의 침입자 유사도가 임계확률(X2) 미만인 경우에는 오탐지로 판단하고 경보를 실행하지 않고 외곽침입감지 절차를 재시작 한다.
이러한 본 발명의 제3 실시예는 제거확률(X1) 미만인 부분에서 2차 이미지 분석을 실행하지 않기 때문에, 처리속도를 증대 시킬 수 있음과 동시에, 광학적 확대 및 디지털적 확대를 통해 이미지분석의 성능을 강화할 수 있다.
이상의 설명은 본 발명의 기술적 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
11 : 펜스 센서 12: 바닥센서
20: CCTV P: 침입자
P1, P2, P21, P22, P23: 촬영객체
20: CCTV P: 침입자
P1, P2, P21, P22, P23: 촬영객체
Claims (6)
- 삭제
- 삭제
- CCTV를 포함하는 외곽침입감지시스템에 사용되는 AI를 이용한 CCTV 이미지분석 방법에 있어서,
상기 외곽침입감지시스템의 물리센서가 작동하면 상기 CCTV로 촬영된 이미지를 획득하는 이미지획득단계;
상기 이미지에서 제1 촬영객체의 제1 프레임을 결정하고 이미지분석을 수행하는 1차이미지분석단계;
상기 1차이미지분석단계에서, 상기 제1 촬영객체의 경보상황 카테고리 유사도가 임계확률 이상인 경우 경보를 발생시키는 단계;
상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 상기 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 CCTV는 제1 촬영객체를 광학적으로 확대하여 제2 촬영객체를 재설정하고 상기 제2 촬영객체에 대한 이미지분석을 수행하는 2차이미지분석단계; 및
상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 이상인 경우 경보를 실행하는 경보실행단계를 포함하고,
상기 1차이미지분석단계에서 분석된 상기 제1 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률보다 낮은 제거확률 미만인 경우 경보를 울리지 않고 외곽침입감지 절차를 재시작하고,
상기 제1 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 이상 상기 임계확률 미만인 경우 상기 2차이미지분석단계를 수행하며,
상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 미만인 경우 상기 제2 촬영객체의 프레임에 대한 디지털 확대를 수행하여 제3 촬영객체를 재설정하고 상기 제3 촬영객체에 대한 이미지분석을 수행하는 3차이미지분석단계를 더 포함하고,
상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 임계확률 이상인 경우 경보를 실행하며,
상기 2차이미지분석단계에서 분석된 상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 미만인 경우 경보를 울리지 않고 외곽침입감지 절차를 재시작하고,
상기 제2 촬영객체의 경보상황 카테고리 유사도가 상기 제거확률 이상 상기 임계확률 미만인 경우 상기 3차이미지분석단계를 수행하는
외곽침입감지시스템용 AI를 이용한 CCTV 이미지분석 방법. - 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210189957A KR102697088B1 (ko) | 2021-12-28 | 2021-12-28 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210189957A KR102697088B1 (ko) | 2021-12-28 | 2021-12-28 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230100242A KR20230100242A (ko) | 2023-07-05 |
| KR102697088B1 true KR102697088B1 (ko) | 2024-08-21 |
Family
ID=87159241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210189957A KR102697088B1 (ko) | 2021-12-28 | 2021-12-28 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102697088B1 (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101897923B1 (ko) * | 2017-09-20 | 2018-10-31 | 한국전력공사 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101394242B1 (ko) * | 2011-09-23 | 2014-05-27 | 광주과학기술원 | 영상 감시 장치 및 영상 감시 방법 |
-
2021
- 2021-12-28 KR KR1020210189957A patent/KR102697088B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101897923B1 (ko) * | 2017-09-20 | 2018-10-31 | 한국전력공사 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230100242A (ko) | 2023-07-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101724658B1 (ko) | 사람 검출 장치 및 방법 | |
| CN111582006A (zh) | 一种视频分析方法及装置 | |
| KR101910542B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| JP4479478B2 (ja) | パターン認識方法および装置 | |
| CN111368771A (zh) | 一种基于图像处理的隧道火灾预警方法、装置、计算机设备以及计算机可读存储介质 | |
| US20130094699A1 (en) | Forest fire smoke detection method using random forest classification | |
| KR102002812B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| CN111724558B (zh) | 一种监控方法、装置及入侵报警系统 | |
| CN107122743B (zh) | 安防监控方法、装置和电子设备 | |
| CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
| CN114445768A (zh) | 目标识别方法、装置、电子设备及存储介质 | |
| EP1010130A1 (en) | Low false alarm rate video security system using object classification | |
| US8923552B2 (en) | Object detection apparatus and object detection method | |
| CN110569770A (zh) | 人体入侵行为识别方法、装置、存储介质及电子设备 | |
| CN114241370A (zh) | 基于数字孪生变电站的入侵识别方法、装置和计算机设备 | |
| US20220035003A1 (en) | Method and apparatus for high-confidence people classification, change detection, and nuisance alarm rejection based on shape classifier using 3d point cloud data | |
| JP4533836B2 (ja) | 変動領域検出装置及びその方法 | |
| CN112541403A (zh) | 一种利用红外摄像头的室内人员跌倒检测方法 | |
| KR100513739B1 (ko) | 얼굴특징을 이용한 움직임 검출장치 및 이를 적용한감시시스템 | |
| KR102697088B1 (ko) | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 | |
| CN115984780B (zh) | 工业固体废物出入库判别方法、装置、电子设备及介质 | |
| US11948362B2 (en) | Object detection using a combination of deep learning and non-deep learning techniques | |
| Jaszewski et al. | Evaluation of maritime object detection methods for full motion video applications using the pascal voc challenge framework | |
| CN114612844A (zh) | 吸烟检测方法、装置、电子设备和存储介质 | |
| US20220036114A1 (en) | Edge detection image capture and recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |