KR101897923B1 - 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 - Google Patents
신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 Download PDFInfo
- Publication number
- KR101897923B1 KR101897923B1 KR1020170121284A KR20170121284A KR101897923B1 KR 101897923 B1 KR101897923 B1 KR 101897923B1 KR 1020170121284 A KR1020170121284 A KR 1020170121284A KR 20170121284 A KR20170121284 A KR 20170121284A KR 101897923 B1 KR101897923 B1 KR 101897923B1
- Authority
- KR
- South Korea
- Prior art keywords
- tracking object
- image
- neural network
- tracking
- alarm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 59
- 238000003860 storage Methods 0.000 title claims description 6
- 238000000605 extraction Methods 0.000 claims abstract description 63
- 230000005540 biological transmission Effects 0.000 claims abstract description 34
- 238000012544 monitoring process Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 11
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000015556 catabolic process Effects 0.000 claims description 2
- 238000006731 degradation reaction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 229910000831 Steel Inorganic materials 0.000 description 6
- 239000010959 steel Substances 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Emergency Management (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 추적 객체 추출 서비스 제공 기술에 관한 것으로, 더 상세하게는 송전선로 및/또는 철탑을 모니터링하는 CCTV(Closed Circuit Television)를 빅 데이터화하고 신경망 학습을 통하여 자동으로 알람 정보 상황을 감지하고 알람 정보를 발생시키기 위한 추적 객체 추출 서비스 제공 시스템 및 이의 방법에 대한 것이다.
Description
본 발명은 추적 객체 추출 서비스 제공 기술에 관한 것으로, 더 상세하게는 송전선로 및/또는 철탑을 모니터링하는 CCTV(Closed Circuit Television)를 빅 데이터화하고 신경망 학습을 통하여 자동으로 알람 정보 상황을 감지하고 알람 정보를 발생시키기 위한 추적 객체 추출 서비스 제공 시스템 및 이의 방법에 대한 것이다.
최근, 딥러닝 모델(Deep Learning Model)은 컴퓨터 비젼(Vision)의 여러 분야에서 눈부신 성능 향상을 보이며, 연구 패러다임을 바꾸고 있다. 기존의 컴퓨터 비젼 연구가 SIFT(Scale Invariant Feature Transform), HOG(Histogram of Oriented Gradient)와 같이 사람의 지식에 기반을 두어 유용한 특징을 설계하는데 집중했다면, 딥러닝은 다층 인공 신경망을 이용해 유용한 특징들을 데이터로부터 직접 학습하는 방식을 취한다.
이러한 학습 기반의 방법은 사람이 미처 알지 못하는 유용한 특징들을 데이터를 통해 직접 찾아낼 수 있기 때문에 성능 향상에 보다 큰 특징을 가진다.
이때, 영상 데이터를 분석하기 위해서는, 딥러닝을 통한 학습의 방법을 이용하고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2016-0138837호(2016년12월06일 공개) 등이 개시되어 있다. 한국공개특허 제2016-0138837호에는, 화자의 발화 문장을 인식하여 음성 인식 문장을 도출하고, 화자의 입술 움직임 영상과 함께 상기 음성 인식 문장을 딥러닝 신경망 회로로 입력하여 발화 문장에 대한 번역 문장을 도출함으로써, 번역 문장의 정확성을 개선할 수 있는 구성을 개시한다.
다만, CCTV와 같이 딥러닝을 위한 객체만을 촬영하는 것이 아닌 영상에서는, 해당 객체를 정확히 분리하는 전처리 과정이 중요하다. 또한, 해당 전처리 과정을 거쳤다고 할지라도, 객체가 정의되어 있지 않거나, 객체의 상황이나 행동을 구별할 수가 없으면 신경망을 통하여 학습할 수 있는 인풋도 없는 셈이다. 따라서, CCTV와 같이 임의의 물체를 촬영하는 조건에서는 사용할 수가 없다.
그리고, 송전선로로 이용되는 지중설비 및/또는 철탑의 경우, 외부인의 접근을 제한하기에 어려운 구조로 되어 있고, 철탑은 도심이 아닌 숲속이나 인적이 드문 장소에 설치되어 관리의 어려움이 존재한다. 현재는 순시인력이 현장 출동시까지 모니터 요원 및 산불감시원을 활용하여 상황을 파악하고 있으나 현장 출동까지 1시간 이상의 장시간이 소요되고 설치제약, 보안성, 비용 등으로 현장 적용이 가능한 감시 시스템이 부재인 상태이다.
1. 김종호외, "계층적 신경망을 이용한 객체 영상 분류" 한국정보처리학회, 2003년
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, CCTV(Closed Circuit Television)와 같이 딥러닝을 위한 객체만을 촬영하는 것이 아닌 영상으로부터 해당 추적 객체를 정확히 분리하는 전처리 과정을 수행할 수 있는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템 및 이의 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 전처리 과정을 통해 생성되는 해당 추적 객체의 상황이나 행동을 구별하여 신경망을 통해 학습이 가능한 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템 및 이의 방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 정의된 추적 객체가 행동하는 일련의 상황을 정의함으로써, 추적 객체가 무엇을 하는지에 대한 확인이 가능해지고, 이에 따라 알람 정보를 울려야 하는 상황에서 감시자에게 상황 및 위치 정보를 전송함으로써, 항시 CCTV를 감시하지 않아도 위험 상황 등을 포함하는 알람 정보 상황을 즉시 인지할 수 있는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템 및 이의 방법을 제공하는데 또 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, CCTV(Closed Circuit Television)와 같이 딥러닝을 위한 객체만을 촬영하는 것이 아닌 영상으로부터 해당 추적 객체를 정확히 분리하는 전처리 과정을 수행할 수 있는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템을 제공한다.
상기 추적 객체 추출 서비스 제공 시스템은,
송전 설비를 모니터링하여 영상 정보를 생성하는 다수의 영상 촬영기;
네트워크와 연결되어 상기 영상 정보를 수집하여 미리 설정되는 신경망 학습 모델을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하고, 상기 추적 객체와 미리 설정되는 기준 객체의 비교 결과에 따라 알람 정보를 생성하는 서비스 관리 서버; 및
상기 알람 정보를 출력하는 사용자 단말;을 포함하는 것을 특징으로 한다.
이때, 상기 서비스 관리 서버는, 데이터베이스화되는 영상 정보로부터 객체 필터를 이용하여 상기 추적 객체를 추출하는 추출부; 상기 추적 객체가 상기 기준 객체와 동일하거나 초과하는 지를 비교하여 상기 추적 객체를 상기 기준 객체에 매핑하여 미리 저장된 해당 명칭으로 정의하는 정의부; 상기 해당 명칭에 따른 미리 매핑되어 상황 데이터베이스에 저장되는 알람 상황 이벤트를 검색하고, 상기 추적 객체의 움직임에 따른 상기 추적 객체의 현재 이벤트와 상기 추적 객체의 알람 상황 이벤트를 비교하는 비교부; 및 비교결과에 따라 상기 알람 정보를 생성하는 알람부;를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 알람 정보는 상기 추적 객체가 촬영된 해당 영상 촬영기의 위치 정보, 알람 상황 이벤트의 종류, 명칭, 및 상기 추적 객체가 영상 정보에 포함되어 점유된 점유 시간 중 적어도 하나 이상을 포함하는 것을 특징으로 할 수 있다.
또한, 상기 정의부는, 서비스 관리 서버는, 상기 현재 이벤트가 상기 알람 상황 이벤트와 유사 또는 동일하지 않으면, 사용자 단말에 정의를 요청하고 응답을 수신하여 상기 상황 데이터베이스를 갱신하는 것을 특징으로 할 수 있다.
또한, 상기 객체 필터는 빅데이터로 데이터베이스화되는 영상 정보를 이용하여 생성되는 신경망 기반 학습 데이터셋(DataSet)을 통해 생성되는 것을 특징으로 할 수 있다.
또한, 상기 기준 객체는 상기 학습 데이터셋내에 미리 설정되어 있는 것을 특징으로 할 수 있다.
또한, 상기 영상 정보는 상기 송전 설비 및 상기 송전 설비의 주변을 촬영한 주변 영상을 포함하는 것을 특징으로 할 수 있다.
또한, 상기 정의부는, 상기 추적 객체의 추출이 저하되는 현상을 극복하기 위해 상기 영상 정보의 원영상내에서 상기 추적 객체가 존재할 확률이 미리 설정되는 기준 수치인 각 후보 영역을 확대하고 해상도를 높여 상기 추적 객체의 추출을 재수행하는 것을 특징으로 할 수 있다.
또한, 상기 미리 저장된 해당 명칭으로 정의는, 상기 추적 객체가 학습 데이터셋의 기준 객체와 동일하거나 유사도 이하이면, 상기 추적 객체의 이미지가 미리 설정된 해상도 및 크기를 만족하는지를 확인하고, 상기 추적 객체의 이미지가 상기 미리 설정된 해상도 및 크기를 만족하지 않으면 상기 추적 객체의 이미지의 크기를 미리 설정된 기준 크기로 확대시키며, 상기 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하고, 상기 추적 객체의 특징을 나타내는 특징맵(Feature Map)을 생성하는 것을 특징으로 할 수 있다.
또한, 상기 알람부는, 상기 특징맵을 이용하여 상기 추적 객체의 확률 목록을 작성하고, 상기 추적 객체의 명칭을 상기 학습 데이터셋을 이용하여 정의하고, 상기 추적 객체의 명칭이 상기 학습 데이터셋으로 정의되지 못하면, 상기 사용자 단말의 결재함에 추가하는 것을 특징으로 할 수 있다.
또한, 상기 정의부는, 상기 결재함에 추가 저장된 추적 객체가 미리 설정된 수 이상 또는 결재함의 확인 기간이 미리 설정된 기간이면, 상기 사용자 단말로 상기 추적 객체의 정의를 요청하고, 상기 사용자 단말에서 상기 추적 객체의 정의가 내려지면, 상기 학습 데이터셋에 상기 추적 객체를 전송하여 신경망 학습을 갱신하고 데이터베이스화하는 것을 특징으로 할 수 있다.
또한, 상기 학습 데이터셋은, 미리 설정된 주기 또는 실시간으로 업데이트되는 것을 특징으로 할 수 있다.
또한, 상기 알람 정보는 문자, 이미지 또는 동영상 중 어느 하나 또는 어느 하나 이상의 조합으로 상기 사용자 단말기에 전송되는 것을 특징으로 할 수 있다.
또한, 상기 알람 정보는 문자, 이미지 또는 동영상 중 어느 하나 또는 어느 하나 이상의 조합으로 상기 사용자 단말기에 전송되는 것을 특징으로 할 수 있다.
또한, 상기 신경망 학습 모델은 신경망 컨볼루션 기반 딥러닝 모델, 순환적 컨볼루션 신경망 모델(Recurrent Convolutional Neural Network; rCNN), 장단기 기억 (Long Short-Term Memory; LSTM) 순환신경망 모델 중 어느 하나인 것을 특징으로 할 수 있다.
또한, 상기 영상 정보는 상기 영상 촬영기의 위치와 상기 송전 설비를 식별할 수 있는 식별자를 포함하는 것을 특징으로 할 수 있다.
다른 한편으로, 본 발명의 다른 일실시예는, (a) 다수의 영상 촬영기가 송전 설비를 모니터링하여 영상 정보를 생성하는 영상 정보 생성 단계; (b) 서비스 관리 서버가 네트워크와 연결되어 상기 영상 정보를 수집하여 미리 설정되는 신경망 학습 모델을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하고, 상기 추적 객체와 미리 설정되는 기준 객체의 비교 결과에 따라 알람 정보를 생성하는 단계; (c) 사용자 단말이 상기 알람 정보를 출력하는 단계;를 포함하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 방법을 제공할 수 있다.
또한, 상기 (b) 단계는, 추출부가 데이터베이스화되는 영상 정보로부터 객체 필터를 이용하여 상기 추적 객체를 추출하는 단계; 정의부가 상기 추적 객체가 상기 기준 객체와 동일하거나 초과하는 지를 비교하여 상기 추적 객체를 상기 기준 객체에 매핑하여 미리 저장된 해당 명칭으로 정의하는 단계; 비교부가 상기 해당 명칭에 따른 미리 매핑되어 상황 데이터베이스에 저장되는 알람 상황 이벤트를 검색하고, 상기 추적 객체의 움직임에 따른 상기 추적 객체의 현재 이벤트와 상기 추적 객체의 알람 상황 이벤트를 비교하는 단계; 및 알람부가 비교결과에 따라 상기 알람 정보를 생성하는 단계;를 포함하는 것을 특징으로 할 수 있다.
또 다른 한편으로, 본 발명의 또 다른 일실시예는 위에서 기술한 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 방법을 실행하는 프로그램 명령 코드를 저장한 컴퓨터 판독 가능 저장 매체를 제공할 수 있다.
본 발명에 따르면, 송전선로 및/또는 철탑에서 촬영되는 객체를 학습 데이터셋으로 빅데이터 및 데이터베이스화하고, 데이터를 신경망 컨볼루션을 통하여 학습시킴으로써 촬영된 영상으로부터 배경을 분리하여 추적 객체를 추출 및/또는 정의할 수 있다.
또한, 본 발명의 다른 효과로서는 정의된 추적 객체가 행동하는 일련의 상황을 정의함으로써, 추적 객체가 무엇을 하는지에 대한 확인이 가능해진다는 점을 들 수 있다.
또한, 본 발명의 또 다른 효과로서는 추적 객체가 무엇을 하는지에 대한 확인이 가능하게 됨에 따라 알람 정보를 울려야 하는 상황에서 감시자에게 상황 및/또는 위치 정보를 전송함으로써, 항시 CCTV를 감시하지 않아도 위험 상황 등을 포함하는 알람 정보 상황을 즉시 인지할 수 있다는 점을 들 수 있다.
도 1은 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 제공 시스템(100)을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 추적 객체 추출 서비스를 제공하는 서비스 관리 서버(130)의 상세한 구성 블럭도이다.
도 3 내지 도 8은 본 발명의 일실시예에 따른 추적 객체 추출 서비스 중 추적 객체의 명칭을 정의하는 예시들을 설명하기 위한 개념도이다.
도 9 내지 도 13은 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 중 정의된 추적 객체가 이루는 상황을 정의하는 예시들을 설명하기 위한 개념도이다.
도 14는 본 발명의 일실시예에 따른 추적 객체 추출 서비스 제공을 수행하기 위해 각 구성 요소들 상호 간의 타이밍도이다.
도 15는 본 발명의 일실시예에 따른 추적 객체 추출 서비스 제공 과정을 보여주는 흐름도이다.
도 16은 본 발명의 일실시예에 따른 추적 객체 추출 서비스에서 이용되는 신경망 알고리즘을 설명하기 위한 개념도이다.
도 17은 본 발명의 다른 일실시예에 따른 영상 획득으로부터 추적 객체를 추출하고 추적 객체를 정의하는 과정을 보여주는 흐름도이다.
도 18은 도 17에 따른 추적 객체를 정의하여 분류하는 과정을 보여주는 흐름도이다.
도 2는 도 1에 도시된 추적 객체 추출 서비스를 제공하는 서비스 관리 서버(130)의 상세한 구성 블럭도이다.
도 3 내지 도 8은 본 발명의 일실시예에 따른 추적 객체 추출 서비스 중 추적 객체의 명칭을 정의하는 예시들을 설명하기 위한 개념도이다.
도 9 내지 도 13은 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 중 정의된 추적 객체가 이루는 상황을 정의하는 예시들을 설명하기 위한 개념도이다.
도 14는 본 발명의 일실시예에 따른 추적 객체 추출 서비스 제공을 수행하기 위해 각 구성 요소들 상호 간의 타이밍도이다.
도 15는 본 발명의 일실시예에 따른 추적 객체 추출 서비스 제공 과정을 보여주는 흐름도이다.
도 16은 본 발명의 일실시예에 따른 추적 객체 추출 서비스에서 이용되는 신경망 알고리즘을 설명하기 위한 개념도이다.
도 17은 본 발명의 다른 일실시예에 따른 영상 획득으로부터 추적 객체를 추출하고 추적 객체를 정의하는 과정을 보여주는 흐름도이다.
도 18은 도 17에 따른 추적 객체를 정의하여 분류하는 과정을 보여주는 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '~부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 일실시예에 따른 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템 및 이의 방법을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 제공 시스템(100)을 설명하기 위한 구성도이다. 도 1을 참조하면, 추적 객체 추출 서비스 제공 시스템(100)은, 송전선로, 철탑 등의 송전 설비를 모니터링하여 영상 정보를 생성하는 다수의 영상 촬영기(110), 네트워크(120), 이 네트워크(120)와 연결되어 영상 정보를 수집하고 이 영상 정보로부터 신경망 컨볼루션 기반 딥러닝을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하여 이 추적 객체를 이용하여 알람 정보를 생성하는 서비스 관리 서버(130), 알람 정보를 수신하는 제 1 내지 제 n 사용자 단말(140-1 내지 140-n) 등을 포함하여 구성할 수 있다.
다만, 이러한 도 1의 추적 객체 추출 서비스 제공 시스템(100)은, 본 발명의 일실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 120)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나 이상의 영상 촬영기(110)는, 서비스 관리 서버(130)와 네트워크(120)를 통하여 연결될 수 있다. 그리고, 적어도 하나의 영상 촬영기(110)는, 네트워크(120)를 통하여 서비스 관리 서버(130)와 연결되고, 이러한 서비스 관리 서버(130)를 통하여 제 1 내지 제 n 사용자 단말(140-1 내지 140-n)과 직접 및/또는 간접으로 연결될 수 있다.
송전 설비(10)는 송전 선로, 철탑 등이 될 수 있다.
제 1 내지 제 n 사용자 단말(140-1 내지 140-n)은 관리자 단말, 감시자 단말 등을 포함하여 구성될 수 있다. 예를 들면, 제 1 사용자 단말(140-1)은 관리자 단말이 되고, 제 2 내지 n-1 사용자 단말(140-2 내지 140-n-2)은 일반 사용자 단말이 되고, 제 n 사용자 단말(140-n)은 감시자 단말이 될 수 있다. 물론, 일반 사용자 단말이 없고, 관리자 단말, 감시자 단말이 복수개로 구성될 수 있다.
따라서, 관리자 단말인 제 1 사용자 단말(140-1)은 네트워크(120)를 경유하고 서비스 관리 서버(130)를 통하여 적어도 하나의 영상 촬영기(110)로 연결될 수 있다. 그리고, 감시자 단말인 제 n 사용자 단말(140-n)은, 네트워크(120)를 경유하고 서비스 관리 서버(130)를 통하여 제 1 사용자 단말(140-1)과 연결될 수 있다.
제 1 내지 제 n 사용자 단말(140-1 내지 140-n)은 스마트 폰(141), 태블릿 PC(Personal Computer)(142), 노트북(143), 개인용 컴퓨터(144) 등이 될 수 있다.
영상 촬영기(110)는 송전 설비(10)를 모니터링하고 영상을 촬영하는 기능을 수행한다. 따라서, 영상 촬영기(110)는 CCTV(Closed Circuit Television), CCD(Charge-Coupled Device) 카메라, CMOS(complementary metal-oxide semiconductor) 카메라 등이 될 수 있다,
또한, 영상 촬영기(110)는, 영상을 촬영하여 서비스 관리 서버(130)로 영상 정보를 전송한다. 이때, 영상 촬영기(110)는, 적어도 하나의 영상 촬영기(110)에 부여된 식별자를 영상의 헤더에 붙여 보내는 장치일 수 있다. 여기서, 영상 정보는 송전선로, 철탑 등의 송전 설비 및/또는 그 주변을 촬영한 영상을 포함할 수 있다. 그 이유는, 송전선로의 경우, 지하 매설물로서 지상에서 공사 및 작업으로 인하여 선로가 단절되는 사고 발생이 되기 때문이다.
네트워크(120)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(120)의 일예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 블루투스(Bluetooth) 네트워크, NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
서비스 관리 서버(130)는, 추적 객체 추출 서비스를 제공하는 앱 페이지, 웹 페이지, 애플리케이션, 프로그램 등을 직접 및/또는 간접적으로 제공하는 서버일 수 있다. 그리고, 서비스 관리 서버(130)는, 적어도 하나의 영상 촬영기(110)에서 영상이 전송되는 경우, 식별자를 이용하여 CCTV의 위치 및 CCTV가 촬영하고 있는 촬영 시설물을 구분하는 서버일 수 있다. 또한, 서비스 관리 서버(130)는, 영상을 영상 데이터베이스에 저장하고, 저장된 영상 중에서 추출해야 할 객체인 추출 객체를 추출하는 서버일 수 있다.
그리고, 서비스 관리 서버(130)는, 추출 객체를 추출한 후, 추출 객체를 식별하기 위하여, 기 저장되고 정의된 기준 객체와 추출 객체를 비교하고, 추출 객체를 정의하는 서버일 수 있다. 여기서, 추출 객체와 기 정의된 객체가 유사 또는 동일하지 않을 경우, 서비스 관리 서버(130)는, 관리자 단말로 정의를 요청하고 그 응답으로 정의된 명칭을 해당 추출 객체와 매핑하여 저장하는 서버일 수 있다. 또한, 서비스 관리 서버(130)는, 정의된 추출 객체가 이루는 일련의 행동을 파악하기 위하여, 상황 데이터베이스에 저장된 상황 알람 정보 이벤트와 추적 객체의 현재 이벤트를 비교하는 서버일 수 있다.
그리고, 서비스 관리 서버(130)는, 현재 이벤트가 기 저장된 상황 알림 이벤트와 유사 또는 동일한 경우, 기 저장된 상황 알림 이벤트에 매핑된 정의를 이용하여 현재 이벤트를 정의한다.
이와 달리, 현재 이벤트가 기 저장된 상황 알림 이벤트와 유사 또는 동일하지 않은 경우, 관리자 단말로 정의를 요청 및 응답을 수신하여 상황 데이터베이스를 학습시키도록 업데이트하는 서버일 수 있다. 상술한 객체 추출, 명칭 정의 및 상황 정의에 대한 과정은 이하에서 상세히 설명하기로 한다.
또한, 서비스 관리 서버(130)는, 기 저장된 상황 알람 정보 이벤트와 현재 이벤트가 일치하는 경우, 알람 정보를 생성하여 관리자 단말 및 감시자 단말로 전송하는 서버일 수 있다. 그리고, 서비스 관리 서버(130)는, 관리자 단말로부터 추출 객체의 명칭 및/또는 상황에 대한 정의가 수신된 경우, 학습 데이터셋 및 상황 데이터베이스를 학습 및/또는 업데이트하는 서버일 수 있다.
이때, 서비스 관리 서버(130)는, 네트워크(120)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 스마트폰, 태블릿 PC, 랩톱(Laptop) 등을 포함할 수 있다.
관리자 단말(140-1 내지 140-n 중 하나 또는 하나 이상)은, 적어도 하나의 영상 촬영기(110)로부터 수신된 영상이 RAW 영상인 경우, 각각의 명칭을 정의하고, 상황을 정의하여 빅데이터를 딥러닝시키는 입력값을 제공하는 단말일 수 있다.
또한, 관리자 단말은, 서비스 관리 서버(130)로부터 미정의되거나 정의가 어려운 객체 또는 상황에 대한 정의요청이 수신되는 경우, 객체 또는 상황을 정의하여 정의된 객체 또는 상황이 매핑된 추적 객체의 이미지 및 영상으로 학습 데이터셋 또는 상황 데이터베이스가 신경망 학습을 시작하도록 하는 단말일 수 있다.
그리고, 관리자 단말은, 서비스 관리 서버(130)로부터 알람 정보이 수신된 경우, 수신된 알람 정보를 출력하는 단말일 수 있다. 여기서, 관리자 단말은, 감시자 단말(140-1 내지 140-n 중 하나 또는 하나 이상)과 연동하여, 알람 정보가 울린 상황이 정리되는 것을 모니터링하는 단말일 수 있다.
관리자 단말은, 네트워크(120)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 셋탑 박스, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 스마트 폰, 랩톱(Laptop) 등을 포함할 수 있다. 이때, 관리자 단말은, 네트워크(120)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다.
감시자 단말(140-1 내지 140-n 중 하나 또는 하나 이상)은, 서비스 관리 서버(130)로부터 알람 정보가 전송되는 경우, 위치 및 상황에 대한 보고를 출력하고, 해당 상황이 벌어지고 있는 위치로 이동하는 감시자의 단말일 수 있다. 그리고, 감시자 단말은, 상황이 정리되는 경우, 그 결과를 서비스 관리 서버(130)로 전송하는 단말일 수 있다.
여기서, 감시자 단말은, 네트워크(120)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 셋탑 박스, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
감시자 단말 및 관리자 단말은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1에 도시된 타겟 객체 추출 서비스를 제공하는 서비스 관리 서버(130)의 상세한 구성 블럭도이고, 도 3 내지 도 8은 본 발명의 일실시예에 따른 타겟 객체 추출 서비스 중 추적 객체의 명칭을 정의하는 예시들을 설명하기 위한 개념도이고, 도 9 내지 도 13은 본 발명의 일 실시예에 따른 타겟 객체 추출 서비스 중 정의된 추적 객체가 이루는 상황을 정의하는 예시들을 설명하기 위한 개념도이고, 도 14는 본 발명의 일실시예에 따른 타겟 객체 추출 서비스 제공을 수행하기 위해 각 구성 요소들 상호 간의 타이밍도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서비스 관리 서버(130)는, 데이터베이스화부(210), 추출부(220), 정의부(230), 비교부(240), 알람부(250), 영상 DB(211), 학습 데이터셋(DataSet, 231), 상황 DB(251)를 포함하여 구성될 수 있다.
본 발명의 일 실시예에 따른 서비스 관리 서버(130) 또는 서비스 관리 서버(130)와 연동되어 동작하는 다른 서버(미도시)가 관리자 단말 및 감시자 단말로 추적 객체 추출 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 관리자 단말 및 감시자 단말은, 추적 객체 추출 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다.
또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 관리자 단말 및 감시자 단말에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app) 등을 포함한다.
이때, 네트워크(120)의 연결은, 적어도 하나의 영상 촬영기(110), 서비스 관리 서버(130), 관리자 단말, 및 사용자 단말(140-1 내지 140-n)이 네트워크(120)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 서비스 관리 서버(130)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.
본 발명의 일 실시예에 따른 서비스 관리 서버(130)는, CCTV(Closed Circuit Television) 등과 같은 영상 촬영기(도 1의 110)를 이용한 추적 객체의 검출성능을 올리기 위한 방법으로, 영상의 각 프레임을 이용해 다양한 후보 영역을 추출하고, 추출된 후보 영역 중 추적 객체가 존재할 가능성이 가장 높은 영역을 이용해 어떤 객체인지 분류하게 된다.
이때, 추적 객체가 일정 수준으로 작아지면 해상도가 낮아져 추출되는 특징 값들이 배경과 구분하기 어렵게 되기 때문에 추적 객체의 거리가 멀어짐에 따라 검출 성능이 저하되는 결과를 보인다. 따라서, 낮은 해상도와 원거리에 대한 추적 객체 검출이 저하되는 현상을 극복하기 위한 방법으로 원영상내에서 객체가 존재할 확률이 기준 수치인 각 후보영역을 확대하여 객체 매칭을 재수행한다. 이때, 확대한 영상으로부터 추출한 객체는 원영상내에 인식결과를 표시한다. 여기서, 광학적 또는 디지털 줌을 이용할 수 있다.
그리고, 서비스 관리 서버(130)는 송전탑 주변의 일정 범위 내의 객체를 구분하고 송전탑 주변의 상황을 감시할 수 있다. 이때, 서비스 관리 서버(130)는 송전탑 주위의 감시영역 설정은 송전탑 하단 각 주춧돌의 거리로 화면 직선거리를 측정하여 감시영역으로 제시되는 거리를 비율 계산법을 통해 계산하여 거리를 측정하고 범위를 지정할 수 있다. 이때, 서비스 관리 서버(130)는 범위내의 CCTV 영상을 분석하고 검출된 객체 중 정의가 불분명한 객체에 대해서는 줌인하여 객체를 재정의한다.
이를 통해서, 멀리 떨어져 있는 객체 또는 나무 및 바위와 같은 장애물에 가려져 일부만 드러난 객체의 경우에도 정의가 가능하다. 이는 송전탑 주변에 허가되지 않은 작업 차량 및 사람들의 출입을 통제하는 역할로 유용하다. 특히 송전탑에서 사람이 직접 올라가서 작업하는 상황은 현재 송전탑에 사람이 몇 명 올라가서 작업하는가를 확인 가능하여 신고된 작업인원과 실 작업인원을 비교하여 등록된 작업의 작업인원과 차이가 있을시 경고를 발생하여 관제직원이 직접 확인하여 이상 상황 여부를 확인할 수 있다.
이하에서는, 상술한 기능을 가지는 서비스 관리 서버(130)의 구성을 설명한다.
데이터베이스화부(210)는, 적어도 하나의 영상 촬영기(110)로부터 영상 정보를 수집하여 빅데이터로 데이터베이스화하는 기능을 수행한다.
추출부(220)는, 영상 정보로부터 신경망 기반 기 생성된 학습 데이터셋(231)(DataSet)으로부터 생성된 객체 필터를 이용하여 추적 객체를 추출할 수 있다. 여기서, 상술한 바와 같이, 추적 객체가 필터링되면, 하나의 프레임의 필터링된 영역에 대하여 객체 정의 가능 여부를 판단하고, 추적 객체가 정의 가능할 때까지 한계 범위 내로 확대한다.
이후, 추적 객체를 확대 및 해상도를 높여서 추적 객체의 정의가 가능하도록 한 후, 한계치까지 확대해도 정의가 안되는 추적 객체에 대해 업데이트하며, 추적 객체를 정의하여 분류하는 과정을 거친다. 물론, 다른 실시예가 적용될 수 있거나 변경 가능함은 자명하다 할 것이다.
정의부(230)는, 추출된 추적 객체가 학습 데이터셋(231)의 기준 객체와 동일하거나 기 설정된 유사도를 초과하는 경우, 추적 객체를 기준 객체에 매핑되어 저장된 명칭으로 정의할 수 있다.
이를 위하여, 정의부(230)는, 추출된 추적 객체가 학습 데이터셋(231)의 기준 객체와 동일하거나 기 설정된 유사도 이하인 경우, 추적 객체의 이미지가 기 설정된 해상도 및 크기를 만족하는지를 확인할 수 있다. 그리고, 정의부(230)는, 추적 객체의 이미지가 기 설정된 해상도 및 크기를 만족하지 않는 경우, 추적 객체의 이미지의 크기를 기 설정된 기준 크기로 확대시킬 수 있다.
즉, 영상 샘플링 과정에서는, 영상 정보를 샘플링하여 이미지 화면을 추출하는 것으로, 동시에 관련 영상 정보를 저장할 수 있는데, 영상 샘플링은 일반적으로 초당 15초 프레임 또는 30 프레임이 입력되지만, 상황의 변화가 크게 변동되지 않으므로, 바람직하게는 하나의 프레임만을 임의적으로 사용할 수 있다.
또한, 정의부(230)는, 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하여 추적 객체의 특징을 나타내는 특징맵(Feature Map)을 생성할 수 있다.
여기서, 필터 적용은, 학습 데이터셋에서 만들어진 필터를 사용하여 배경을 제외한 객체를 찾는 과정으로, 객체 추출은, 필터 적용 결과 원하는 타겟에 대한 이미지상의 객체 이미지를 배경과 분리하는 작업이다. 여기서, 추출된 객체가 학습 데이터셋(231)에 저장된 객체와 유사 또는 동일하다면, 저장된 객체의 정의를 인용하면 되고, 이를 위하여, 객체의 이미지 데이터를 1차원적으로 나열하여 XOR 연산으로 처리하는 방법을 이용할 수 있다.
이를 위하여, 컨볼루션 신경망(Convolutional Neural Network: CNN)이 이용될 수 있는데, 이는 하나 또는 여러 개의 컨볼루션 레이어(Layer)와 그 위에 올려진 일반적인 인공 신경망 레이어들로 이루어져 컨볼루션 레이어에서 전처리를 수행하는 구조를 가진 인공신경망으로, 영상 또는 음성과 같은 2차원 입력 데이터에 적합한 구조이다. 즉, 전처리(pre-processing) 과정이 실제 성능에 큰 영향을 미치기때문에, 전처리의 성능이 가장 좋은, 즉 가장 좋은 특징맵(Feature Map)을 생성하는 컨볼루션 필터(Convolution Filter)를 학습하는 모델을 생성할 수 있다.
또한, 정의부(230)는, 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하여 추적 객체의 특징을 나타내는 특징맵(Feature Map)을 생성한 후, 생성된 특징맵을 이용하여 추적 객체의 확률 목록을 작성할 수 있다.
여기서, 컨볼루션 신경망은, 다층 인공신경망의 일종으로 이미지와 같이 각 데이터 차원간 기하적 연관성을 가지는 데이터를 효과적으로 인식하기 위한 것이며, 컨볼루션 신경망 모델은 모든 데이터 차원을 동시에 모델링 하는 대신 기하학적으로 가까이 있는 국부 영역의 차원들 사이의 패턴만을 모델링함으로써 모델의 복잡도를 줄일 수 있다. 그리고, 이미지 데이터의 경우 이러한 특징이 특히 유용한 것을 볼 수 있는데, 이미지에서 윤곽선은 인접한 픽셀들 사이에서 나타나는 한 패턴이고 도형은 인접한 윤곽선들이 모여서 나타내는 패턴이므로 국부 영역을 모델링하는 것으로 충분하기 때문이다.
또한, 이러한 국부 패턴은 이미지의 모든 영역에서 나타날 수 있는데, 컨볼루션 신경망은 패턴을 영역별로 독립적으로 모델링하지 않고 커널(Kernel)의 형태로 모든 영역에서 공통적으로 모델링하므로 효율적이다. 이렇게 커널을 전체 이미지 영역을 움직이면서 계산하는 것을 컨볼루션 연산이라고 하는데, 컨볼루션 신경망 모델의 가장 주요한 요소이며 여러 층의 컨볼루션 유닛을 둠으로써 픽셀의 조합으로부터 윤곽선을, 윤곽선의 조합으로부터 도형을, 도형의 조합으로부터 물체를 단계적으로 찾아낼 수 있다.
컨볼루션 신경망의 또 다른 요소는 통합(Pooling)연산이다. 컨볼루션 연산은 앞서 설명한 바와 같이 이미지의 어떤 영역에 어떤 국부 패턴이 있는지를 찾아내며 이를 반복하면 얼굴이나 물체를 찾아낼 수 있다. 하지만, 연산을 반복하더라도 패턴이 이미지 내 어느 부분에 있는지 정보를 계속 유지하게 되는데, 많은 인식 문제에서 이는 불필요한 정보이다. 예컨대, 물체 인식 문제에서는 주어진 이미지가 어떤 물체인지가 중요할 뿐 정확히 어떤 위치에 물체가 있는지 정보는 인식 성능에 영향을 주지 않으며 오히려 불필요한 노이즈로 작용할 수 있다. 통합 연산은 이러한 위치 정보를 줄여, 보다 노이즈에 강인하게 만들어준다.
보다 자세히는, 통합 연산은 컨볼루션 연산의 결과가 입력으로 주어지면 이들의 위치 해상도를 두 세배 정도로 줄여 주는 역할을 한다. 이때, 출력되는 정보는 인접한 네 개 혹은 아홉 개(각각 두 배, 세 배 축소의 경우)의 차원 중 가장 큰 값으로 결정된다. 이와 같이 통합 연산을 하는 경우 이미지 내에서 물체가 평행으로 조금 옮겨지더라도 출력되는 값이 같으므로 노이즈에 강인하게 된다.
따라서, 컨볼루션 연산과 통합 연산을 여러 차례 번갈아가며 수행하고 나면 위치 정보가 제거된 상세한 패턴 정보를 가진 특징들이 추출된다. 보다 높은 인식 성능을 위해 마지막으로 이들 특징들 간의 연관성을 일반적인 신경망으로 모델링하여 최종 인식 결과를 출력할 수 있다.
이때, Faster R-CNN 플로우로 추적 객체를 필터링(proposals), 객체를 정의(classifier)는 두 가지 모듈을 사용해 영상이미지에 어떤 사물이 있는지 구분하고, 원 이미지에 대해 컨볼루션을 적용하고 특징맵을 생성하며, 특징맵에서 추적 객체를 필터링하며, 필터링된 부분들은 구분자를 통해 어떤 객체인지 정의하게 된다.
이에 따라, 정의부(230)는, 추적 객체의 명칭을 학습 데이터셋(231)을 이용하여 정의하고, 추적 객체의 명칭이 학습 데이터셋(231)으로 정의되지 못하는 경우, 관리자 단말의 결재함에 추가할 수 있고, 결재함에 추가 저장된 추적 객체가 기 설정된 수 이상 또는 결재함의 확인 기간이 기 설정된 기간인 경우, 관리자 단말로 추적 객체의 정의를 요청할 수 있다.
또한, 정의부(230)는, 관리자 단말에서 추적 객체의 정의가 내려진 경우, 학습 데이터셋(231)에 추적 객체를 전송하여 신경망 학습 및 데이터베이스화할 수 있다.
이때, 영상은 비디오 데이터이고, 비디오 데이터는 이미지의 시퀀스이므로 자연스러운 확장으로서 시간 축을 추가한 3차원 컨볼루션 신경망이 적용될 수도 있다. 이때, 딥러닝과 함께 이용하면서 기존의 휴리스틱을 이용하여 전처리했던 부분을 3차원 컨볼루션으로 대체할 수 있다. 여기서, 3차원 컨볼루션 연산은, 커널이 3차원 큐브 형태로 시간 축으로도 국부적인 특징만을 모델링 한다.
예를 들어, 전체 30 프레임으로 구성된 비디오가 있을 경우, 이들 30프레임을 동시에 모델링하지 않고, 5 프레임 정도 크기의 커널을 두어 시간 축으로 컨볼루션 연산을 하는 방식을 이용할 수 있다. 이러한 방식이 타당한 이유는 시간도 공간과 마찬가지로 긴 시간차이에 비해 인접한 시간들 사이에 유용한 패턴들이 존재하며, 각 패턴은 30프레임의 시작이나 중간, 끝 어느 곳에서도 등장할 수 있기 때문이다.
또한, 시간 축 방향으로의 통합 연산도 합리적인데, 예를 들어 5초가량의 비디오 클립이 있을 때 사람이 손을 흔드는 동작이 비디오의 시작 부분에 나오든, 끝 부분에 나오든, 혹은 조금 다른 속도로 나오든 모두 손을 흔드는 동작임에는 다름이 없다. 즉, 정확한 시점에 대한 해상도는 인식 문제에 있어서 크게 영향을 주지 못하고 노이즈로 작용할 수 있다는 것이다. 따라서 이미지의 경우와 마찬가지로 통합 연산을 적용하여 시간적인 노이즈에 강인한 모델을 얻을 수 있게 된다.
비교부(240)는, 정의된 명칭과 기 매핑되어 상황 데이터베이스(280)에 저장된 알람 상황 이벤트를 검색하고, 추적 객체의 움직임에 따른 현재 이벤트를 비교할 수 있다. 여기서, 이벤트는, 일련의 프레임의 연속으로, 객체가 포함된 영상이 일련의 동작을 수행하는 것이 구분되어 정의된 것을 의미한다. 예를 들어, 송전선을 훼손하려는 동작이 있다면, 이는 일련의 프레임으로 저장되고, 해당 프레임은 송전선 훼손 동작 이벤트로 정의될 수 있을 것이다.
알람부(250)는, 비교 결과, 추적 객체의 현재 이벤트가 알람 상황 이벤트인 경우, 추적 객체가 촬영된 영상 촬영기(110)의 위치 정보, 알람 상황 이벤트의 종류, 정의된 명칭, 및 추적 객체가 영상에 포함되어 점유된 점유 시간이 관리자 단말 및 감시자 단말에서 알람 정보로 출력되도록 전송할 수 있다.
이때, 알람부(250)는, 비교 결과, 현재 이벤트가 기 정의되지 않은 이벤트인 경우, 관리자 단말로 전송하여 실시간 또는 기 결재 주기마다 정의를 요청할 수 있고, 요청에 대한 응답으로 관리자 단말로부터 현재 이벤트에 대한 정의가 입력된 경우, 입력된 정의로 현재 이벤트를 정의하여 신경망 학습이 이루어지도록 상황 데이터베이스(280)를 업데이트할 수 있다.
여기서, 무감독 신경망 학습 모델이 적용될 수도 있는데, 무감독 신경망 학습 모델은 레이블로부터 직접적인 감독을 받는 대신 낮은 차원, 희소성, 직교성, 느린 변화 속도 등 제한된 조건하에서 원래의 데이터를 나타낼 수 있는 표현(Representation)을 학습한다. 학습된 표현은 데이터를 함축적으로 나타내게 되므로 유용한 특징으로 사용된다. 학습된 특징의 유용성을 평가하기 위해서는 간단한 선형 분류 모델을 추가하여 레이블링된 데이터에 대해 학습하고 테스트 성능을 비교하는 방법이 이용될 수 있다.
한편, 얕은 특징 알고리즘 기반 모델은, 독립 성분 분석(ICA), 독립 부분공간 분석(ISA), 느린 특징 분석(SFA) 등의 모델로 무감독 학습 기반의 특징 추출 알고리즘을 위해 이용될 수 있다. 이들은 신경망 컨볼루션 기반 딥러닝과 대비되는 얕은(Shallow) 모델로 비디오 데이터에 적용할 경우 차원이 높고 데이터의 구조가 복잡하기 때문에 성능이 떨어지지만, 얕은 특징 모델을 컨볼루션 유닛과 번갈아가며 사용하여 깊은 구조를 구성하는 경우, 특징 추출 확률을 높일 수 있다.
학습 데이터셋(231)은, 신경망 학습으로 기 설정된 주기 또는 실시간으로 업데이트되고, 상황 데이터베이스(280)는, 딥러닝 및 신경망 학습으로 빅데이터로 데이터베이스화될 수 있다. 이때, 딥러닝 이외에도, 순환 신경망 기반 모델이 이용될 수도 있는데, 시계열적 연관성을 컨볼루션의 형태로 모델링한 것과는 다르게, 시계열적 연관성에 보다 주목한 순환 신경망(Recurrent Neural Network)이 이용될 수 있다. 이 역시, 무감독으로 특징을 학습하며, 레이블을 예측하는 대신 다음 시간 스텝의 입력을 잘 예측하도록 학습을 진행한다.
순환적 컨볼루션 신경망 모델(Recurrent Convolutional Neural Network; rCNN)은 공간적 차원들, 즉 이미지에 대해서는 컨볼루션 신경망을 이용하고, 시간 축에 대해서는 순환적 신경망을 사용한 모델이다. 이는 이미지에 대해 컨볼루션 신경망의 장점을 잘 살리면서도, 시간 축으로는 순환 신경망을 사용하여 보다 오랜 시간 전의 데이터와의 연관성도 효과적으로 모델링 할 수 있다는 장점이 있다. 이때, 모델의 복잡성을 줄이기 위하여 실수에 가까운 픽셀 값을 이용하는 대신 k-means 클러스터링 방법으로 이산화시킨 낮은 차원의 입력을 사용할 수 있다.
그리고, 장단기 기억 (Long Short-Term Memory; LSTM) 순환신경망 모델이 이용될 수도 있는데, 기존의 순환신경망은 오랜 시간 전의 데이터와의 연관관계를 학습할 수 있도록 개발되어, 실제로는 신경망 층을 여러 번 통과함에 따라 기울기 사라짐 (Gradient Vanishing), 또는 기울기 폭발(Gradient Explosion) 현상이 발생하여 학습 효율이 낮은 것에 비하면, 장단기 기억은, 강제적으로 기울기 값을 유지하도록 하는 CEC (Constant Error Carousel) 유닛을 두어 이러한 문제를 해결함으로써, 비교적 긴 시간의 연관성도 학습할 수 있다.
이를 이용하면, 장단기 기억을 이용하여 무감독 학습을 하는 모델이 적용될 수 있으며, 바로 다음 스텝의 입력뿐만 아니라, 이후 여러 스텝의 입력, 입력된 데이터 시퀀스 자체까지 예측하도록 함으로써 발생되는 이벤트를 예측까지 할 수 있다.
한편, 알람부(250)는 영상 촬영기(110)의 위치 정보, 알람 상황 이벤트의 종류, 정의된 명칭 및 점유된 점유 시간 등의 알람 정보를 이동 단말 또는 고정 단말의 화면에 출력되도록 문자, 이미지 또는 동영상 중 어느 하나 또는 어느 하나 이상의 조합으로 가공되어 전송될 수 있다.
명세서에 기재된 "…부", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 제어기, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 상술한 기능을 수행하는 모듈로 구현될 수 있다. 소프트웨어는 메모리 유닛에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리 유닛이나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다
이하, 상술한 구성을 가지는 추적 객체 추출 서비스를 도 3 내지 도 8을 참조로 하여 설명하기로 한다.
도 3의 경우, 서비스 관리 서버(130)는, 입력된 영상(Input Video Data)으로부터 임의의 프레임을 추출한다. 그리고, 도 4의 경우, 서비스 관리 서버(130)는, 해당 프레임에 학습 데이터셋(231)으로부터 생성된 객체 필터를 적용하여 추적 객체를 배경으로부터 분리한다.
또한, 도 5의 경우, 서비스 관리 서버(130)는, 분리된 추적 객체를 학습 데이터셋(231)에 존재하는 객체와 비교하여 동일한 객체가 존재하는지, 또 존재한다면 해당 명칭은 무엇인지를, 추적 객체를 정의하기 위하여 검색한다. 이때, 동일한 객체가 학습 데이터셋(231)에 존재하고, 해당 객체의 정의가 "사람"인 경우, 추적 객체에도 "사람"이라는 정의를 인용한다.
만약, 도 6 및 도 7에 도시된 바와 같이, 동일한 객체가 학습 데이터셋(231)에 존재하지 않을 경우, 서비스 관리 서버(130)는, 컨볼루션 필터를 적용하여 특징맵을 생성하고, 생성된 특징맵을 통하여 추적 객체가 정의가 될 수 있는지를 확인한다. 확인되지 않는 경우 관리자의 결재, 즉 관리자의 정의를 요청하고, 응답이 오는 경우 해당 정의를 이용하여 추적 객체를 정의한다. 이후, 학습 데이터셋(231)을 업데이트 한 후, 신경망 알고리즘을 이용하여 학습을 시킨다.
도 9 내지 도 13은 본 발명의 일 실시예에 따른 타겟 객체 추출 서비스 중 정의된 추적 객체가 이루는 상황을 정의하는 예시들을 설명하기 위한 개념도이다.
도 9, 도 10, 도 11의 경우, 추적 객체가 "무엇"인지가 정의가 되었다면, 추적 객체가 어떤 상황을 연출하고 있는지를 확인해야 한다. 예를 들어, 사람이라고 정의 및 식별이 되었으면, 사람이 할 수 있는 알람 정보가 발생할 수 있는 상황인지를 구분해야 한다. 만약, 동물이 식별되었으면, 동물이 알람 정보를 발생할 수 있는 상황인지를 구분해야 한다. 즉, 사람은 절도나 장난을 칠 수 있고, 동물은 실수로 그물에 걸리거나 하는 등으로 시설을 훼손할 수도 있기 때문에, 확인된 객체가 연출할 수 있는 상황을 각각 구분하여 확인하도록 한다. 예를 들어, 사람은 침입, 송전선 절단, 월담, 설비 훼손 등의 상황이 매핑되어 저장될 수 있다.
이에 따라, 서비스 관리 서버(130)는, 영상을 분석하여 사람이 무엇을 하고 있는지를(어떠한 상황인지) 정의하기 위하여 상황 데이터베이스(280)와 추적 객체가 포함된 영상을 비교한다.
그리고 나서, 서비스 관리 서버(130)는, 현재 이벤트(상황)가, 상황 데이터베이스(280)에 정의가 된 이벤트이면, 해당 정의를 인용하여 현재 이벤트를 정의하고, 정의가 되어 있지 않은 이벤트라면, 관리자에게 결재를 요구한다.
이에, 관리자 단말에서 현재 이벤트를 정의하고 난 후에는, 서비스 관리 서버(130)는, 입력된 정의로 상황 데이터베이스를 업데이트 및 신경망 알고리즘을 이용하여 학습 및 딥러닝을 시작한다.
이때, 도 12 및 도 13에 도시된 바와 같이, 서비스 관리 서버(130)에서 정의된 상황이 월담이었고, 이에 대한 알람 정보가 울려야 하는 상황으로 정의된 경우, 관리자 단말 및 감시자 단말로 알람 정보를 전송하여 해당 상황을 확인하도록 한다. 이에 따라, 항시 감시자가 영상 화면(예를 들면 CCTV 화면)을 모니터링하고 있지 않더라도 자동으로 위험한 상황이나 출동해야 하는 상황을 감지하여 알려줄 수 있으므로, 인력의 투자비용을 줄이고 비용을 최소화할 수 있다.
이와 같은 도 3 내지 도 13의 추적 객체 추출 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 추적 객체 추출 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 14는 본 발명의 일실시예에 따른 타겟 객체 추출 서비스 제공을 수행하기 위해 각 구성 요소들 상호 간의 타이밍도이다. 이하, 도 14를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 14에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 14를 참조하면, 적어도 하나의 영상 촬영기(110)는, 영상을 서비스 관리 서버(130)로 영상과 함께 영상 촬영기(110)의 위치 및 감시하고 있는 송전 설비(도 1의 10) 등을 식별할 수 있는 식별자를 함께 전송하면(단계 S1410), 서비스 관리 서버(130)는 해당 영상을 영상 데이터베이스(211)에 저장한다(단계 S1420).
그리고 나서, 서비스 관리 서버(130)는, 학습 데이터셋(231)으로부터 생성된 필터를 이용하여 추출 객체를 필터링 및 추출하고(단계 S1430), 학습 데이터셋에 추적 객체가 존재하지 않으면(단계 S1440), 신경망 컨볼루션 필터를 적용하여 특징맵을 생성한다(단계 S1441,S1443).
또한, 서비스 관리 서버(130)는, 추적 객체를 정의가 가능한지의 여부를 학습 데이터셋(231)에 저장된 객체들과 비교를 통하여 확인하고, 확인 결과 정의가 불가한 경우 관리자 단말로 정의를 요청하고(단계 S1450), 확인이 가능한 경우, 추적 객체를 학습 데이터셋(231)에 추적 객체와 동일한 객체에 매핑된 정의를 인용한다(단계 S1453).
그리고 나서, 서비스 관리 서버(130)는, 상황 데이터베이스(280)에 추적 객체의 현재 이벤트(현재 상황)가 존재하는지를 확인하고, 역시 존재하지 않는다면 정의가 필요하므로 관리자 단말로 정의를 요청한다(단계 S141460,S1465,S1462,S1463). 그렇지 않은 경우에는 알람 정보 이벤트가 발생되어야 할 이벤트인지를 확인하여(단계 S1465), 알람 정보 이벤트가 발생되어야 할 이벤트라면 알람 정보 메시지를 생성한다(단계 S1470).
그리고 나서, 서비스 관리 서버(130)는, 생성된 알람 정보 메시지를 관리자 단말 및 감시자 단말(예를 들면 140-1,140-n)로 전송하고(단계 S1471), 관리자 단말 및 감시자 단말은 알람 정보 메시지를 출력하고(단계 S1481,S1490), 서비스 관리 서버(130)는, 관리자 단말로부터 수신된 정의로 각각의 데이터베이스를 신경망 알고리즘으로 학습 및 업데이트시킨다(단계 S1480).
상술한 단계들간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 14의 추적 객체 추출 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 13을 통해 추적 객체 추출 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 15는 본 발명의 일실시예에 따른 타겟 객체 추출 서비스 제공 과정을 보여주는 흐름도이다. 도 15를 참조하면, 추적 객체 추출 서비스 제공 서버(100)는, 적어도 하나의 영상 촬영기(110)로부터 영상 정보를 수집하여 빅데이터로 데이터베이스화한다(단계 S1510).
그리고 나서, 추적 객체 추출 서비스 제공 서버(100)는, 영상 정보로부터 신경망 기반 기 생성된 학습 데이터셋(DataSet)으로부터 생성된 객체 필터를 이용하여 추적 객체를 추출한다(단계 S1520).
또한, 추적 객체 추출 서비스 제공 서버(100)는, 추출된 추적 객체가 학습 데이터셋의 기준 객체와 동일하거나 기 설정된 유사도를 초과하는 경우, 추적 객체를 기준 객체에 매핑되어 저장된 명칭으로 정의한다(단계 S1530).
그리고, 추적 객체 추출 서비스 제공 서버(100)는, 정의된 명칭과 기 매핑되어 상황 데이터베이스에 저장된 알람 상황 이벤트를 검색하고, 추적 객체의 움직임에 따른 현재 이벤트를 비교한다(단계 S1540).
마지막으로, 추적 객체 추출 서비스 제공 서버(100)는, 비교 결과, 현재 이벤트가 알람 상황 이벤트인 경우, 추적 객체가 촬영된 영상 촬영기(도 1의 110)의 위치 정보, 알람 상황 이벤트의 종류, 정의된 명칭, 및 추적 객체가 영상에 포함되어 점유된 점유 시간이 관리자 단말 및 감시자 단말에서 알람 정보로 출력되도록 전송한다(단계 S1550).
이와 같은 도 15의 추적 객체 추출 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 14를 통해 추적 객체 추출 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 16은 본 발명의 일실시예에 따른 타겟 객체 추출 서비스에서 이용되는 신경망 알고리즘을 설명하기 위한 개념도이다. 도 16을 참조하면, Faster R-CNN의 동작 과정으로, 추적 객체를 필터링, 객체를 정의할 때 두 가지 모듈을 사용하여 영상 이미지에 어떤 사물이 있는지를 구분한다. 이때, 원 이미지(1610)에 대하여 컨볼루션을 적용하여 특징맵(1620)을 생성하고, 특징맵에서 추적 객체를 필터링(1630)하며, 필터링된 부분들은 구분자(Classifier)를 통하여 어떠한 추적 객체인지 정의(1640)하게 된다. 여기서, 원 이미지에 대하여 컨볼루션을 적용하여 특징맵을 만들었기 때문에, 이후 컨볼루션 연산을 하지 않는다. 이때, 설명되지 않은 Faster R-CNN의 방법들은 공지된 기술과 같으므로 설명을 생략하기로 한다.
도 17은 본 발명의 다른 일실시예에 따른 영상 획득으로부터 추적 객체를 추출하고 추적 객체를 정의하는 과정을 보여주는 흐름도이다. 도 8을 참조하면, 추적 객체 추출 서비스 제공 서버(100)는, 영상 정보를 획득하는 경우, 추적 객체가 필터링되어 추출되고, 필터링된 영역에 대하여 객체 정의 가능 여부를 판단한다(단계 S1710,S1720,S1730,S1740).
그리고 나서, 추적 객체 추출 서비스 제공 서버(100)는, 추적 객체가 정의 가능할 때까지 한계 범위 내로 확대한 후, 추적 객체를 확대하여 해상도를 높여 추적 객체의 정의가 가능하도록 한다(단계 S1750,S1760,S1780).
물론, 단계 S1740을 만족하면 이러한 영역 확대 및 해상도를 높이는 과정을 수행하지 않고 바로 객체에 대해 정의가 가능하다(단계 S1770)
도 18은 도 17에 따른 추적 객체를 정의하여 분류하는 과정을 보여주는 흐름도이다. 도 18을 참조하면, 추적 객체 추출 서비스 제공 서버(100)는, 추적 객체가 필터링되어 추출되고, 필터링된 영역에 대하여 객체 정의 가능 여부를 판단한다(단계 S1810,S1820).
추적 객체가 정의 가능할 때까지 한계 범위 내로 확대한 후, 추적 객체를 확대하여 해상도를 높여 추적 객체의 정의가 가능하도록 한다(단계 S1930,S1940).
한계치까지 확대해도 정의가 안되는 추적 객체에 대하여 업데이트하고, 추적 객체를 정의하여 분류한다(단계 S1950,S1960).
전술한 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다.
이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 추적 객체 추출 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
도 15 내지 도 18을 통해 설명된 일 실시예에 따른 추적 객체 추출 서비스 제공 방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 코드 형태로 구현되어 컴퓨터로 읽을 수 있는 저장 매체에 기록될 수 있다.
상기 컴퓨터로 읽을 수 있는 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관등의 전송 매체일 수도 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (20)
- 송전 설비를 모니터링하여 영상 정보를 생성하는 다수의 영상 촬영기;
네트워크와 연결되어 상기 영상 정보를 수집하여 미리 설정되는 신경망 학습 모델을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하고, 상기 추적 객체와 미리 설정되는 기준 객체의 비교 결과에 따라 알람 정보를 생성하는 서비스 관리 서버; 및
상기 알람 정보를 출력하는 사용자 단말;을 포함하며,
상기 서비스 관리 서버는,
데이터베이스화되는 영상 정보로부터 객체 필터를 이용하여 상기 추적 객체를 추출하는 추출부;
상기 추적 객체가 상기 기준 객체와 동일하거나 초과하는 지를 비교하여 상기 추적 객체를 상기 기준 객체에 매핑하여 미리 저장된 해당 명칭으로 정의하는 정의부;
상기 해당 명칭에 따른 미리 매핑되어 상황 데이터베이스에 저장되는 알람 상황 이벤트를 검색하고, 상기 추적 객체의 움직임에 따른 상기 추적 객체의 현재 이벤트와 상기 추적 객체의 알람 상황 이벤트를 비교하는 비교부; 및
비교결과에 따라 상기 알람 정보를 생성하는 알람부;를 포함하고,
상기 미리 저장된 해당 명칭으로 정의는,
상기 추적 객체가 학습 데이터셋의 기준 객체와 동일하거나 유사도 이하이면, 상기 추적 객체의 이미지가 미리 설정된 해상도 및 크기를 만족하는지를 확인하고, 상기 추적 객체의 이미지가 상기 미리 설정된 해상도 및 크기를 만족하지 않으면 상기 추적 객체의 이미지의 크기를 미리 설정된 기준 크기로 확대시키며, 상기 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하고, 상기 추적 객체의 특징을 나타내는 특징맵(Feature Map)을 생성하고,
상기 알람부는, 상기 특징맵을 이용하여 상기 추적 객체의 확률 목록을 작성하고, 상기 추적 객체의 명칭을 상기 학습 데이터셋을 이용하여 정의하고, 상기 추적 객체의 명칭이 상기 학습 데이터셋으로 정의되지 못하면, 상기 사용자 단말의 결재함에 추가하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 삭제
- 제 1 항에 있어서,
상기 알람 정보는 상기 추적 객체가 촬영된 해당 영상 촬영기의 위치 정보, 알람 상황 이벤트의 종류, 명칭, 및 상기 추적 객체가 영상 정보에 포함되어 점유된 점유 시간 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 정의부는, 서비스 관리 서버는, 상기 현재 이벤트가 상기 알람 상황 이벤트와 유사 또는 동일하지 않으면, 사용자 단말에 정의를 요청하고 응답을 수신하여 상기 상황 데이터베이스를 갱신하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 객체 필터는 빅데이터로 데이터베이스화되는 영상 정보를 이용하여 생성되는 신경망 기반 학습 데이터셋(DataSet)을 통해 생성되는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 5 항에 있어서,
상기 기준 객체는 상기 학습 데이터셋내에 미리 설정되어 있는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 영상 정보는 상기 송전 설비 및 상기 송전 설비의 주변을 촬영한 주변 영상을 포함하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 정의부는, 상기 추적 객체의 추출이 저하되는 현상을 극복하기 위해 상기 영상 정보의 원영상내에서 상기 추적 객체가 존재할 확률이 미리 설정되는 기준 수치인 각 후보 영역을 확대하고 해상도를 높여 상기 추적 객체의 추출을 재수행하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 삭제
- 삭제
- 제 1 항에 있어서,
상기 정의부는, 상기 결재함에 추가 저장된 추적 객체가 미리 설정된 수 이상 또는 결재함의 확인 기간이 미리 설정된 기간이면, 상기 사용자 단말로 상기 추적 객체의 정의를 요청하고, 상기 사용자 단말에서 상기 추적 객체의 정의가 내려지면, 상기 학습 데이터셋에 상기 추적 객체를 전송하여 신경망 학습을 갱신하고 데이터베이스화하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 학습 데이터셋은, 미리 설정된 주기 또는 실시간으로 업데이트되는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 알람 정보는 문자, 이미지 또는 동영상 중 어느 하나 또는 어느 하나 이상의 조합으로 상기 사용자 단말에 전송되는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 삭제
- 제 1 항에 있어서,
상기 신경망 학습 모델은 신경망 컨볼루션 기반 딥러닝 모델, 순환적 컨볼루션 신경망 모델(Recurrent Convolutional Neural Network; rCNN), 장단기 기억 (Long Short-Term Memory; LSTM) 순환신경망 모델 중 어느 하나인 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- 제 1 항에 있어서,
상기 영상 정보는 상기 영상 촬영기의 위치와 상기 송전 설비를 식별할 수 있는 식별자를 포함하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템.
- (a) 다수의 영상 촬영기가 송전 설비를 모니터링하여 영상 정보를 생성하는 영상 정보 생성 단계 ;
(b) 서비스 관리 서버가 네트워크와 연결되어 상기 영상 정보를 수집하여 미리 설정되는 신경망 학습 모델을 통해 객체 필터를 생성하고, 상기 객체 필터를 이용하여 추적 객체를 추출하고, 상기 추적 객체와 미리 설정되는 기준 객체의 비교 결과에 따라 알람 정보를 생성하는 단계;
(c) 사용자 단말이 상기 알람 정보를 출력하는 단계;를 포함하며,
상기 (b) 단계는,
추출부가 데이터베이스화되는 영상 정보로부터 객체 필터를 이용하여 상기 추적 객체를 추출하는 단계;
정의부가 상기 추적 객체가 상기 기준 객체와 동일하거나 초과하는 지를 비교하여 상기 추적 객체를 상기 기준 객체에 매핑하여 미리 저장된 해당 명칭으로 정의하는 단계;
비교부가 상기 해당 명칭에 따른 미리 매핑되어 상황 데이터베이스에 저장되는 알람 상황 이벤트를 검색하고, 상기 추적 객체의 움직임에 따른 상기 추적 객체의 현재 이벤트와 상기 추적 객체의 알람 상황 이벤트를 비교하는 단계; 및
알람부가 비교결과에 따라 상기 알람 정보를 생성하는 단계;를 포함하고,
상기 미리 저장된 해당 명칭으로 정의는,
상기 추적 객체가 학습 데이터셋의 기준 객체와 동일하거나 유사도 이하이면, 상기 추적 객체의 이미지가 미리 설정된 해상도 및 크기를 만족하는지를 확인하고, 상기 추적 객체의 이미지가 상기 미리 설정된 해상도 및 크기를 만족하지 않으면 상기 추적 객체의 이미지의 크기를 미리 설정된 기준 크기로 확대시키며, 상기 추적 객체를 신경망 컨볼루션(Convolutional Neural Network) 필터를 이용하여 컨볼루션 연산을 수행하고, 상기 추적 객체의 특징을 나타내는 특징맵(Feature Map)을 생성하고,
상기 알람부는, 상기 특징맵을 이용하여 상기 추적 객체의 확률 목록을 작성하고, 상기 추적 객체의 명칭을 상기 학습 데이터셋을 이용하여 정의하고, 상기 추적 객체의 명칭이 상기 학습 데이터셋으로 정의되지 못하면, 상기 사용자 단말의 결재함에 추가하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 방법.
- 삭제
- 제 17 항에 있어서,
상기 알람 정보는 상기 추적 객체가 촬영된 해당 영상 촬영기의 위치 정보, 알람 상황 이벤트의 종류, 상기 명칭, 및 상기 추적 객체가 영상 정보에 포함되어 점유된 점유 시간 중 적어도 하나 이상을 포함하는 것을 특징으로 하는 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 방법.
- 제 17 항 및 제 19 항 중 어느 한 항에 따른 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 방법을 실행하는 프로그램 명령 코드를 저장한 컴퓨터 판독 가능 저장 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121284A KR101897923B1 (ko) | 2017-09-20 | 2017-09-20 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170121284A KR101897923B1 (ko) | 2017-09-20 | 2017-09-20 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101897923B1 true KR101897923B1 (ko) | 2018-10-31 |
Family
ID=64099675
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170121284A KR101897923B1 (ko) | 2017-09-20 | 2017-09-20 | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101897923B1 (ko) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110097723A (zh) * | 2019-04-17 | 2019-08-06 | 南京砺剑光电技术研究院有限公司 | 基于计算机视觉的外破行为识别与告警方法 |
| KR102107957B1 (ko) * | 2020-01-06 | 2020-05-07 | 주식회사 투윈스컴 | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 |
| WO2020101063A1 (ko) * | 2018-11-13 | 2020-05-22 | 전자부품연구원 | 강화학습 기반 ptz 카메라 제어 시스템 및 방법 |
| CN111199269A (zh) * | 2018-11-16 | 2020-05-26 | 三星电子株式会社 | 图像处理装置及其操作方法 |
| KR102127276B1 (ko) * | 2018-12-11 | 2020-06-26 | 주식회사 인텔리빅스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR20200080164A (ko) * | 2018-12-26 | 2020-07-06 | 중앙대학교 산학협력단 | 애플리케이션 사용 패턴 분석에 기초한 메모리 관리 시스템 및 방법 |
| KR20200103194A (ko) * | 2019-02-18 | 2020-09-02 | 세종대학교산학협력단 | 영상 기반 비정상 상황 모니터링 방법 및 시스템 |
| KR102162641B1 (ko) * | 2020-04-14 | 2020-10-07 | 주식회사 애자일소다 | 딥러닝 기반의 계량기 정보 인식 시스템 및 방법 |
| KR20200119372A (ko) * | 2019-03-22 | 2020-10-20 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
| CN112132065A (zh) * | 2020-09-25 | 2020-12-25 | 智洋创新科技股份有限公司 | 一种基于输电线路通道可视化连续告警的告警策略方法 |
| CN112906454A (zh) * | 2020-12-22 | 2021-06-04 | 安徽康能电气有限公司 | 一种输电通道ai可视化监控方法及装置 |
| KR20210074755A (ko) * | 2019-12-12 | 2021-06-22 | 김도연 | 영상 내 객체의 컨텍스트 정보 생성을 통한 모니터링 시스템 |
| KR20210085978A (ko) * | 2019-12-31 | 2021-07-08 | 광주과학기술원 | 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 |
| KR20230037713A (ko) * | 2021-09-09 | 2023-03-17 | 한국철도공사 | 열차 선로 야생 동물 감지 시스템 및 방법 |
| KR20230100242A (ko) * | 2021-12-28 | 2023-07-05 | 주식회사 두리번테크 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
| KR20240009603A (ko) | 2022-07-14 | 2024-01-23 | 주식회사 비자림 | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 |
| US11921774B2 (en) | 2019-07-19 | 2024-03-05 | Korea Institute Of Science And Technology | Method for selecting image of interest to construct retrieval database and image control system performing the same |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079340A (ja) * | 2011-12-26 | 2012-04-19 | Toshiba Corp | 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム |
| JP2017156988A (ja) * | 2016-03-02 | 2017-09-07 | 三菱電機マイコン機器ソフトウエア株式会社 | 物体検出装置 |
-
2017
- 2017-09-20 KR KR1020170121284A patent/KR101897923B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012079340A (ja) * | 2011-12-26 | 2012-04-19 | Toshiba Corp | 不審対象検知システム、不審対象検知装置、不審対象検知方法及びプログラム |
| JP2017156988A (ja) * | 2016-03-02 | 2017-09-07 | 三菱電機マイコン機器ソフトウエア株式会社 | 物体検出装置 |
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020101063A1 (ko) * | 2018-11-13 | 2020-05-22 | 전자부품연구원 | 강화학습 기반 ptz 카메라 제어 시스템 및 방법 |
| KR102708715B1 (ko) * | 2018-11-16 | 2024-09-24 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
| CN111199269A (zh) * | 2018-11-16 | 2020-05-26 | 三星电子株式会社 | 图像处理装置及其操作方法 |
| KR20200063289A (ko) * | 2018-11-16 | 2020-06-05 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작방법 |
| KR102127276B1 (ko) * | 2018-12-11 | 2020-06-26 | 주식회사 인텔리빅스 | 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법 |
| KR20200080164A (ko) * | 2018-12-26 | 2020-07-06 | 중앙대학교 산학협력단 | 애플리케이션 사용 패턴 분석에 기초한 메모리 관리 시스템 및 방법 |
| KR102280298B1 (ko) | 2018-12-26 | 2021-07-22 | 중앙대학교 산학협력단 | 애플리케이션 사용 패턴 분석에 기초한 메모리 관리 시스템 및 방법 |
| KR20200103194A (ko) * | 2019-02-18 | 2020-09-02 | 세종대학교산학협력단 | 영상 기반 비정상 상황 모니터링 방법 및 시스템 |
| KR102172239B1 (ko) * | 2019-02-18 | 2020-10-30 | 세종대학교산학협력단 | 영상 기반 비정상 상황 모니터링 방법 및 시스템 |
| KR102261669B1 (ko) | 2019-03-22 | 2021-06-07 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
| KR20200119372A (ko) * | 2019-03-22 | 2020-10-20 | 주식회사 핀텔 | 인공신경망 기반 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
| CN110097723A (zh) * | 2019-04-17 | 2019-08-06 | 南京砺剑光电技术研究院有限公司 | 基于计算机视觉的外破行为识别与告警方法 |
| US11921774B2 (en) | 2019-07-19 | 2024-03-05 | Korea Institute Of Science And Technology | Method for selecting image of interest to construct retrieval database and image control system performing the same |
| KR20210074755A (ko) * | 2019-12-12 | 2021-06-22 | 김도연 | 영상 내 객체의 컨텍스트 정보 생성을 통한 모니터링 시스템 |
| KR102324804B1 (ko) * | 2019-12-12 | 2021-11-09 | 김도연 | 영상 내 객체의 컨텍스트 정보 생성을 통한 모니터링 시스템 |
| KR20210085978A (ko) * | 2019-12-31 | 2021-07-08 | 광주과학기술원 | 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 |
| WO2021137395A1 (ko) * | 2019-12-31 | 2021-07-08 | 광주과학기술원 | 심층신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 |
| KR102297111B1 (ko) * | 2019-12-31 | 2021-09-03 | 광주과학기술원 | 심층 신경망 알고리즘 기반의 문제 행동 분류 시스템 및 방법 |
| KR102107957B1 (ko) * | 2020-01-06 | 2020-05-07 | 주식회사 투윈스컴 | 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법 |
| KR102162641B1 (ko) * | 2020-04-14 | 2020-10-07 | 주식회사 애자일소다 | 딥러닝 기반의 계량기 정보 인식 시스템 및 방법 |
| CN112132065A (zh) * | 2020-09-25 | 2020-12-25 | 智洋创新科技股份有限公司 | 一种基于输电线路通道可视化连续告警的告警策略方法 |
| CN112132065B (zh) * | 2020-09-25 | 2021-08-20 | 智洋创新科技股份有限公司 | 一种基于输电线路通道可视化连续告警的告警策略方法 |
| CN112906454A (zh) * | 2020-12-22 | 2021-06-04 | 安徽康能电气有限公司 | 一种输电通道ai可视化监控方法及装置 |
| KR20230037713A (ko) * | 2021-09-09 | 2023-03-17 | 한국철도공사 | 열차 선로 야생 동물 감지 시스템 및 방법 |
| KR102597373B1 (ko) * | 2021-09-09 | 2023-11-06 | 한국철도공사 | 열차 선로 야생 동물 감지 시스템 및 방법 |
| KR20230100242A (ko) * | 2021-12-28 | 2023-07-05 | 주식회사 두리번테크 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
| KR102697088B1 (ko) * | 2021-12-28 | 2024-08-21 | 주식회사 두리번테크 | 외곽침입감지시스템용 ai를 이용한 강화된 cctv 이미지분석 방법 |
| KR20240009603A (ko) | 2022-07-14 | 2024-01-23 | 주식회사 비자림 | 스마트공장용 mes에 지능형 rpa 및 비전 기술을 융합한 생산 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101897923B1 (ko) | 신경망 학습 모델 기반 추적 객체 추출 서비스 제공 시스템, 이의 방법, 그리고 이 방법을 저장한 컴퓨터 판독 가능 저장 매체 | |
| Ghosh et al. | Accident detection using convolutional neural networks | |
| Nikouei et al. | Smart surveillance as an edge network service: From harr-cascade, svm to a lightweight cnn | |
| Shidik et al. | A systematic review of intelligence video surveillance: Trends, techniques, frameworks, and datasets | |
| CN112183353B (zh) | 一种图像数据处理方法、装置和相关设备 | |
| EP3709275B1 (en) | Method and system for predicting in real-time one or more potential threats in video surveillance | |
| US20170213081A1 (en) | Methods and systems for automatically and accurately detecting human bodies in videos and/or images | |
| US10846531B2 (en) | Image-based anomaly detection for aerial inspection using self-supervised learning | |
| Butt et al. | Detecting video surveillance using VGG19 convolutional neural networks | |
| Almagbile | Estimation of crowd density from UAVs images based on corner detection procedures and clustering analysis | |
| CN110659391A (zh) | 一种视频侦查方法及装置 | |
| CN114550053A (zh) | 一种交通事故定责方法、装置、计算机设备及存储介质 | |
| Basnyat et al. | Analyzing social media texts and images to assess the impact of flash floods in cities | |
| Zhao et al. | SAI‐YOLO: A lightweight network for real‐time detection of driver mask‐wearing specification on resource‐constrained devices | |
| Agarwal et al. | Detection of potential mosquito breeding sites based on community sourced geotagged images | |
| Srividhya et al. | [Retracted] A Machine Learning Algorithm to Automate Vehicle Classification and License Plate Detection | |
| Shahabi et al. | Janus-multi source event detection and collection system for effective surveillance of criminal activity | |
| Samaila et al. | Video Anomaly Detection: A Systematic Review of Issues and Prospects | |
| Gayathri et al. | Intelligent smart home security system: A deep learning approach | |
| Murthy et al. | AI Based Criminal Detection and Recognition System for Public Safety and Security using novel CriminalNet-228 | |
| Abd Gani et al. | A live-video automatic Number Plate Recognition (ANPR) system using convolutional neural network (CNN) with data labelling on an Android smartphone | |
| Loukil et al. | Design and test of smart IP-camera within reconfigurable platform | |
| CN116740607A (zh) | 视频处理方法及装置、电子设备和存储介质 | |
| Terdal et al. | YOLO-Based Video Processing for CCTV Surveillance | |
| Mahavishnu et al. | Pattern Recognition Algorithm to Detect Suspicious Activities |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |