KR102584708B1 - 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 - Google Patents
과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 Download PDFInfo
- Publication number
- KR102584708B1 KR102584708B1 KR1020220173416A KR20220173416A KR102584708B1 KR 102584708 B1 KR102584708 B1 KR 102584708B1 KR 1020220173416 A KR1020220173416 A KR 1020220173416A KR 20220173416 A KR20220173416 A KR 20220173416A KR 102584708 B1 KR102584708 B1 KR 102584708B1
- Authority
- KR
- South Korea
- Prior art keywords
- crowd
- density
- flow
- risk management
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000004458 analytical method Methods 0.000 claims abstract description 63
- 230000003287 optical effect Effects 0.000 claims abstract description 56
- 230000002159 abnormal effect Effects 0.000 claims abstract description 30
- 238000007726 management method Methods 0.000 claims description 82
- 238000001514 detection method Methods 0.000 claims description 81
- 238000013135 deep learning Methods 0.000 claims description 39
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 13
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 7
- 238000010191 image analysis Methods 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 38
- 230000006870 function Effects 0.000 description 24
- 230000006399 behavior Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000005206 flow analysis Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/14—Central alarm receiver or annunciator arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Emergency Management (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Educational Administration (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 과소 및 과밀 환경을 지원하는 군중위험관리시스템은, 군중이 밀집되는 장소에 설치되는 촬영장치의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상 행위를 검출하며, 군중 밀도가 기준값보다 높을 때 촬영영상 내 군중의 이동과 관련한 광학적 흐름을 추적해 군중의 과밀 여부와 이상 흐름을 판단해 이벤트를 발생시키는 군중위험관리 영상분석장치, 및 군중위험관리 영상분석장치로부터 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험 정보를 표출하는 관제장치를 포함할 수 있다.
Description
본 발명은 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법에 관한 것으로서, 더 상세하게는 가령 딥러닝 기반 객체 검출 추적 기능, 딥러닝 기반 군중계수 검출 기능, 광학기반 흐름 추출 기능을 이용하여 과소 환경인 경우에는 객체 검출 추적 기능을 사용하여 개별 물체별 이벤트를 검출하거나 객체 추적기반 군중계수기능을 사용하며, 과밀한 환경으로 전환되면 개별 물체가 아닌 객체의 밀도기반 군중계수기 및 흐름을 추출하여 군중의 흐름과 관련한 위험상황을 판단하는 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법에 관한 것이다.
객체 검출 추적 기술은 영상 보안에서 널리 사용되고 있는 기술이다. 또한 딥러닝 기법을 통하여 기술의 정확도가 보다 높아지고 있다. 딥러닝 객체의 검출 기술은 검출하고자 하는 대상 종류를 학습시켜 검출하는 방식이다. 이러한 객체 검출 기술들은 기술이 고도화되면서 군중이 많은 곳에서 객체를 정확하게 검출추적 하려는 노력이 MOT Challenge를 통하여 엿볼 수 있으며 수많은 알고리즘들이 시도되고 있다. 다만 이러한 객체 검출 추적 방식은 검출하려는 대상의 가려짐이 발생하거나 몸체의 일부가 가려지는 경우에는 객체의 검출 성능이 낮아질 수밖에 없다. 또한 군중의 밀도가 매우 높아 머리 부분만 노출되거나 노출된 머리 부분도 가려짐이 발생하는 경우에는 기존의 객체 추적 방식이 어려울 수밖에 없다.
종래에는, 군중의 행동인식을 위해 합성신경망(Convolutional Neural Networks), 오토인코더(AEs), Recurrent Neural Network(RNNs)에 연구가 활발하게 이루어지고 있다. 일부 논문에 따르면 군중 밀도가 높을수록 높은 수준의 의미를 찾는 것이 어렵다는 것을 알 수 있다. 해당 논문에 따르면 군중밀도의 경우 밀도맵(density Map)을 추출하는 것을 알 수 있다. 해당 논문에서는 군중 밀도와 행동을 각각 3 단계로 정의하고 있다.
군중 밀도와 행동 검지의 Low Level에서는 단순 사람의 위치를 추정하는 정도로 본다. 예를 들어 군중밀도가 높은 상황에서는 원자적인 흐름 정도를 또는 객체를 검출할 수 있는 밀도가 낮은 곳에서는 명확한 자세(예: 앉음 서있기, 걷기) 정도를 인지하는 정도이다. 즉 한장면으로 추정할 수 있는 자세정도라 하겠다. 행동인식의 판단의 시간적 범위는 몇 초 정도의 분량의 동영상으로 판단을 하는 레벨이다.
Medium level의 경우 그룹을 식별하고 그룹별로 클러스터링 및 그룹 궤적을 추정하는 레벨로 정의하고 있다. 다중 객체들과 군집인원들에 대한 추적과 클러스터링에 대한 것이며 매우 어려운 부분이고 따라서 많이 연구되고 있는 부분이다. 행동인식의 시간적 범위는 분단위에서 시간단위까지 행동을 정의하는 레벨이라고 보면 된다.
High level의 경우에는 그룹별로 의미론적 이해와 행위별 클러스터링, 그리고 행동의 검출 등이 있다. 의미론적 이해를 한다는 것은 앞서 분석된 결과인 군중밀도화 흐름 분석결과를 통하여 위험한지를 판단하는 부분이라고 할 수 있겠다. 행위인식의 경우에는 시간단위 또는 날짜단위의 행위를 인식하는 단계이며 2종 이상의 행동의 변화 등을 검지할 수 있는 수준이라고 할 수 있다.
논문들에 공지된 내용들을 보면, 밀도가 낮을 때의 행동 인식과 밀도가 높았을 때의 검출기술은 서로 기술기반이 다르다는 것을 알 수 있다. 가령 ShanghaiTech A 데이터셋에서 가장 좋은 성능을 보이는 모델로 P2PNet이 있다. 이 네트워크는 논문의 제목대로 GT를 포인트로 하고 예측도 포인트로 하여 학습과 평가를 직관적으로 할 수 있으며 군중계수 성능도 뛰어나다는 데에 있다(Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework 참조). 또한, ShanghaiTech B와 JHU-CROWD++ 데이터셋에서 가장 좋은 성능을 보이는 모델로 GauNet이 있다. 이 모델은 계수를 추정하기 위하여 CNN 기반으로 Density Map을 추출하여 계수를 하는 방식이며 주석(태깅)오차를 줄이기 위한 가우시안 커널로 콘볼루션 레이어를 교체하는 방식을 채택하였다.
한편, 캐논(Cannon)사에서는 인공지능(AI) 기반으로 군중을 계수하는 솔루션을 개발하여 보유하고 있다. 이 솔루션은 Mileston의 Xprotect에 Crowd People Counter라는 제품으로 출시하여 수초 내에 수천명의 사람을 계수하는 솔루션을 제공하고 있다. 해당 솔루션의 경우 단위 밀도를 구하기 위하여 측정영역을 수동으로 설정하는 방식이다. NEC에서 개발한 군중 관리 시스템이며 개인별 사람 검출방식이 아닌 밀집도 기반으로 분석한다. 군중의 밀집도와 흐름을 추출하고 이를 기반으로 군중이상행동을 검출한다.
그런데, 캐논사나 NEC사 모두 군중 계수기만 단독으로 사용하는 기능만 제시하고 있어, 최근에는 이를 이용해 군중의 밀집도를 예측하여 미리 사전에 위험사항을 예방하기 위한 방안이 요구되고 있다.
A Short Review of Deep Learning Methods for Understanding Group and Crowd Activities, IEEE, 2018
Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework, ICCV2021
Rethinking Spatial Invariance of Convolutional Networks for Object Counting, CVPR2022
Single-image crowd counting via multi-column convolutional neural network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 589-597, 2016.
본 발명의 실시예는 가령 딥러닝 기반 객체 검출 추적 기능, 딥러닝 기반 군중계수 검출 기능, 광학기반 흐름 추출 기능을 이용하여 과소 환경인 경우에는 객체 검출 추적 기능을 사용하여 개별 물체별 이벤트를 검출하거나 객체 추적기반 군중계수기능을 사용하며, 과밀한 환경으로 전환되면 개별 물체가 아닌 객체의 밀도기반 군중계수기 및 흐름을 추출하여 군중의 흐름과 관련한 위험상황을 판단하는 과소 및 과밀 환경을 모두 지원하는 군중위험 관리 시스템 및 방법을 제공함에 그 목적이 있다.
본 발명의 실시예에 따른 과소 및 과밀 환경을 지원하는 군중위험관리시스템은, 군중이 밀집되는 장소에 설치되는 촬영장치의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상 행위를 검출하며, 상기 군중 밀도가 기준값보다 높을 때 상기 촬영영상 내 군중의 이동과 관련한 광학적 흐름(Optical flow)을 추적해 상기 군중의 과밀 여부와 이상 흐름을 판단해 이벤트를 발생시키는 군중위험관리 영상분석장치, 및 상기 군중위험관리 영상분석장치로부터 상기 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험 정보를 표출하는 관제장치를 포함한다.
상기 군중위험관리 영상분석장치는, 상기 촬영영상을 분석해 군중의 계수를 추정하는 군중 계수 추정부, 상기 군중 계수 추정부에서 추출하는 군중 계수의 광학적 흐름에 근거해 군중 흐름을 추출하는 광학적 흐름 추출부, 및 상기 검출 객체의 추적 결과, 상기 추정한 군중의 계수 및 상기 추출한 광학적 흐름을 근거로 단위면적당 군중 밀도 및 상기 군중의 이상흐름을 판단하는 군중 흐름 이벤트 검출부를 포함할 수 있다.
상기 군중 계수 추정부는, 상기 군중의 계수를 추정하기 위해 인공지능 딥러닝 방식의 밀집도(density map) 기반 군중계수 추정기를 이용하는 방식 또는 군중의 위치를 포인트로 표현하고 이를 딥러닝 방식으로 추정하여 밀집도를 얻는 방식을 이용할 수 있다.
상기 광학적 흐름 추출부는, 광학 흐름을 검출하기 위한 기준점을 상기 군중 계수 추정부에서 획득한 밀도맵 또는 군중 포인트들을 시작점으로 하는 광학적 흐름을 추출할 수 있다.
상기 군중 흐름 이벤트 검출부는, 상기 군중의 이상흐름으로서 기준값보다 높은 밀도에서 흐름의 충돌 또는 정체 상황의 발생 여부를 판단할 수 있다.
또한 본 발명의 실시예에 따른 과소 및 과밀 환경을 지원하는 군중위험관리방법은, 군중위험관리 영상분석장치가, 군중이 밀집되는 장소에 설치되는 촬영장치의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상 행위를 검출하며, 상기 군중 밀도가 기준값보다 높을 때 상기 촬영영상 내 군중의 이동과 관련한 광학적 흐름을 추적해 상기 군중의 과밀 여부와 이상 흐름을 판단해 이벤트를 발생시키는 단계, 및 관제장치가, 상기 군중위험관리 영상분석장치로부터 상기 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험 정보를 표출하는 단계를 포함한다.
상기 이벤트를 발생시키는 단계는, 상기 군중위험관리 영상분석장치의 군중 계수 추정부가, 상기 촬영영상을 분석해 군중의 계수를 추정하는 단계, 상기 군중위험관리 영상분석장치의 광학적 흐름 추출부가, 상기 군중 계수 추정부에서 추출하는 군중 계수의 광학적 흐름에 근거해 군중 흐름을 추출하는 단계, 및 상기 군중위험관리 영상분석장치의 군중 흐름 이벤트 검출부가, 상기 검출 객체의 추적 결과, 상기 추정한 군중의 계수 및 상기 추출한 광학적 흐름을 근거로 단위면적당 군중 밀도 및 상기 군중의 이상흐름을 판단하는 단계를 포함할 수 있다.
상기 계수를 추정하는 단계는, 상기 군중의 계수를 추정하기 위해 인공지능 딥러닝 방식의 밀집도(density map) 기반 군중계수 추정기를 이용하는 방식 또는 군중의 위치를 포인트로 표현하고 이를 딥러닝 방식으로 추정하여 밀집도를 얻는 방식으로 추정하여 밀집도를 얻는 방식을 이용할 수 있다.
상기 군중 흐름을 추출하는 단계는, 광학 흐름을 검출하기 위한 기준점을 상기 군중 계수 추정부에서 획득한 밀도맵 또는 군중 포인트들을 시작점으로 하는 광학적 흐름을 추출할 수 있다.
상기 이상흐름을 판단하는 단계는, 상기 군중의 이상흐름으로서 기준값보다 높은 밀도에서 흐름의 충돌 또는 정체 상황의 발생 여부를 판단할 수 있다.
본 발명의 실시예에 따르면, 일반적으로 기설치된 CCTV를 활용하여 과소 환경에서 발생 가능한 쓰러짐, 폭력 행위 등의 고수준의 행동 이벤트를 검출할 수 있으면서 과밀한 곳에서의 군중의 밀도와 이상흐름을 추출하여 군중 행동의 이상 여부를 얻을 수 있으므로 군중의 위험사항을 사전에 알려 안전사고를 미연에 방지하거나 발생이 되었을 때 빠르게 알려 빠른 조치가 이루어지도록 할 수 있다.
도 1은 본 발명의 실시예에 따른 과소 및 과밀 환경을 위한 군중안전관리 시스템을 나타내는 도면,
도 2는 도 1의 군중위험관리 영상분석장치 및 관제장치의 세부구조를 예시한 블록다이어그램,
도 3은 객체 검출 방식으로 군중을 계수하거나 객체의 궤적을 통하여 흐름을 분석하는 예시도,
도 4는 Density 기반으로 군중 계수를 추정하는 기능에 대한 예시와 Point 추정방식으로 군중 계수를 추정하는 기능에 대한 예시도,
도 5는 카메라 캘리브레이션이 완료된 상황에서 사용자가 지정한 영역의 넓이가 실측으로 자동 계산되는 기능의 예시도,
도 6은 객체의 이동방향과 이동 속도를 Optical Flow Field로 표시하는 예시도,
도 7은 군중의 흐름을 큰 흐름들로 클러스터링하여 분류한 예시도,
도 8은 현재 추출된 군중 계수값을 기준으로 군중계수 빈도와 흐름 검출 여부를 판단하는 흐름도,
도 9는 군중 밀도별로 각 영상 분석엔진의 역할을 표시한 도면,
도 10은 군중 밀도 맵에 맵핑시키고 군중계수값을 모니터링하는 관제시스템 화면의 예시도,
도 11은 도 1의 군중위험관리 영상분석장치의 다른 세부구조를 예시한 블록다이어그램, 그리고
도 12는 도 1의 군중위험관리 영상분석장치의 구동과정의 흐름도이다.
도 2는 도 1의 군중위험관리 영상분석장치 및 관제장치의 세부구조를 예시한 블록다이어그램,
도 3은 객체 검출 방식으로 군중을 계수하거나 객체의 궤적을 통하여 흐름을 분석하는 예시도,
도 4는 Density 기반으로 군중 계수를 추정하는 기능에 대한 예시와 Point 추정방식으로 군중 계수를 추정하는 기능에 대한 예시도,
도 5는 카메라 캘리브레이션이 완료된 상황에서 사용자가 지정한 영역의 넓이가 실측으로 자동 계산되는 기능의 예시도,
도 6은 객체의 이동방향과 이동 속도를 Optical Flow Field로 표시하는 예시도,
도 7은 군중의 흐름을 큰 흐름들로 클러스터링하여 분류한 예시도,
도 8은 현재 추출된 군중 계수값을 기준으로 군중계수 빈도와 흐름 검출 여부를 판단하는 흐름도,
도 9는 군중 밀도별로 각 영상 분석엔진의 역할을 표시한 도면,
도 10은 군중 밀도 맵에 맵핑시키고 군중계수값을 모니터링하는 관제시스템 화면의 예시도,
도 11은 도 1의 군중위험관리 영상분석장치의 다른 세부구조를 예시한 블록다이어그램, 그리고
도 12는 도 1의 군중위험관리 영상분석장치의 구동과정의 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 과소 및 과밀 환경을 위한 군중안전관리시스템을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 과소 및 과밀 환경을 위한 군중안전관리시스템(90)은 촬영장치(100), 통신망(110) 및 군중위험관리 영상분석장치(혹은 군중위험관리장치)(120)의 일부 또는 전부를 포함하며, 촬영장치(100)에 포함하여 또는 인접하여 구비되는 에지장치나 관제를 위한 관제장치(130)를 더 포함할 수 있다.
여기서, "일부 또는 전부를 포함한다"는 것은 에지장치와 같은 일부 구성요소가 생략되어 과소 및 과밀 환경을 위한 군중안전관리시스템(90)이 구성되거나, 군중위험관리 영상분석장치(120)를 구성하는 구성요소의 일부 또는 전부가 통신망(110)을 구성하는 네트워크장치(예: 무선교환장치 등)에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
촬영장치(100)는 일반적으로 기설치된 CCTV를 포함할 수 있지만, 본 발명의 실시예에서는 이에 제한하는 것은 아니며, 추가로 설치되는 IP 카메라나 인공지능(AI) 카메라 등 다양한 장치를 더 포함할 수 있다. 물론 촬영장치(100)는 고정식뿐 아니라 PTZ(Pan, Tilt, Zoom) 조절이 가능한 PTZ 카메라 등 다양한 유형의 장치를 포함할 수 있다.
무엇보다 촬영장치(100)는 내부에 영상분석을 위한 모듈을 포함하거나, 인접한 곳에 영상분석을 위한 에지장치를 추가로 구비할 수 있다. 물론 해당 영상분석장치는 촬영장치(100)로부터 제공되는 촬영영상을 별도의 압축없이 제공받아 영상 분석 동작을 수행할 수 있다. 해당 에지장치를 활용하여 1차적으로 또는 예비적으로 영상 분석을 수행함으로써 통신망(110)의 트래픽을 줄여 부하(load)의 발생을 미연에 방지할 수 있을 것이다.
통신망(110)은 유무선 통신망을 모두 포함한다. 가령 통신망(110)으로서 유무선 인터넷망이 이용되거나 연동될 수 있다. 여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은 CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 물론 본 발명의 실시예에 따른 통신망(110)은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동 통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.
통신망(110)은 액세스포인트를 포함할 수도 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 촬영장치(100) 등을 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(100) 등과 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함할 수 있다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다. 여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다. 이에 따라 액세스포인트는 데이터 패킷의 위치를 추출하고, 추출된 위치에 대한 최상의 통신 경로를 지정하며, 지정된 통신 경로를 따라 데이터 패킷을 다음 장치, 예컨대 군중위험관리 영상분석장치(120)로 전달할 수 있다. 액세스포인트는 일반적인 네트워크 환경에서 여러 회선을 공유할 수 있으며, 예컨대 라우터(router), 리피터(repeater) 및 중계기 등이 포함된다.
군중위험관리 영상분석장치(120)는 가령 CCTV 환경에서 과소 및 과밀 환경에서 모두 사용할 수 있는 군중위험관리 시스템을 구성하기 위해 서버나 DB(120a)를 포함하여 구성될 수 있다. 군중위험관리 영상분석장치(120)는 군중 계수기를 통하여 일정 군중 미만으로 판단되면 객체 검출기를 기반으로 과소 환경에서의 군중의 흐름과 이상 행위를 검출하고, 만약 군중 밀도가 매우 과밀하게 측정되면 군중계수 엔진과 흐름 추출을 통하여 군중 과밀에 따르는 위험 여부와 군중 흐름의 이상 여부를 판별한다. 이에 따라 군중위험관리 영상분석장치(120)는 이상상황으로 판단되면 상황을 빠르게 관제시스템에 전파하여 빠른 초동 대처가 가능하도록 동작한다. 또한 군중위험관리 영상분석장치(120)는 생성되는 군중계수 정보를 기반으로 군중의 밀집도를 예측하여 미리 사전에 위험사항을 예방하도록 동작할 수 있다.
좀더 구체적으로 본 발명의 실시예에 따른 군중위험관리 영상분석장치(120)는 촬영영상을 분석하여 촬영영상 내의 객체 즉 사람들의 과소 환경에서는 객체 검출 방식으로 군중을 계수하거나 객체의 궤적을 통하여 즉 객체의 추적을 통해 흐름을 분석할 수 있다. 그리고 검출된 개별객체 단위로 행위 기반 이벤트를 검출할 수 있다. 반면, 군중위험관리 영상분석장치(120)는 촬영영상 내 사람들이 과밀 환경에 있을 때, 딥러닝 방식으로 밀집도 기반 군중계수 추정기를 활용하여 과밀환경에서 군중의 계수를 추정하고 또는 영상 내에서 군중의 위치를 포인트로 표현하고 이를 딥러닝 방식으로 추정하여 밀집도를 얻는 방식으로 추정하여 밀집도를 얻는다. 그리고, 군중위험관리 영상분석장치(120)는 광학적 흐름을 추출하며 이를 위해 군중 계수 추출 과정에서 추출한 밀도맵 또는 군중 포인트들(Crowd Points)을 이용해 군중의 흐름을 추출한다. 이어 군중위험관리 영상분석장치(120)는 딥러닝 객체 검출 추적, 군중 계수 추정 및 광학적 흐름 추출 과정에서 추출된 객체와 흐름 정보를 이용해 과밀 여부와 이상 흐름을 판단하여 이벤트를 발생할 수 있다.
무엇보다 본 발명의 실시예에 따른 군중위험관리 영상분석장치(120)는 군중계수 추출부를 통해 객체 검출기에 의한 군중흐름 정보를 사용할지 군중계수기에 의한 군중의 흐름정보를 사용할지를 결정하는 중요한 역할을 한다. 가령 군중계수기에 얻어진 군중 계수값이 미리 지정된 특정 밀도값을 넘어서면 군중계수 주기를 상향 조정하고(예: 계수 측정 주기 증가 등) 광학기반 플로우 검출을 시작한다. 또한 군중계수 인원의 밀도가 위험밀도 K보다 높은 경우에는 객체 검출에 의한 이벤트를 중지할 수 있다.
관제장치(130)는 1대 이상의 군중위험관리 영상분석장치(120)에서 군중 계수 관련 정보를 받아 지도상에 군중밀도와 흐름 및 위험정보 등을 표출하며, 각각의 CCTV 카메라 영상별로 영상 내에서의 군중 밀도와 영상 내의 이벤트 알람을 표시한다. 관제장치(130)는 전자의 동작을 위한 지도 기반 관제장치(혹은 제1 관제장치)를 구성할 수 있으며, 또 후자의 동작을 위한 영상관제 기반 관제장치(혹은 제2 관제장치)를 구성할 수 있다. 관제장치(130)는 서버나 관제요원들이 관리하는 컴퓨터 등을 포함할 수 있다.
도 2는 도 1의 군중위험관리 영상분석장치와 관제장치의 세부구조를 예시한 블록다이어그램, 도 3은 객체 검출 방식으로 군중을 계수하거나 객체의 궤적을 통하여 흐름을 분석하는 예시도, 도 4는 Density 기반으로 군중 계수를 추정하는 기능에 대한 예시와 Point 추정방식으로 군중 계수를 추정하는 기능에 대한 예시도, 도 5는 카메라 캘리브레이션이 완료된 상황에서 사용자가 지정한 영역의 넓이가 실측으로 자동 계산되는 기능의 예시도, 도 6은 객체의 이동방향과 이동 속도를 Optical Flow Field로 표시하는 예시도, 도 7은 군중의 흐름을 큰 흐름들로 클러스터링하여 분류한 예시도, 도 8은 현재 추출된 군중 계수값을 기준으로 군중계수 빈도와 흐름 검출 여부를 판단하는 흐름도, 도 9는 군중 밀도별로 각 영상 분석엔진의 역할을 표시한 도면, 도 10은 군중 밀도 맵에 맵핑시키고 군중계수값을 모니터링하는 관제시스템 화면의 예시도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 도 1의 군중위험관리 영상분석장치(120)는 영상 입력부(200), 딥러닝 기반 객체검출추적부(210), 군중계수추정부(220), 광학적흐름추출부(230), 객체궤적기반 이벤트검출부(240) 및 군중흐름 이벤트검출부(250)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 객체궤적기반 이벤트검출부(240)와 같은 일부 구성요소가 생략되어 군중위험관리 영상분석장치(120)가 구성되거나, 객체궤적기반 이벤트검출부(240)와 같은 일부 구성요소가 군중흐름 이벤트검출부(250)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
상기의 영상 입력부(200), 딥러닝 기반 객체검출추적부(210), 군중계수추정부(220), 광학적흐름추출부(230), 객체궤적기반 이벤트검출부(240) 및 군중흐름 이벤트검출부(250)는 하드웨어, 소프트웨어 또는 그 조합에 의해 구성될 수 있다.
영상 입력부(200)는 영상분석장치(120)에서 촬영장치(100)의 실시간 영상을 입력받는 부분에 해당한다. 물론, 저장매체에 기저장되어 있는 촬영영상을 제공받는 것도 얼마든지 가능할 수 있다. 이 영상 입력부(200)에서 얻은 영상에서 딥러닝 방식으로 객체를 검출하고 추적하는 딥러닝 기반 객체검출추적부(210)를 통하여 상대적으로 과소환경의 보행자를 검출하고 추출하는 동작을 수행한다.
딥러닝 기반 객체검출추적부(210)는 딥러닝 방식으로 객체를 검출한 다음 (비디오) 프레임에서 동일 물체 여부를 판단하여 추적한다. 군중의 밀도가 드문 환경에서 적용을 하려는 목적이며 객체의 크기가 매우 작은 경우에는 추론에 사용되는 입력 영상을 높이거나 네트워크의 깊이가 깊은 네트워크를 활용한다. 또한 검출한 객체의 흐름을 추출하기 위해 객체 추적알고리즘이 필요한데 대개 SORT(Simple Object Realtime Tracking) 알고리즘을 사용하며 추적 성능을 높이기 위해 딥러닝 Feature를 사용하는 Deep Sort 방식을 사용하거나 템플릿 매칭 방식으로 추적을 수행한다. 객체의 밀도가 매우 낮는 환경에서 개별 객체의 궤적을 기반으로 하는 이벤트의 경우에는 중요한 요소가 될 수 있다.
도 3은 객체 검출에 의한 추적 결과에의 한 예이다. 도 3의 (a)는 광장에서 객체 검출(예: 물체박스)에 의한 추적의 예시를 보여주고, (b)는 캠퍼스에서 객체 추적의 예이며, (c) 및 (d)는 객체 검출에 의한 궤적 표시의 예를 각각 보여준다. (a) 및 (b)와 같은 첫번째 영상과 두번째 영상은 객체를 검출한 결과이다. 보행자의 전신이 충분할 때 검출 성능이 보장된다. (c) 및 (d)와 같은 나머지 영상은 객체의 추적한 결과를 궤적 형태로 표시한 영상이다. 이러한 궤적 정보를 통하여 객체의 이동방향과 흐름을 검출할 수 있다.
군중계수추정부(220)에서는 딥러닝 방식으로 밀집도 기반 군중계수 추정기를 활용하여 과밀환경에서 군중의 계수를 추정하고 또한 영상 내에서 군중의 위치를 포인트로 표현하고 이를 딥러닝 방식으로 추정하여 밀집도를 얻는 방식으로 추정하여 밀집도를 얻는다.
즉 군중계수추정부(220)는 과소뿐만 아니라 과밀 환경에서 군중의 계수를 추출 혹은 추정하는 동작을 담당한다. 이 군중계수는 도 4에서와 같이 군중의 밀도가 매우 높은 환경에 적합하며 보통은 머리를 GT(Ground Truth)로 하고 가려짐에도 카운트하도록 훈련을 하였기 때문에 군중 밀도가 높은 복잡한 환경에 강건하다. 군중 밀도의 경우 밀도에 대한 추정 Density 이미지나 Point 리스트가 산출되며 이러한 정보를 기반으로 군중의 수와 밀도를 계산할 수 있다. 도 4의 (a) 내지 (f)와 같이 메카 순례 영상과 운동장 영상의 경우에는 입력영상으로부터 Density map을 구한 결과이다. 또한 좌측 즉 (b), (d), (f)에는 추정계수도 함께 표시되고 있다. 도 4의 3번째 영상 즉 (e)는 Point 기반으로 군중을 추정한 결과이다. 도 4의 (a)는 메카 순례 영상(원본+히트맵), (b)는 Density 영상(히트맵), (c)는 운동장 영상(원본+히트맵), (d)는 운동장 영상(히트맵), (e)는 군중 영상(GT: 760), (f)는 포인트 기반 추정 영상을 각각 나타낸다.
군중 밀도의 경우는 평방미터당 인원의 수로 표현한다. 따라서 영상에서 지정된 관심범위를 실(Real) 공간으로 맵핑이 필요하다. 이는 카메라 캘리브레이션 정보를 통하여 개별 물체를 실공간으로 맵핑이 가능하며 이를 통하여 밀도계산이 가능하게 된다. 도 5는 단일 카메라로부터 물체의 실제 크기 및 위치를 측정하는 방법을 설명하기 위한 도면이다. 카메라의 캘리브레이션에 대한 다양한 방법론은 종래기술에 제시한 문헌들 외에도 이미 공지되어 있는 내용이므로 더 이상의 설명은 생략하도록 한다. 도 5의 2번째 즉 하단 그림은 카메라 캘리브레이션이 완료된 영상에서 각각 A 영역과 B 영역을 지정하면 면적을 자동으로 계산하는 것을 보여준다.
본 발명의 실시예에서 군중계수추정부(혹은 추출부)(220)는 객체 검출기에 의한 군중흐름 정보를 사용할지 군중계수기에 의한 군중의 흐름정보를 사용할지를 결정하는 중요한 역할을 한다. 도 8의 S800 ~ S820 단계에서와 같이 군중계수기에서 얻어진 군중 계수값이 미리 지정된 특정 밀도값(혹은 기준값)을 넘어서면 군중계수 주기를 상향 조정하고 광학기반 플로우 검출을 시작한다. 또한 군중계수 인원의 밀도가 위험밀도 K보다 높은 경우에는 객체 검출에 의한 이벤트를 중지할 수 있다.
광학적흐름추출부(230)는 일련의 다수의 (비디오) 프레임을 입력받아 군중의 흐름을 추정한다. 광학적 흐름을 추출하기 위해서 군중계수추정부(220)에서 추출한 Density Map 또는 Crowd Points들을 입력받아 군중의 흐름을 추출한다.
좀더 구체적으로 광학적흐름추출부(230)는 입력된 영상에서 광학적인 흐름을 추출한다. 밀도가 매우 높은 경우에는 개별 객체의 검출과 추적이 어렵다. 도 4의 메카 순례 영상에서 객체의 검출이 매우 어렵다. 따라서 광학흐름을 검출하기 위한 기준점을 군중계수추정부(220)에서 획득한 Density Map 또는 Point들을 시작점으로 한 다음 광학적 흐름(Optical Flow)을 구한다. 도 6은 Optical Flow에 대한 예시도이다. 첫번째 영상 (a)는 이해를 돕기 위해 서로 다른 방향으로 이동하는 3명에 대한 영상이다. 이 입력 영상을 Optical Flow Field 영상으로 추출하면 오른쪽 (b) 영상과 같이 얻을 수 있다. 또한 마라톤 영상 (c) 및 (d)에서 Optical Flow Field 영상에 대한 Ground Truth 영상이다. 도 7은 군중의 흐름을 큰 흐름들로 클러스터링하여 보여주고 있다.
객체궤적기반 이벤트검출부(240)에서는 검출된 개별객체 단위로 행위 기반 이벤트를 추출한다. 즉 객체궤적기반 이벤트검출부(240)는 객체 추적에 의한 궤적검출에 의하여 이벤트를 검출한다. 객체의 궤적에 의한 이벤트에는 객체의 배회, 경계라인 통과, 객체 속도측정에 의한 이벤트 등이 있다. 또한 객체의 크기가 객체의 인지가 충분하게 큰 경우에는 쓰러짐, 폭력 등의 이벤트도 검출할 수 있다. 즉 개별 객체의 행동을 검출하는 것은 군중의 밀도가 상대적으로 과소상태일 때 검출하게 된다. 이벤트 검출은 룰(rule) 기반으로 저장되는 이벤트 관련 기준데이터와의 비교를 통해 이벤트를 검출할 수 있지만, 인공지능의 딥러닝 기반으로 이벤트를 검출할 수도 있으므로, 본 발명의 실시예에서는 어느 하나의 형태에 특별히 한정하지는 않을 것이다.
군중흐름 이벤트검출부(250)는 딥러닝 기반 객체검출추적부(210), 군중계수 추정부(220), 광학적흐름추출부(230)에서 추출된 객체와 흐름 정보를 입력받아 과밀 여부와 이상흐름을 판단하여 이벤트를 발생한다. 즉 군중흐름 이벤트검출부(250)는 딥러닝 기반 객체검출추적부(210)와 군중계수 추정부(220), 광학적 흐름 추출부(230)에서 얻어진 객체 검출 및 흐름정보를 이용하여 이벤트를 검출한다. 여기서 검출할 수 있는 이벤트는 과밀여부에 대한 이벤트와 이상흐름에 대한 이벤트를 검출하게 된다. 과밀 이벤트의 경우에는 군중의 밀도가 (기준값 이상으로) 매우 높게 나타나는 경우에 위험상황으로 판단할 수 있으며 이상흐름의 경우 일정이상(혹은 기준값 이상) 밀도일 때 흐름의 충돌 또는 정체 상황을 이상흐름으로 판단할 수 있다.
도 9는 군중의 밀도에 따라 각각의 엔진의 역할과 범위를 작성한 것이다. 객체 검출 및 추적 엔진은 딥러닝 기반 객체검출추적부(210)와 객체궤적기반 이벤트 검출부(240)이며 상대적으로 군중밀도가 낮을 때 수행된다. 군중계수 추출엔진의 경우 평시에는 낮은 주기로 모니터링을 하다가 군중계수가 특정 임계값을 넘어서는 경우 보다 주기를 높여 분석을 수행하며, 광학적 흐름 분석엔진은 집중군중계수 모드로 전환되었을 때 활성화되어 군중의 흐름 검출을 수행하게 된다. 여기서, 엔진은 컴퓨터 분야에서는 핵심적이고 본질적인 기능을 수행하는 프로그램을 지칭하는 것이다. 한 가지 목적을 위해 공동작용을 하는 일련의 프로그램들에 대해 전반적인 운영을 조정하거나 응용프로그램 내에서 중심적인 기능을 하고 있는 프로그램이다. 군중흐름 이벤트검출부(혹은 분석부)(250)에서는 모든 분석결과를 통합하여 판단하여 군중흐름관련 이벤트를 발생시키고 관리하는 역할을 한다.
도 1의 관제장치(130)로서 도 2의 지도 기반 모니터링 시스템(혹은 장치)(131)에서는 1대 이상의 군중위험관리 영상분석장치(120)에서 군중 계수 관련 정보(예: 군중밀도, 흐름, 위험 등)를 받아 지도상에 군중밀도와 흐름 및 위험 정보 등을 표출하며, 영상관제 기반 모니터링 시스템(혹은 장치)(132)에서는 각각의 CCTV 카메라 영상별로 영상 내에서의 군중 밀도와 영상 내의 이벤트 알람을 표시한다.
도 10은 영상분석장치로부터 수신받은 정보를 지도 기반 관제화면에 표시하는 기능을 설명하는 도면이다. 군중 밀도맵 또는 객체의 위치를 포인트로 맵핑시켜 표시를 하면서 맵상에서 이동 방향과 흐름을 알 수 있게 한다. 또한 각 주요 지점별로 군중의 밀도의 변화를 알 수 있도록 그래프로 표시하는 기능을 보여주고 있다. 본 발명의 실시예에서는 군중 밀도에 대한 이벤트를 표시하면서도 과소 환경에서 발생되는 이벤트 또한 동시에 표시할 수 있다는 점에 중점을 두고 있다.
도 11은 도 1의 군중위험관리 영상분석장치의 다른 세부구조를 예시한 블록다이어그램이다.
도 11에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 군중위험관리 영상분석장치(120')는 통신 인터페이스부(1100), 제어부(1110), 군중위험관리부(1120) 및 저장부(1130)의 일부 또는 전부를 포함한다.
여기서, "일부 또는 전부를 포함한다"는 것은 저장부(1130)와 같은 일부 구성요소가 생략되어 군중위험관리 영상분석장치(120')가 구성되거나, 군중위험관리부(1120)와 같은 일부 구성요소가 제어부(1110)와 같은 다른 구성요소에 통합되어 구성될 수 있는 것 등을 의미하는 것으로서, 발명의 충분한 이해를 돕기 위하여 전부 포함하는 것으로 설명한다.
통신 인터페이스부(1100)는 도 1의 통신망(110)을 경유하여 촬영장치(100) 및 관제장치(130)와 각각 통신한다. 통신 인터페이스부(1100)는 통신을 수행하는 과정에서 변/복조, 인코딩/디코딩 등의 동작을 수행할 수 있으며, 이는 당업자에게 자명하므로 더 이상의 설명은 생략한다.
통신 인터페이스부(1100)는 CCTV와 같은 촬영장치(100)로부터 제공되는 촬영영상을 수신하여 제어부(1110)에 제공할 수 있다. 또한, 통신 인터페이스부(1100)는 제어부(1110)의 제어하에 관제장치(130)로 촬영장치(100)의 촬영지역에서 군중의 이상흐름이 감지될 때 이벤트를 통지할 수 있다. 다시 말해, 통신 인터페이스부(1100)는 영상 분석 결과에 따라 군중 계수 관련 정보를 제공하여 관제장치(130)에서 지도상에 군중밀도와 흐름 및 위험 정보 등을 표출하도록 한다. 또한, 통신 인터페이스부(1100)는 관제장치(130)에서 각각의 CCTV 카메라 영상별로 영상 내에서의 군중 밀도와 영상 내의 이벤트 알람을 표시하도록 관련 동작을 수행할 수 있다.
제어부(1110)는 도 11의 통신 인터페이스부(1100), 군중위험관리부(1120) 및 저장부(1130)의 전반적인 제어 동작을 담당한다. 대표적으로 제어부(1110)는 통신 인터페이스부(1100)에서 제공되는 촬영영상의 영상 데이터를 저장부(1130)에 임시 저장한 후 불러내어 영상 분석을 위해 군중위험관리부(1120)에 제공할 수 있다. 또한, 제어부(1110)는 군중위험관리를 위하여 군중위험관리부(1120)와 연계하여 동작할 수 있다. 다시 말해, 군중위험관리부(1120)는 촬영장치(100)에서 촬영되는 지역에 군중과밀이 판단되어 위험상황에 있다고 판단될 때 관련 판단 결과를 제어부(1110)에 제공할 수 있으며, 이에 따라 제어부(1110)는 도 1의 관제장치(130)로 군중계수 관련 정보를 전송하도록 통신 인터페이스부(110)의 통신을 제어해 가령 관제장치(130)의 모니터 등에 지도상 군중밀도와 흐름 및 위험 정보 등을 표출하도록 할 수 있다.
군중위험관리부(1120)는 가령 CCTV 등의 촬영영상을 분석하여 군중의 위험 관리를 위한 동작을 수행한다. 물론 본 발명의 실시예에 따른 군중위험관리부(1120)는 군중 위험만 관리하기보다는 사람들이 과밀하지 않은 과소 환경에서는 촬영영상에서 딥러닝 기반으로 객체를 검출하고, 또 검출한 객체를 추적할 수 있으며, 그 객체의 추적 결과를 근거로 이벤트를 검출하여 적절한 조치가 이루어지도록 할 수 있다. 예를 들어, 과소 환경에서 발생 가능한 쓰러짐, 폭력 행위 등의 고수준의 행동이벤트를 검출할 수 있으며, 이러한 이벤트 검출은 이벤트 탐지와 관련한 기준 데이터를 룰 기반으로 기저장하여 해당 기준 데이터와의 비교를 통해 이벤트를 탐지할 수 있으며, 인공지능 프로그램을 적용해 학습에 의해 이벤트를 검출하는 것도 얼마든지 가능할 수 있다.
또한, 군중위험관리부(1120)는 촬영영상의 분석 과정에서 군중 계수기를 통하여 일정 군중 이상으로 군중 밀도가 과밀하게 측정되면 군중계수엔진과 흐름추출을 통하여 군중 과밀에 따르는 위험 여부와 군중 흐름의 이상여부를 판별할 수 있다. 물론 여기서 엔진은 군중 과밀에 따르는 위험 여부와 군중 흐름의 이상여부를 판별하기 위한 프로그램을 실행시킨다고 볼 수 있다. 이를 위하여 본 발명의 실시예에서는 군중이 밀집되는 경우 객체의 이동방향과 이동 속도의 광학적 흐름을 판단한다. 물론 이동 속도는 화상의 변화를 통해 측정된다고 볼 수 있다. 그리고 과밀 이벤트의 경우 군중의 밀도가 기준값 이상으로 매우 높게 나타날 때 위험상황으로 판단해 관제센터 등으로 알려 적절한 조처가 이루어지도록 할 수 있으며, 이상흐름의 경우 일정이상 밀도일 때 흐름의 충돌 또는 정체 상황을 이상흐름으로 판단하여 적절한 조처가 이루어지도록 할 수 있다.
저장부(1130)는 제어부(1110)의 제어하에 처리되는 다양한 유형의 데이터를 임시 저장할 수 있다. 저장부(1130)는 도 1의 촬영장치(100)에서 제공되는 촬영영상의 영상 데이터를 임시 저장한 후 영상 분석을 위해 군중위험관리부(1120)에 제공할 수 있다.
상기한 내용 이외에도 도 11의 통신 인터페이스부(1100), 제어부(1110), 군중위험관리부(1120) 및 저장부(1130)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
본 발명의 실시예에 따른 도 11의 통신 인터페이스부(1100), 제어부(1110), 군중위험관리부(1120) 및 저장부(1130)는 서로 물리적으로 분리된 하드웨어 모듈로 구성되지만, 각 모듈은 내부에 상기의 동작을 수행하기 위한 소프트웨어를 저장하고 이를 실행할 수 있을 것이다. 다만, 해당 소프트웨어는 소프트웨어 모듈의 집합이고, 각 모듈은 하드웨어로 형성되는 것이 얼마든지 가능하므로 소프트웨어니 하드웨어니 하는 구성에 특별히 한정하지 않을 것이다. 예를 들어 저장부(1130)는 하드웨어인 스토리지(storage) 또는 메모리(memory)일 수 있다. 하지만, 소프트웨어적으로 정보를 저장(repository)하는 것도 얼마든지 가능하므로 위의 내용에 특별히 한정하지는 않을 것이다.
한편, 본 발명의 다른 실시예로서 제어부(1110)는 CPU 및 메모리를 포함할 수 있으며, 원칩화하여 형성될 수 있다. CPU는 제어회로, 연산부(ALU), 명령어해석부 및 레지스트리 등을 포함하며, 메모리는 램을 포함할 수 있다. 제어회로는 제어동작을, 그리고 연산부는 2진비트 정보의 연산동작을, 그리고 명령어해석부는 인터프리터나 컴파일러 등을 포함하여 고급언어를 기계어로, 또 기계어를 고급언어로 변환하는 동작을 수행할 수 있으며, 레지스트리는 소프트웨어적인 데이터 저장에 관여할 수 있다. 상기의 구성에 따라, 가령 군중위험관리 영상분석장치(120')의 동작 초기에 군중위험관리부(1120)에 저장되어 있는 프로그램을 복사하여 메모리 즉 램(RAM)에 로딩한 후 이를 실행시킴으로써 데이터 연산 처리 속도를 빠르게 증가시킬 수 있다. 딥러닝 모델 같은 경우 램(RAM)이 아닌 GPU 메모리에 올라가 GPU를 이용하여 수행 속도를 가속화하여 실행될 수도 있다.
도 12는 본 발명의 실시예에 따른 군중위험관리방법의 흐름도이다.
설명의 편의상 도 12를 도 1 및 도 2와 함께 참조하면, 도 1의 군중위험관리 영상분석장치(120)는 군중이 밀집되는 장소에 설치되는 촬영장치(100)의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때(혹은 이하일 때) 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상 행위를 검출하며, 군중 밀도가 기준값보다 높을 때(혹은 이상일 때) 촬영영상 내 군중의 이동과 관련한 광학적 흐름을 추적해 군중의 과밀 여부와 이상 흐름을 판단해 이벤트를 발생시킨다(S1200).
군중위험관리 영상분석장치(120)는 촬영영상 내의 군중 계수 추정을 위하여 딥러닝 방식으로 밀집도 기반 군중계수 추정기를 이용하여 군중의 계수를 추정할 수 있고, 또 영상 내에서 군중의 밀도를 히트맵을 이용해 실제 밀집도를 얻을 수 있으며, 나아가 영상 내에서 군중의 위치를 포인트로 표현하고 이를 딥러닝 방식으로 추정하여 밀집도를 얻는 방식으로 추정하여 밀집도를 얻는 등 다양한 방식으로 군중 계수를 추정할 수 있다.
또한, 군중위험관리 영상분석장치(120)는 촬영영상 내에서 군중 흐름을 파악하기 위해 촬영영상의 일련의 다수의 프레임을 이용해 군중의 흐름을 추정하며, 광학적 흐름을 추출하기 위하여 군중 계수 추정부에서 추출한 밀도맵 또는 군중 포인트들을 이용해 군중의 흐름을 추출한다. 추출한 밀도맵 또는 군중 포인트들을 시작점으로 하는 광학적 흐름을 구한다.
나아가, 군중위험관리 영상분석장치(120)는 딥러닝 기반 객체검출추적부와 군중계수 추정부, 광학적 흐름 추출부에서 얻어진 객체 검출 및 흐름정보를 이용하여 이벤트를 검출하며, 과밀 이벤트의 경우에는 군중의 밀도가 기준값 이상으로 매우 높게 나타나는 경우, 가령 단위면적당 밀도로 파악할 수 있으며, 이상흐름의 경우 일정이상 즉 기준값 이상의 밀도일 때 흐름의 충돌 또는 정체 상황을 이상흐름으로 판단하여 이벤트를 발생시킬 수 있다.
한편, 관제장치(130)는, 군중위험관리 영상분석장치(120)로부터 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험 정보를 표출한다(S1210). 물론 군중 계수 정보에는 군중밀도, 군중흐름 및 위험 등의 정보가 포함되어 있다고 볼 수 있다. 또한, 관제장치(130)는 해당 군중 계수 정보를 근거로 지도상에 표시할 때, 촬영장치(100)별로 구분하여 표시할 수 있을 것이다.
상기한 내용 이외에도 도 1 및 도 2의 군중위험관리 영상분석장치(120) 및 관제장치(130)는 다양한 동작을 수행할 수 있으며, 기타 자세한 내용은 앞서 충분히 설명하였으므로 그 내용들로 대신하고자 한다.
한편, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.
여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐시(cache), 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100: 촬영장치 110: 통신망
120, 120': 군중위험관리 영상분석장치 130: 관제장치
1100: 통신 인터페이스부 1110: 제어부
1120: 군중위험관리부 1130: 저장부
120, 120': 군중위험관리 영상분석장치 130: 관제장치
1100: 통신 인터페이스부 1110: 제어부
1120: 군중위험관리부 1130: 저장부
Claims (10)
- 군중이 밀집되는 장소에 설치되는 촬영장치의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상행위를 검출하며, 상기 군중 밀도가 기준값보다 높을 때 상기 촬영영상 내 군중의 이동과 관련한 광학적 흐름(Optical flow)을 추적해 상기 군중의 과밀 여부와 이상흐름을 판단해 이벤트를 발생시키는 군중위험관리 영상분석장치; 및
상기 군중위험관리 영상분석장치로부터 상기 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험정보를 표출하고, 각 지점별로 군중 밀도의 변화를 알 수 있도록 그래프로 표시하는 관제장치;를 포함하되,
상기 군중위험관리 영상분석장치는,
상기 촬영영상에서 딥러닝 방식으로 객체를 검출한 다음 상기 촬영영상의 비디오 프레임에서 동일 물체 여부를 판단하여 상기 검출 객체를 추적하는 딥러닝 기반 객체검출추적부;
상기 군중 밀도가 기준값보다 낮을 때 상기 검출 객체의 추적에 의한 궤적 검출에 의하여 군중의 이동방향과 이상행위의 이벤트를 검출하는 객체궤적기반 이벤트 검출부;
상기 촬영영상을 분석해 군중의 계수를 추정하고, 상기 촬영영상 내에서 군중의 위치를 포인트(point)로 표현하여 상기 표현한 포인트를 딥러닝 방식으로 추정하여 밀집도(density map)를 얻는 방식으로 추정해 밀집도를 얻는 군중 계수 추정부;
상기 군중 계수 추정부에서 추출하는 군중 계수의 광학적 흐름에 근거해 군중 흐름을 추출하는 광학적 흐름 추출부; 및
상기 딥러닝 기반 객체검출추적부에서의 상기 검출 객체의 추적 결과, 상기 추정한 군중의 계수 및 상기 추출한 광학적 흐름을 근거로 단위면적당 군중 밀도 및 상기 군중의 이상흐름을 판단하는 군중 흐름 이벤트 검출부;를 포함하고,
상기 광학적 흐름 추출부는, 광학 흐름을 검출하기 위한 기준점을 상기 군중 계수 추정부에서 획득한 상기 밀집도를 나타내는 밀도맵 또는 군중 포인트들을 시작점으로 하는 광학적 흐름을 추출하며,
상기 군중 흐름 이벤트 검출부는, 상기 군중의 이상흐름으로서 기준값 이상의 밀도에서 흐름의 충돌 또는 정체 상황의 발생 여부를 판단하고,
상기 군중 계수 추정부는,
군중 계수기에서 얻어진 군중 계수값이 지정된 기준값을 넘어서면 계수 측정 주기를 증가시키기 위해 군중 계수 주기를 상향 조정하여 광학기반 흐름 검출을 시작하고, 군중계수 인원의 밀도가 위험밀도 K보다 높은 경우 상기 객체 검출에 의한 이벤트를 중지시키는, 과소 및 과밀 환경을 지원하는 군중위험관리시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 군중위험관리 영상분석장치가, 군중이 밀집되는 장소에 설치되는 촬영장치의 촬영영상을 분석하여 분석 결과 군중 밀도가 기준값보다 낮을 때 객체 검출 및 검출 객체의 추적을 통해 군중의 이동방향과 이상 행위를 검출하며, 상기 군중 밀도가 기준값보다 높을 때 상기 촬영영상 내 군중의 이동과 관련한 광학적 흐름을 추적해 상기 군중의 과밀 여부와 이상 흐름을 판단해 이벤트를 발생시키는 단계; 및
관제장치가, 상기 군중위험관리 영상분석장치로부터 상기 군중의 군중 계수 정보를 제공받아 지도상에 군중밀도, 군중흐름 및 위험 정보를 표출하고, 각 지점별로 군중 밀도의 변화를 알 수 있도록 그래프로 표시하는 단계;를 포함하되,
상기 이벤트를 발생시키는 단계는,
상기 군중위험관리 영상분석장치의 딥러닝 기반 객체검출추적부가, 상기 촬영영상에서 딥러닝 방식으로 객체를 검출한 다음 상기 촬영영상의 비디오 프레임에서 동일 물체 여부를 판단하여 상기 검출 객체를 추적하는 단계;
상기 군중위험관리 영상분석장치의 객체궤적기반 이벤트 검출부가, 상기 군중 밀도가 기준값보다 낮을 때 상기 검출 객체의 추적에 의한 궤적 검출에 의하여 군중의 이동방향과 이상행위의 이벤트를 검출하는 단계;
상기 군중위험관리 영상분석장치의 군중 계수 추정부가, 상기 촬영영상을 분석해 군중의 계수를 추정하고, 상기 촬영영상 내에서 군중의 위치를 포인트(point)로 표현하여 상기 표현한 포인트를 딥러닝 방식으로 추정하여 밀집도(density map)를 얻는 방식으로 추정해 밀집도를 얻는 단계;
상기 군중위험관리 영상분석장치의 광학적 흐름 추출부가, 상기 군중 계수 추정부에서 추출하는 군중 계수의 광학적 흐름에 근거해 군중 흐름을 추출하는 단계; 및
상기 군중위험관리 영상분석장치의 군중 흐름 이벤트 검출부가, 상기 딥러닝 기반 객체검출추적부에서의 상기 검출 객체의 추적 결과, 상기 추정한 군중의 계수 및 상기 추출한 광학적 흐름을 근거로 단위면적당 군중 밀도 및 상기 군중의 이상흐름을 판단하는 단계;를 포함하고,
상기 군중 흐름을 추출하는 단계는,
광학 흐름을 검출하기 위한 기준점을 상기 군중 계수 추정부에서 획득한 상기 밀집도를 나타내는 밀도맵 또는 군중 포인트들을 시작점으로 하는 광학적 흐름을 추출하며,
상기 이상흐름을 판단하는 단계는,
상기 군중의 이상흐름으로서 기준값 이상의 밀도에서 흐름의 충돌 또는 정체 상황의 발생 여부를 판단하고,
상기 군중 계수 추정부가, 군중 계수기에서 얻어진 군중 계수값이 지정된 기준값을 넘어서면 계수 측정 주기를 증가시키기 위해 군중 계수 주기를 상향 조정하여 광학기반 흐름 검출을 시작하고, 군중계수 인원의 밀도가 위험밀도 K보다 높은 경우 상기 객체 검출에 의한 이벤트를 중지시키는 단계;를
더 포함하는, 과소 및 과밀 환경을 지원하는 군중위험관리방법. - 삭제
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220173416A KR102584708B1 (ko) | 2022-12-13 | 2022-12-13 | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220173416A KR102584708B1 (ko) | 2022-12-13 | 2022-12-13 | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102584708B1 true KR102584708B1 (ko) | 2023-10-05 |
Family
ID=88293533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220173416A KR102584708B1 (ko) | 2022-12-13 | 2022-12-13 | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102584708B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102594435B1 (ko) * | 2023-09-05 | 2023-10-27 | 비티에스 유한회사 | Ai 기반 재난안전 및 방범용 영상감시시스템과 그 방법 |
| KR102674825B1 (ko) | 2023-12-13 | 2024-06-13 | 주식회사 인텔리빅스 | 고정형 카메라와 ptz 카메라를 활용한 인파관리장치 및 그 장치의 구동방법, 그리고 인파관리 시스템 |
| CN118644094A (zh) * | 2024-08-19 | 2024-09-13 | 杭州万斛泉科技有限公司 | 一种智慧社区用户行为智能监测与预警方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160093253A (ko) | 2015-01-29 | 2016-08-08 | 쿠도커뮤니케이션 주식회사 | 영상 기반 이상 흐름 감지 방법 및 그 시스템 |
| KR20170075445A (ko) | 2015-12-23 | 2017-07-03 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
| JP6474919B2 (ja) * | 2016-01-12 | 2019-02-27 | 株式会社日立国際電気 | 混雑状況監視システム及び混雑状況監視方法 |
| KR101954719B1 (ko) * | 2018-08-09 | 2019-03-06 | 주식회사 인텔리빅스 | 이벤트감지장치 및 그 장치의 구동방법 |
| KR20200022149A (ko) | 2018-08-22 | 2020-03-03 | 주식회사 오지씨티 | 군중 밀집 지역에서의 군중 제어 시스템 및 방법 |
| KR102187831B1 (ko) * | 2019-10-29 | 2020-12-07 | 곽찬우 | Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램 |
| KR20210053534A (ko) * | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | 딥러닝기반 행동인식장치 및 그 장치의 구동방법 |
| KR20210083025A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 엠제이비전테크 | 인공지능 기반 횡단보도 보행자 검출 및 사고 예방 시스템 |
| KR102314797B1 (ko) * | 2021-06-25 | 2021-10-19 | (주)에이치티비젼 | 사람들의 과밀도 정보를 알려주는 실물 화상기 |
| KR20220056399A (ko) | 2020-10-28 | 2022-05-06 | 세종대학교산학협력단 | 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법 |
| KR20220072316A (ko) * | 2020-11-25 | 2022-06-02 | 주식회사 넥스트케이 | 다객체의 이벤트 검출을 위한 영상분석장치 및 그 장치의 구동방법 |
| KR20220155700A (ko) * | 2021-05-17 | 2022-11-24 | (주)케이아이오티 | 인공지능을 이용한 군중 계수 장치 및 방법 |
-
2022
- 2022-12-13 KR KR1020220173416A patent/KR102584708B1/ko active IP Right Grant
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160093253A (ko) | 2015-01-29 | 2016-08-08 | 쿠도커뮤니케이션 주식회사 | 영상 기반 이상 흐름 감지 방법 및 그 시스템 |
| KR20170075445A (ko) | 2015-12-23 | 2017-07-03 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
| JP6474919B2 (ja) * | 2016-01-12 | 2019-02-27 | 株式会社日立国際電気 | 混雑状況監視システム及び混雑状況監視方法 |
| KR101954719B1 (ko) * | 2018-08-09 | 2019-03-06 | 주식회사 인텔리빅스 | 이벤트감지장치 및 그 장치의 구동방법 |
| KR20200022149A (ko) | 2018-08-22 | 2020-03-03 | 주식회사 오지씨티 | 군중 밀집 지역에서의 군중 제어 시스템 및 방법 |
| KR102187831B1 (ko) * | 2019-10-29 | 2020-12-07 | 곽찬우 | Cctv를 이용한 혼잡도 판단 시스템의 제어 방법, 장치 및 프로그램 |
| KR20210053534A (ko) * | 2019-11-04 | 2021-05-12 | 주식회사 넥스트케이 | 딥러닝기반 행동인식장치 및 그 장치의 구동방법 |
| KR20210083025A (ko) * | 2019-12-26 | 2021-07-06 | 주식회사 엠제이비전테크 | 인공지능 기반 횡단보도 보행자 검출 및 사고 예방 시스템 |
| KR20220056399A (ko) | 2020-10-28 | 2022-05-06 | 세종대학교산학협력단 | 확장 합성곱 신경망을 이용한 군중 장면 이미지 실시간 분석 장치 및 방법 |
| KR20220072316A (ko) * | 2020-11-25 | 2022-06-02 | 주식회사 넥스트케이 | 다객체의 이벤트 검출을 위한 영상분석장치 및 그 장치의 구동방법 |
| KR20220155700A (ko) * | 2021-05-17 | 2022-11-24 | (주)케이아이오티 | 인공지능을 이용한 군중 계수 장치 및 방법 |
| KR102314797B1 (ko) * | 2021-06-25 | 2021-10-19 | (주)에이치티비젼 | 사람들의 과밀도 정보를 알려주는 실물 화상기 |
Non-Patent Citations (5)
| Title |
|---|
| A Short Review of Deep Learning Methods for Understanding Group and Crowd Activities, IEEE, 2018 |
| Rethinking Counting and Localization in Crowds: A Purely Point-Based Framework, ICCV2021 |
| Rethinking Spatial Invariance of Convolutional Networks for Object Counting, CVPR2022 |
| Single-image crowd counting via multi-column convolutional neural network. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 589-597, 2016. |
| 정철준 외 3명, ‘Optical Flow를 이용한 실시간 혼잡도 추정 시스템 연구’, 한국통신학회 학술논문집, 2012.2.31.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102594435B1 (ko) * | 2023-09-05 | 2023-10-27 | 비티에스 유한회사 | Ai 기반 재난안전 및 방범용 영상감시시스템과 그 방법 |
| KR102674825B1 (ko) | 2023-12-13 | 2024-06-13 | 주식회사 인텔리빅스 | 고정형 카메라와 ptz 카메라를 활용한 인파관리장치 및 그 장치의 구동방법, 그리고 인파관리 시스템 |
| CN118644094A (zh) * | 2024-08-19 | 2024-09-13 | 杭州万斛泉科技有限公司 | 一种智慧社区用户行为智能监测与预警方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Beery et al. | Context r-cnn: Long term temporal context for per-camera object detection | |
| KR102584708B1 (ko) | 과소 및 과밀 환경을 지원하는 군중위험관리시스템 및 방법 | |
| US9530221B2 (en) | Context aware moving object detection | |
| US9652863B2 (en) | Multi-mode video event indexing | |
| Singh et al. | Crowd monitoring: State-of-the-art and future directions | |
| US10552687B2 (en) | Visual monitoring of queues using auxillary devices | |
| US10110801B2 (en) | Methods and systems for controlling a camera to perform a task | |
| US9858486B2 (en) | Device and method for detecting circumventing behavior and device and method for processing cause of circumvention | |
| KR102002812B1 (ko) | 객체 검출을 위한 영상분석 서버장치 및 방법 | |
| Fradi et al. | Spatial and temporal variations of feature tracks for crowd behavior analysis | |
| Fradi et al. | Spatio-temporal crowd density model in a human detection and tracking framework | |
| CN115760912A (zh) | 运动目标跟踪方法、装置、设备及计算机可读存储介质 | |
| KR101492059B1 (ko) | 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템 | |
| Sutopo et al. | Appearance-based passenger counting in cluttered scenes with lateral movement compensation | |
| KR20170095599A (ko) | 동영상 검색 시스템 및 그 방법 | |
| CN111428626A (zh) | 一种移动物体的识别方法、装置、及存储介质 | |
| US11893084B2 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
| KR102293570B1 (ko) | 객체의 gps 좌표정보를 이용한 검색 서비스를 제공하는 영상분석장치 및 그 장치의 구동방법 | |
| KR20220072316A (ko) | 다객체의 이벤트 검출을 위한 영상분석장치 및 그 장치의 구동방법 | |
| US12147501B2 (en) | Object detection systems and methods including an object detection model using a tailored training dataset | |
| CN113674315B (zh) | 一种物体检测方法、设备及计算机可读存储介质 | |
| Wang | Automated Measurement of the Water Drop Penetration Time for the Analysis of Soil Water Repellency | |
| FROM | DEEP LEARNIG MODEL IMPLEMENTING PIPELINED AUTO ENCODERS AND ONE CLASS LEARNING FOR ANOMALY IDENTIFICATION AND LOCALIZATION FROM SURVEILLANCE STREAM VIDEO | |
| Mallick et al. | An Intelligent Crowd Density and Motion Direction Estimation for Real-Time Crowd Dynamics | |
| Beery et al. | LONG TERM TEMPORAL CONTEXT FOR PER CAMERA OBJECT DETECTION |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| AMND | Amendment | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |