[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20190125232A - 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법 - Google Patents

카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법 Download PDF

Info

Publication number
KR20190125232A
KR20190125232A KR1020190087059A KR20190087059A KR20190125232A KR 20190125232 A KR20190125232 A KR 20190125232A KR 1020190087059 A KR1020190087059 A KR 1020190087059A KR 20190087059 A KR20190087059 A KR 20190087059A KR 20190125232 A KR20190125232 A KR 20190125232A
Authority
KR
South Korea
Prior art keywords
sound source
abnormal sound
data
camera
microphone
Prior art date
Application number
KR1020190087059A
Other languages
English (en)
Inventor
김혜원
정재훈
Original Assignee
주식회사 경림이앤지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 경림이앤지 filed Critical 주식회사 경림이앤지
Priority to KR1020190087059A priority Critical patent/KR20190125232A/ko
Publication of KR20190125232A publication Critical patent/KR20190125232A/ko

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/001Signalling to an emergency team, e.g. firemen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Telephonic Communication Services (AREA)
  • Alarm Systems (AREA)

Abstract

카메라와 마이크와 A/V 컨트롤러를 구비하는 CCTV 시스템에서 이상 음원 탐지 시스템이 개시된다. 상기 시스템은 CCTV 카메라에 둘레에 설치된 다수의 마이크들(MIC)이 이상 음원 탐지 단말과 연결되고, 이상음원 탐지 단말은 장치ID와 마이크들에서 제일 진폭의 크기가 큰 음원 데이터와 동영상 데이터를 멀티플렉싱하여 통신부로 멀티플렉싱된 데이터를 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 디멀티플렉서와 카메라 동영상 모니터링을 하는 VMS 서버와 ATT 서버를 구비하는 이상음원 분석 서버가 ATT 서버의 ATT 모듈에 의해 음원 데이터를 텍스트로 변환하고, 위기 상황을 표시하는 특정 단어를 추출하며, 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 이상 음원이 탐지된 마이크(MIC) 방향으로 카메라를 포커싱하여 동영상이 VMS 서버로 녹화되며, 관제센터에서 ATT 서버가 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자를 전송하여 긴급 대응 조치를 취한다.

Description

카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템 및 방법{Peculiar sound detection system and method in a peculiar sound detection terminal including camera, array microphone and A/V controller, and CCTV system}
본 발명은 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템 및 방법에 관한 것으로, 카메라와 적어도 둘 이상의 마이크들(MIC)과 AV 컨트롤러 및 통신부를 구비하는 이상 음원 탐지 단말(IoT 디바이스)과, 이상 음원 탐지 단말은 동영상 데이터와 그 마이크들 중 음성 신호의 세기가 제일 큰 선택된 마이크로 입력된 음원 데이터를 생성하며, A/V 인코딩 및 멀티플렉서(multiplexer)에 의해 멀티플렉싱하여 멀티 플렉싱된 데이터를 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 디멀티플렉서(demultiplexer)에 의해 디멀티플렉싱 및 A/V 디코딩을 통해 카메라의 동영상을 모니터링하는 VMS 서버와 음원 데이터를 저장하는 음원 ATT 서버를 구비하며, 이상음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 관제센터에서 ATT 서버가 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송한다.
CCTV 시스템은 동영상을 촬영하는 다수의 카메라와, 다수의 카메라와 UTP 케이블로 연결되어 각 카메라의 영상 데이터를 압축하여 하드디스크에 저장하는 DVR(Digital Video Recorder) 또는 NVR(Network Video Recorder)과, DVR 또는 NVR에 연결된 하드디스크 스토리지로 구성되며, 통신망을 통해 각 카메라 채널의 동영상과 음성을 수신하는 관제센터 모니터링 서버로 전송되며, 관제센터 모니터링 서버에 연결된 모니터링 PC의 멀티뷰어 화면을 통해 원격 CCTV 카메라 모니터링을 한다.
CCTV 카메라는 고정 카메라, 돔 카메라(Dome camera), PTZ(Pan Tilt Zoom) 카메라, 야간에 촬영되는 적외선 LED를 구비하는 돔 적외선 카메라 등이 사용된다.
카메라는 렌즈와 카메라, 전원장치를 구비하며, 이를 커버하는 돔 또는 상부 덮개형 카메라 하우징을 구비하며, 고정식 카메라와 회전식 카메라로 분류된다.
PTZ 카메라는 PTZ(Pan, Tilt, Zoom) 제어 기능을 구비하며, Pan은 카메라의 위치를 고정하고 카메라를 좌우로 움직이는 기능, Tilt(tilt up, tilt down)는 카메라를 상하로 움직이는 기능이며, Zoom in/out은 카메라의 초점 거리를 근거리 또는 원거리로 포커싱하여 영상 화면을 축소/확대하는 기능을 제공한다.
DVR(Digital Video Recorder)은 1.7km 거리 내에서 케이블로 연결된 다수의 카메라가 촬영한 영상을 인코딩하여 하드 디스크에 저장하고, 각 카메라 채널별 영상을 분배하여 표시되도록 하는 디지털 영상 녹화 저장 장치이며, 화면 전환 스위치, 화면 분할기, VCR(비디오 재생기) 센서 및 알람 제어기 등이 구비된다.
NVR은 네트워크상에 설치된 카메라나 비디오 서버의 영상 녹화, 모니터링, 이벤트 관리, 재생을 위한 전용 PC 서버이며, IP 카메라를 통해 디지털 영상을 전송받아 압축하여 저장하고, IP 전용 저장 장치이므로 아날로그 카메라 영상 신호를 디지털 카메라 영상 신호로 변환하는 장치가 필요 없고, 기존 디지털 비디오 녹화기(DVR)를 대체하는 장치이다.
도 1을 참조하면, 기존 CCTV와 센서를 구비한 DVR 시스템은 감시 지역의 CCTV 영상을 촬영하는 적어도 하나 이상의 카메라(710); 화재 발생시 열을 감지하는 센서(712); 상기 적어도 하나 이상의 카메라(710) 및 상기 센서(712)와 연결되고, 장치 ID가 할당되며, 감시 지역의 영상을 촬영하는 적어도 하나 이상의 카메라와 연결되며, 카메라들로부터 녹화된 영상 데이터를 저장하는 하드 디스크가 내장된 DVR(720); 상기 DVR(720)에 연결되고, 감시 지역의 각 CCTV 카메라의 화면 분할기를 통해 출력하는 컴퓨터와 HD 모니터(723); 상기 DVR(720)과 연결되고, 감시 지역의 카메라들의 영상을 모니터링하며, 침입 탐지 시 기 관제 PC에서 알람을 발생하고 설정된 이동 전화번호의 이동통신 단말기(780)에 침입 알람을 전송하는 관제센터 서버(740); 및 감시 지역의 적어도 하나 이상의 카메라들로부터 녹화된 CCTV 영상에 대한 CMS 모니터링을 위한 화면 분할기 클라이언트가 설치된 DVR용 카드가 장착된 관제 PC(790);를 포함한다.
상기 센서(712)는 출입문 자석 감지기, 인체감지 센서(PIR 센서), 음파 감지 센서, 무선 도어 센서, 화재 감지 센서 중 어느 하나의 센서가 사용될 수 있다.
이와 관련된 선행기술1로써, 특허 등록번호 10-1384781에서는 "광섬유 센서를 이용한 이상 정보 탐지 장치 및 방법"이 개시된다. 이상 음원 탐지 장치는 감시 영역 주변에서 발생하는 소리에 대한 정보를 수집하는 복수개의 마이크와 상기 감시 영역 주변에서 발생하는 진동 및 음압에 대한 정보를 수집하는 광섬유 센서를 포함하는 정보 수집부 및 상기 정보 수집부에서 수집되는 정보들을 기반으로 이상 음원을 탐지하여 이상 음원 정보를 생성하는 제어부를 포함한다. 감시 영역 주변에서 발생하는 초저주파 진동 및 가청주파수 대역의 정보를 수집함으로써 범죄 예방 및 방범의 효과를 제공한다.
각 지자체가 매년 대규모 사업비를 들여 범죄 및 주민안전을 위한 CCTV를 설치하고 있으며, 현장에 설치되는 카메라 및 네트워크 장비들 또한 고해상도의 카메라 및 네트워크를 통해 전송하기 위한 고도의 장비들이 설치되고 있다. 또한, 카메라의 감시 사각 지역을 없애기 위해 많은 자원을 집중적으로 투입하고 있다.
하지만, 현장에 설치되어 있는 많은 고가의 장비들을 제한된 인력으로 운영하다 보니 대부분 실시간 위험을 파악하기 보다 사후 범죄 증거 자료 수집용으로만 CCTV가 활용되고 있는 실정이다. 정작, 긴급 상황 발생 시, 물리적으로 현장에 설치된 비상벨을 호출하여 경찰관 또는 관제요원에게 SOS를 요청하기 어렵고, 주로 야간에 발생하는 폭력상황과 사건 상황을 관제센터에서 24시간 모니터링하며 대응하기가 현실적으로 매우 어려운 현실이다.
"현장에 설치된 고도화된 장비를 열악한 관제환경에서 보다 효율적이고 효과적으로 운영하는 방법은 없을까?", "위험에 처한 사람을 보다 신속하게 확인하고 위험상황을 전파하여 범죄를 예방하는 방법을 없을까?" 하는 문제가 CCTV 장비의 숫자를 늘리고, 고도화된 장비를 설치하는 것 만큼이나 해결할 문제로 남아 있다.
특허 등록번호 10-1384781 (등록일자 2014년 04월 07일), "이상 음원 탐지 장치 및 방법", 아이브스 주식회사
상기한 문제점을 해결하기 위한 본 발명의 목적은 카메라와 적어도 둘 이상의 마이크들(MIC)과 AV 컨트롤러 및 통신부를 구비하는 이상 음원 탐지 단말(IoT 디바이스)과, 이상 음원 탐지 단말은 동영상과 그 마이크들 중 음성 신호의 세기가 제일 큰 선택된 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 생성하며, A/V 인코딩 및 멀티플렉서(multiplexer)에 의해 멀티플렉싱하여 멀티플렉싱된 데이터를 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 디멀티플렉서(demultiplexer)에 의해 디멀티플렉싱 및 A/V 디코딩을 통해 카메라의 동영상을 모니터링하는 VMS 서버와 음원 데이터를 저장하는 음원 ATT 서버를 구비하며, 이상음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 관제센터에서 ATT 서버가 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하는, 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템을 제공한다.
본 발명의 다른 목적은 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법을 제공한다.
본 발명의 목적을 달성하기 위해, 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템은 카메라와, 그 카메라 둘레에 마이크 설치대에 부착되는 사면 방향으로 설치된 다수의 마이크(MIC)들; 상기 카메라의 둘레에 마이크 설치대에 부착되는 다수의 마이크(MIC)들로부터 음원 데이터를 입력받고, A/V 컨트롤러의 제어에 따라 멀티플렉서에 의해 이상음원 탐지 단말의 장치ID와 마이크들에서 제일 진폭의 크기가 큰 음원 데이터와 동영상 데이터를 멀티플렉싱하여 통신부로 멀티플렉싱된 데이터를 전송하는 이상 음원 탐지 단말; 및 멀티플렉싱된 데이터를 디멀티플렉싱하는 디멀티플렉서와, 디멀티플렉싱된 장치ID와 음원 데이터와 동영상 데이터를 저장하는 VMS 서버와; 상기 VMS 서버로부터 음원 데이터를 수신하는 ATT 서버를 포함하며,
상기 ATT 서버의 ATT 변환 모듈에 의해 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황을 나타내는 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 발생하며, 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 이상 음원 분석 서버를 포함하며,
상기 이상 음원 탐지 단말은
외장형 카메라로 사용되는 카메라; 카메라의 동영상을 인코딩하는 영상 처리부; 다수의 외장형 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC; 다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부; 상기 영상 처리부와 상기 음성 신호 처리부와 연결되는 멀티플렉서; 상기 멀티플렉서와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러; 상기 A/V 컨트롤러와 연결되며, 구동 프로그램을 저장하는 저장부; 상기 A/V 컨트롤러와 연결되며 케이블로 연결되는 이더넷 연결부; 및 상기 A/V 컨트롤러와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, NB-IoT 모뎀 중 어느 하나를 사용하는 통신부를 포함한다.
본 발명의 다른 목적을 달성하기 위해, 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법은 (a) 다수의 마이크로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 각 마이크의 음원 신호 중에서 제일 진폭의 크기가 큰 마이크의 음원 신호에 대하여 그 마이크의 음원 데이터를 제공하는 단계; (b) 상기 이상 음원 탐지 단말의 장치 ID와 카메라로부터 영상 데이터 및 제일 진폭의 크기가 큰 마이크의 음원 데이터를 멀티플렉싱하여 멀티플렉싱된 데이터를 이상 음원 분석 서버로 전송하는 단계; 및 (c) 상기 이상 음원 분석 서버는 상기 멀티플렉싱된 데이터를 디멀티플렉싱하여 장치 ID, 영상 데이터, 및 음원 데이터를 수신하여 VMS 서버에 장치ID와 영상 데이터를 저장하고, ATT 서버에 장치 ID와 음원 데이터를 각각 저장하며, 상기 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트폰 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, 상기 VMS 서버에 음원 데이터와 카메라 동영상 데이터를 저장하여 모니터링하는 단계를 포함하며,
상기 이상 음원 탐지 단말은, 외장형 카메라로 사용되는 카메라; 카메라의 동영상을 인코딩하는 영상 처리부; 다수의 외장형 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC; 다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부; 상기 영상 처리부와 상기 음성 신호 처리부와 연결되는 멀티플렉서; 상기 멀티플렉서와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러; 상기 A/V 컨트롤러와 연결되며, 구동 프로그램을 저장하는 저장부; 상기 A/V 컨트롤러와 연결되며 케이블로 연결되는 이더넷 연결부; 및 상기 A/V 컨트롤러와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, NB-IoT 모뎀 중 어느 하나를 사용하는 통신부를 포함한다.
본 발명의 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템 및 방법은 카메라와 적어도 둘 이상의 마이크들(MIC)과 AV 컨트롤러 및 통신부를 구비하는 이상 음원 탐지 단말(IoT 디바이스)과, 이상 음원 탐지 단말은 동영상과 그 마이크들 중 음성 신호의 세기가 제일 큰 선택된 마이크로 입력된 음원 데이터를 음성신호 처리부에 의해 생성하며, A/V 인코딩 및 멀티플렉서(multiplexer)에 의해 멀티플렉싱하여 멀티플렉싱된 데이터를 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송하며, 이상 음원 분석 서버는 디멀티플렉서(demultiplexer)에 의해 디멀티플렉싱 및 A/V 디코딩을 통해 카메라의 동영상을 모니터링하는 VMS 서버와 음원 데이터를 저장하는 음원 ATT 서버를 구비하며, 이상음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 음원 데이터를 텍스트로 변환하고 위기 상황을 표시하는 특정 단어를 추출하며, 관제센터에서 ATT 서버가 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 알람을 발생하며, 특정 단어가 포함된 이상음원 검출 시 이상 음원 전후 섬네일 이미지를 제공하고, 알람을 발생하며 및 스마트폰 모니터링 서비스를 제공하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하며,
위험 징후로 판단시에, 관제 요원 또는 경찰관의 이동통신 단말로 문자 메시지를 전송하여 긴급 대응 조치를 취하도록 향상된 방범과 범죄 예방 효과를 제공한다.
도 1은 기존 CCTV와 센서를 구비한 DVR 시스템 구성도이다.
도 2는 CCTV 카메라에 주위에 다수의 마이크를 구비한 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템의 개념도이다.
도 3은 본 발명에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 음파가 상쇄된 이상 음원 탐지 시스템 구성도이다.
도 4a는 본 발명의 실시예에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말의 내부 구성도이다.
도 4b는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말에서 A/V 인코딩/멀티플렉싱을 하여 네트워크로 전송하며, 이상 음원 탐지 시스템에서 디멀티플렉싱/ A/V 디코딩하여 이상음원을 담지하는 방법을 보인 도면이다.
도 4c는 NB-IoT 디바이스로 사용된 이상 음원 탐지 단말, 이동통신 기지국(eNodeB)과 IoT 플랫폼, 이상 음원 탐지 서버의 통신 구조를 보인 도면이다.
도 5는 이상 음원 분석 서버의 내부 구성도이다.
도 6은 본 발명에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법을 나타낸 플로차트이다.
도 7은 위기 상황을 표시하는 특정 단어 이상 음원 탐지와 알람, 카메라 PTZ 콘트롤러에 연결되는 이상 음원 탐지 마이크의 방향으로 카메라의 PTZ 포커싱이 조절되는 개념을 보인 도면이다.
도 8은 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터를 보인 도면이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다.
도 2는 CCTV 카메라에 주위에 다수의 마이크를 구비한 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템의 개념도이다.
본 발명의 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템은 카메라와 적어도 둘 이상의 마이크들(MIC)과 AV 컨트롤러 및 통신부를 구비하는 이상 음원 탐지 단말(IoT 디바이스)과, 이상 음원 탐지 단말은 동영상과 그 마이크들 중 음성 신호의 세기, 즉 마이크들에서 ADC를 통해 수신된 음원 데이터 중에서 제일 진폭의 크기가 큰 선택된 마이크의 음원 데이터를 음성신호 처리부에 의해 인코딩하여 음원 데이터를 생성하며, A/V 인코딩 및 멀티플렉서(multiplexer)에 의해 이상음원 탐지단말의 장치ID와 음원 데이터와 동영상 데이터를 멀티플렉싱하여 멀티플렉싱 된 데이터를 공유기 또는 모뎀을 통해 이상 음원 분석 서버로 전송한다. 이상 음원 분석 서버는 디멀티플렉서(demultiplexer)에 의해 장치ID와 음원 데이터와 동영상 데이터의 디멀티플렉싱 및 A/V 디코딩을 통해 카메라의 동영상을 모니터링하는 VMS(Video Management System) 서버와 음원 데이터를 저장하는 ATT(Audio To Text) 서버를 구비하며,
이상음원 분석 서버의 ATT 서버가 ATT 모듈에 의해 현장 음원 데이터를 텍스트로 변환하고, 위기 상황을 표시하는 특정 단어를 추출하며, 관제센터에서 ATT 서버가 특정 단어의 이상 음원 탐지시에 이상 음원 분석 서버로부터 알람을 발생하며, 위기상황으로 판단시에 비상벨을 울리며, 관제 요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송한다.
예를 들면, 이상 음원 탐지 단말은 NB-IoT 단말로써, 카메라와 적어도 둘 이상의 마이크와 A/V 콘트롤러와 저장부와 유무선 통신부를 구비하는 임베디드 시스템(embedded system)으로 구현하였다.
도 3은 본 발명에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 음파가 상쇄된 이상 음원 탐지 시스템 구성도이다.
카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템은
수직 지지대(300)와 그 상부의 수평 지지부에 구비된 카메라(200)와, 그 카메라 둘레에 마이크 설치대에 부착되는 사면 방향으로 설치된 다수의 마이크(MIC)들(210);
카메라(200)의 둘레에 마이크 설치대에 부착된 다수의 마이크(MIC)들(210)로부터 음원 데이터를 입력받고, 음성 신호 처리부에 의해 인코딩된 음원 데이터를 제공하며, A/V 컨트롤러의 제어에 따라 멀티플렉서(multiplexer)에 의해 이상음원 탐지 단말의 장치ID와 음원 데이터와 동영상 데이터를 멀티플렉싱하여 통신부로 멀티플렉싱된 데이터를 전송하는 이상 음원 탐지 단말(100); 및
상기 멀티플렉싱된 데이터를 디멀티플렉싱하는 디멀티플렉서(710)와, 디멀티플렉싱된 장치ID와 음원 데이터와 동영상 데이터를 저장하는 VMS 서버(720)와, 상기 VMS 서버(720)로부터 장치ID와 현장 음원 데이터를 수신하는 ATT 서버(730)를 포함하며,
상기 ATT 서버(730)의 ATT 변환 모듈에 의해 상기 현장 소음의 노이즈가 상쇄된 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황을 나타내는 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람(alarm)을 발생하며, 위기 상황으로 판단시에 비상벨을 울리며, 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 이상 음원 분석 서버(700)를 포함한다.
마이크(MIC)들은 카메라 둘레로 마이크 설치대에 3방향, 4방향, 5방향, 6방향, 7방향, 8방향으로 소형 지향성 마이크가 설치될 수 있다.
카메라와 마이크들과 A/V 컨트롤러와 통신부를 구비하는 임베디드 시스템으로써 IoT 디바이스로 사용되는 이상 음원 탐지 단말(100)이 구비되며,
이상 음원 탐지 단말(100)과 연결되는 외장형 카메라(200)와 다수의 외장형 마이크들(MIC)(210)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크로 설정하며, 이상음원 분석 서버(700)는 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
이상 음원 탐지 단말(100)은
카메라(200)의 둘레에 마이크 설치대에 부착되는 다수의 마이크(MIC)들(210)로부터 음원 데이터를 입력받고, 음성 신호 처리부에 의해 인코딩된 음원 데이터를 제공하며,
상기 다수의 마이크들(MIC)(210) 중에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크로 설정하며, 상기 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
이상음원 분석 서버(700)는 디멀티플렉서(710), ATT 서버(720), 및 VMS 서버(730)를 구비한다.
상기 시스템은, 이상음원 분석 서버(700)는 기 등록된 특정 단어가 포함된 이상 음원 탐지 시에, GIS 지도에 이상 음원 탐지 위치를 ROI(Region of Interest) 정보와 함께 GIS 지도에 표시하는 GIS 서버를 더 포함할 수 있다.
도 4a는 본 발명의 실시예에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말의 내부 구성도이다.
도 4b는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말에서 A/V 인코딩/멀티플렉싱을 하여 네트워크로 전송하며, 이상 음원 탐지 시스템에서 디멀티플렉싱/ A/V 디코딩하여 이상음원을 담지하는 방법을 보인 도면이다.
이상 음원 탐지 단말(100)은
외장형 카메라로 사용되는 카메라(200);
카메라의 동영상을 인코딩하는 영상 처리부(101);
다수의 외장형 마이크들(MIC)(210)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC(Analogue to Digital Convertor);
다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부(102);
영상 처리부(101)와 음성 신호 처리부(102)와 연결되는 멀티플렉서(103);
멀티플렉서(103)와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러(104);
A/V 컨트롤러(104)와 연결되며, 구동 프로그램을 저장하는 저장부(108); 및
A/V 컨트롤러(104)와 연결되며 케이블로 연결되는 이더넷 연결부(109)를 포함한다.
이상 음원 탐지 단말(100)은 제어부와 연결되며, 다수의 마이크들로터 입력된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, 및 NB-IoT 모뎀 중 어느 하나를 사용하는 통신부(107)를 더 포함한다.
도 4c는 NB-IoT 디바이스로 사용된 이상 음원 탐지 단말, 이동통신 기지국(eNodeB)과 IoT 플랫폼, 이상 음원 탐지 서버의 통신 구조를 보인 도면이다.
NB-IoT 단말 -> 이동통신 기지국(eNodeB) -> IoT EPC -> IoT 플랫폼 -> 이상 음원 탐지 서버(Application Server)로 통신된다.
* NB-IoT의 구조
- NB-IoT 단말 키입력부, 제어부(MCU), 저장부, 및 표시부를 구비하는 단말기(terminals)와 NB-IoT module(NB-IoT 통신부)로 구성되며, NB-IoT modules를 사용하여 Uu 인터페이스를 사용하여 기지국(eNodeB)과 통신
- NB-IoT module(NB-IoT 통신부)은 사용자 단말에 탑재되어 NB-IoT 무선 통신 프로토콜에 따라 NB-IoT 네트워크와 통신
- NB-IoT 모듈과 사용자 단말의 제어 프로세서는 UART 통신
- eNodeB : NB-IoT 단말기(IoT 디바이스)는 Uu 인터페이스를 통해 네트워크 액세스 메시지를 처리하며, 셀(cell)을 관리하고, 상위 계층 네트워크 요소(NE, Network Element)로 비 액세스 계층(NAS, Non-Access Stratum) 데이터를 전달한다.
eNodeB(기지국)는 S1-Lite 인터페이스를 통해 IoT EPC에 연결
- IoT EPC : NAS 계층에서 NB-IoT 단말기[사용자 단말-(UART)-(NB-IoT module)]와 정보를 송수신하며, NB-IoT 서비스와 관련된 데이터를 IoT Platform으로 전달한다
- IoT 플랫폼 : 무선 액세스 네트워크로부터의 상이한 유형의 IoT 데이터를 수집하며, 필요한 IoT 데이터를 요구된 서비스 애플리케이션으로 전송한다.
- Application server(이상 음원 탐지 서버): VMS, 이상 음원 탐지와 모니터링 서비스를 제공한다.
도 8은 "음파 상쇄"에 의해 특정 카운터파트 마이크에 수집된 주변소음 음원의 위상을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄시킨 현장 소음의 노이즈가 상쇄된 음원 데이터를 보인 도면이다.
음파 상쇄는 소음 신호의 주파수 a가 있다고 할 때 이 신호의 크기는 같고 동기 신호도 정확하게 일치하게 하면서 신호의 크기와 주파수는 같고 위상만 180˚로 바꾸어(phase, 위상을 반전) 같이 더하면, a-a =0이 되어 버리기 때문에 상쇄가 된다. 카운터파트 마이크에 수집된 소음 신호의 크기와 주파수가 동일하고, 위상만 180도로 바꾸어 역으로 발사하면 전체 잡음이 감소하게 된다.
다수의 마이크들(MIC)로부터 수집된 음원 신호들 중에서, 음원 신호의 크기가 제일 큰 신호가 해당 음원 탐지 마이크로 결정된다.
도 5는 이상 음원 분석 서버의 내부 구성도이다.
이상음원 분석 서버(700)는
카메라로부터 동영상 데이터를 수집하고, 다수의 마이크들로부터 음원 데이터를 수집하는 상기 이상음원 탐지 단말(100)의 장치ID와 현장 소음의 노이즈가 상쇄된 음원 데이터와 동영상 데이터가 멀티플렉싱된 데이터를 수집하는 정보수집부;
음성정보 생성모듈, 이상 음원 판단 모듈, 음원 크기 비교 모듈, 카운터 파트 음원 상쇄 모듈, 음원 전처리 모듈, 및 ATT 서버 전송 통신 모듈을 구비하는 제어부;
전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈), 특정 단어 필터링 모듈, 특정 음원의 명령어 트리거 모듈, 관제센터 알람 전송 모듈, 및 스마트 모니터링 서비스 모듈을 구비하는 ATT 서버부; 및
관제센터 대시보드 표출 모듈, 이상 음원 목록 제공부, 이상 음원 전후 섬네일 이미지 제공부, 이상 발생 시간대의 녹화 영상 연계부, 및 ATT 텍스트 보기 연계부를 구비하는 스마트모니터링 연계부를 포함한다.
이상 음원 판단 모듈은 i) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단하고, ⅱ) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단하며, ⅲ) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버(음원 분석 서버)로 실시간으로 수신되면, 오디오 데이터를 텍스트로 변환 후 위기 상황을 표시하는 특정 단어 등이 검출 시 이상음원으로 판단한다.
음원 크기 비교 모듈은 각 마이크(MIC)로부터 수집된 음원의 크기를 비교한다.
카운터 파트 음원 상쇄 모듈은 "음파 상쇄"에 의해 카운터파트 마이크에 수집된 주변소음 음원의 위상(phase)을 180도 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭(amplitude)을 줄여 노이즈를 상쇄시켜 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공한다.
음원 전처리 모듈은 현장 소음의 노이즈가 제거된 음원의 인식율을 높이기 위한 전처리로써, 현장 소음의 노이즈가 상쇄된 음원의 볼륨을 확대하며, 이상 음원 탐지 단말의 음성 신호 처리부의 저역 통과 필터(LPF, Low Pass Filter)에 의해 가우시안 노이즈(Gaussian Noise)로 판단되는 현장 소음의 저음의 대역폭을 삭제하며, 이상 음원 탐지 단말의 음성 신호 처리부의 고역 완화 필터(High Shelving Filter)에 의해 고음 영역 보정된 음원 데이터를 수신한다.
전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈)은 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈은 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈은 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어가 검출된 이상 음원 탐지 시에, 현장 긴급상황으로 판단하여 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라 포커싱되도록 하며, 알람을 발생하며, 특정 단어의 이상 음원 탐지 후 위기 상황으로 판단시에 관제요원 또는 관할 지역 경찰관의 이동통신 단말로 이상 음원 탐지 위치를 포함하는 문자 메시지를 전달한다.
스마트 모니터링 서비스 모듈은 스마트폰과 태블릿 PC에 원격으로 이상 음원 모니터링과 동영상 모니터링 서비스를 제공한다.
스마트 모니터링 연계부는 현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람을 발생하는 관제센터 대시보드 표출 모듈; 추출된 이상음원과 이상음원 목록을 제공하는 이상 음원 목록 제공부; 이상음원의 전후 섬네일 이미지를 제공하는 이상 음원 전후 섬네일 이미지 제공부; 이상음원 발생시간의 이상 음원 데이터와 카메라의 녹화영상을 연계하는 이상 발생 시간대의 녹화 영상 연계부; 및 이상 음원 분석 서버의 ATT 서버에서 변환된 텍스트 데이터에 대한 현장 텍스트 보기 연계 기능을 제공하는 ATT 텍스트 보기 연계부를 포함한다.
도 6은 본 발명에 따른 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법을 나타낸 플로차트이다.
카메라와 마이크와 A/V 컨트롤러를 구비하는 이상 음원 탐지 단말과 CCTV 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 방법은 (a) 다수의 마이크로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 각 마이크의 음원 신호 중에서 제일 진폭의 크기가 큰 마이크의 음원 신호에 대하여 그 마이크의 음원 데이터를 제공하는 단계;
(b) 이상 음원 탐지 단말의 장치 ID와 카메라로부터 영상 데이터 및 제일 진폭의 크기가 큰 마이크의 음원 데이터를 멀티플렉싱(multiplexing)하여 멀티플렉싱된 데이터를 이상 음원 분석 서버로 전송하는 단계; 및
(c) 상기 이상 음원 분석 서버는 상기 멀티플렉싱된 데이터를 디멀티플렉서에 의해 디멀티플렉싱(demultiplexing)하여 장치 ID, 영상 데이터, 및 음원 데이터를 수신하여 VMS 서버에 장치ID와 영상 데이터를 저장하고, ATT 서버에 장치 ID와 음원 데이터를 각각 저장하며, 상기 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트폰 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, VMS 서버에 음원 데이터와 카메라 동영상 데이터를 저장하여 모니터링하는 단계; 및
특정 단어의 이상 음원 탐지와 카메라 모니터링을 통해 위기 상황으로 판단시에 상기 관제센터 알람 전송 모듈은 관제요원 또는 경찰관의 이동통신 단말로 골든 타임 내에 긴급 출동하도록 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 단계(S17-S22)를 포함한다.
상기 이상 음원 탐지 단말은, 외장형 카메라로 사용되는 카메라; 카메라의 동영상을 인코딩하는 영상 처리부; 다수의 외장형 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC; 다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부; 상기 영상 처리부와 상기 음성 신호 처리부와 연결되는 멀티플렉서; 상기 멀티플렉서와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러; 상기 A/V 컨트롤러와 연결되며, 구동 프로그램을 저장하는 저장부; 상기 A/V 컨트롤러와 연결되며 케이블로 연결되는 이더넷 연결부; 및 상기 A/V 컨트롤러와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, NB-IoT 모뎀 중 어느 하나를 사용하는 통신부를 포함한다.
상기 단계 (a)는, 상기 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크로 설정하며, 상기 이상음원 탐지 단말의 음성 신호처리부와 제어부는 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단한다.
상기 단계 (a)는
상기 이상 음원 탐지 단말은 이상 음원을 판단하며, 이상 음원이면 음원 크기 비교 모듈에 의해 마이크별 오디오의 음원 크기를 비교하여 제일 진폭의 크기가 큰 음원 데이터를 선택하는 단계; 및
카운터 파트 음원 상쇄 모듈에 의해 이상 음원 마이크의 음원 데이터에 대하여 "음파 상쇄"에 의해 현장 소음의 노이즈가 상쇄된 음원 데이터를 제공하는 단계를 포함한다.
상기 단계 (a)는 다수의 마이크들로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 저장부에 임시로 저장하며 일정 시간(10분) 후 삭제되며, 음성 신호 처리부에 의해 각각 기 설정된 주파수 이하를 커트(cut)하고 초과하는 주파수를 통과시키는 저역 커트 필터(LCF, low cut filter)에 의해 가우시안 노이즈를 필터링하는 단계;
상기 음성 신호 처리부에 의해 다수의 마이크들로부터 입력된 각각의 음원 신호들 중에서 다수의 마이크들에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 단계를 포함한다.
상기 방법은 (d) 상기 특정 단어가 포함된 이상 음원 탐지와 VMS 서버의 비디오 모니터링에 의해 위험 상황으로 판단 시에, 골든 타임 내에 긴급 출동하도록 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 단계를 더 포함한다.
도 7은 위기 상황을 표시하는 특정 단어 이상 음원 탐지와 알람, 카메라 PTZ 콘트롤러에 연결되는 이상 음원 탐지 마이크의 방향으로 카메라의 PTZ 포커싱이 조절되는 개념을 보인 도면이다.
사건 사고 시, 어레이 마이크가 설치된 CCTV 카메라 현장에서 통상적으로 발생하는 음원에 대해 소음의 음파 상쇄에 의해 현장 소음의 노이즈가 제거된 선명한 음원 데이터를 추출하고, 추출된 음원을 ATT 변환하여 음원 데이터를 특정 단어로 변환하며, 특정 단어가 포함된 이상음원 검출 시 이상 음원 전후 섬네일 이미지를 제공하고, 스마트폰 모니터링 서비스를 제공한다.
* 카메라와 마이크가 구비된 이상 음원 탐지 단말의 현장에서 발생하는 이상음원 수집 방법
1) 현장 카메라의 둘레에 사면 방향으로 균일한 간격의 다수의 마이크 설치
2) 설치 장소에 따른 유형 선택 (3방향, 4방향, 5방향, 6방향, 7방향, 8방향 마이크 설치 등 설치유형 선택)
3) 이상 음원 탐지 방법
가) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단
나) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단
다) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버(음원 분석 서버)로 실시간 전송하여 텍스트 검지 후 특정 단어 등이 검출 시 이상음원으로 판단
* 이상 음원 판단 시 주변 현장 노이즈 제거 방법
1) 어레이 마이크 중 각각의 마이크(MIC)에 수집되는 음원 신호의 크기를 비교하여 가장 큰 음압이 발생한 마이크의 음원이 이상음원이라고 판단
2) 각각의 마이크는 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크를 설정하고, 기준이 되는 카운터파트 마이크에 수집된 음원을 주변소음으로 판단
3) 카운터파트 마이크에 수집된 주변소음 음원 신호의 위상을 반전시켜 이상음원 발생 마이크의 음원과 합산하여 이상음원의 진폭을 줄여 노이즈를 상쇄하여 음원의 명확도를 높인다.
4) 현장 소음의 노이즈가 제거된 음원의 인식율을 높이기 위한 전처리
가) 현장 소음의 노이즈가 상쇄된 음원의 볼륨 확대
나) 음성 신호 처리부의 저역 통과 필터(LPF, Low Pass Filter)를 통해 가우시안 노이즈(Gaussian Noise)로 판단되는 현장 소음의 저음의 대역폭 삭제
다) 음성 신호 처리부의 고역 완화 필터(High Shelving Filter)로 고음 영역 보정
* 소음이 필터링된 이상음원을 탐지하여 CCTV 프리셋 이동 및 비상벨 제어
1) 상기 노이즈 제거(1~4번의) 과정을 거친 음원을 ATT 서버(음원 분석 서버)로 전송하여 입력된 음원을 텍스트로 변환
2) ATT 서버의 ATT(Audio to Text) 모듈에 의해 오디오 데이터를 텍스트로 변환된 정보 중 위기 상황을 표시하는 특정 단어를 필터링
3) 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어 검출 시, 이상 음원 탐지, 현장 긴급상황으로 판단
예를 들면, 위기 상황을 표시하는 특정 단어는 “살려주세요”, “사람살려”,“도와주세요”,“불이야”,“도둑이야”,“죽어라”, “으악” 등
4) 특정 단어가 포함된 이상 음원 검출시, 관제요원 또는 관할지역 경찰관의 이동통신 단말로 특정단어를 명령어로 자동 전달
* 스마트 모니터링 연계 방안
1) 현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람, 비상벨
2) 추출된 이상음원의 목록 제공
3) 이상음원의 전후 섬네일 이미지 제공
4) 이상음원 발생시간의 녹화영상 연계
5) 이상 음원 분석 서버의 ATT 서버에서 변환된 현장 텍스트 보기 연계 기능 제공
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있음을 이해할 수 있을 것이다.
100: 이상 음원 탐지 단말 110: 공유기 또는 모뎀
200: 카메라 210: 다수의 마이크(MIC)
300: 지지대 400: 방화벽
700: 이상 음원 분석 서버 710: 디멀티플렉서
720: VMS 서버 730: ATT 서버

Claims (8)

  1. 카메라와, 그 카메라 둘레에 마이크 설치대에 부착되는 사면 방향으로 설치된 다수의 마이크(MIC)들;
    상기 카메라의 둘레에 마이크 설치대에 부착되는 다수의 마이크(MIC)들로부터 음원 데이터를 입력받고, A/V 컨트롤러의 제어에 따라 멀티플렉서에 의해 이상음원 탐지 단말의 장치ID와 마이크들에서 제일 진폭의 크기가 큰 음원 데이터와 동영상 데이터를 멀티플렉싱하여 통신부로 멀티플렉싱된 데이터를 전송하는 이상 음원 탐지 단말; 및
    상기 멀티플렉싱된 데이터를 디멀티플렉싱하는 디멀티플렉서와, 디멀티플렉싱된 장치 ID와 음원 데이터와 동영상 데이터를 저장하는 VMS 서버와; 상기 VMS 서버로부터 장치ID와 음원 데이터를 수신하는 ATT 서버를 포함하며,
    상기 ATT 서버의 ATT 변환 모듈에 의해 상기 음원 데이터를 텍스트 데이터로 변환하며, 위기 상황을 나타내는 특정 단어를 검출하며, 특정 단어의 이상 음원 탐지시에 알람을 발생하며, 위기 상황으로 판단시에 비상벨을 발생하며, 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 이상 음원 분석 서버를 포함하며,
    상기 이상 음원 탐지 단말은, 외장형 카메라로 사용되는 카메라; 카메라의 동영상을 인코딩하는 영상 처리부; 다수의 외장형 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC; 다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부; 상기 영상 처리부와 상기 음성 신호 처리부와 연결되는 멀티플렉서; 상기 멀티플렉서와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러; 상기 A/V 컨트롤러와 연결되며, 구동 프로그램을 저장하는 저장부; 상기 A/V 컨트롤러와 연결되며 케이블로 연결되는 이더넷 연결부; 및 상기 A/V 컨트롤러와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, NB-IoT 모뎀 중 어느 하나를 사용하는 통신부를 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템.
  2. 제1항에 있어서,
    상기 이상음원 분석 서버는
    카메라로부터 동영상 데이터를 수집하고, 다수의 마이크들로부터 음원 데이터를 수집하는 상기 이상음원 탐지 단말의 장치ID와 음원 데이터와 동영상 데이터가 멀티플렉싱된 데이터를 수집하는 정보수집부;
    음성정보 생성모듈, 이상 음원 판단 모듈, 음원 크기 비교 모듈, 카운터 파트 음원 상쇄 모듈, 음원 전처리 모듈, 및 ATT 서버 전송 통신 모듈을 구비하는 제어부; 및
    전송된 음원의 텍스트 변환 모듈, 특정 단어 필터링 모듈, 특정 음원의 명령어 트리거 모듈, 관제센터 알람 전송 모듈, 및 스마트 모니터링 서비스 모듈을 구비하는 ATT 서버부;
    를 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템.
  3. 제2항에 있어서,
    상기 이상 음원 판단 모듈은 i) CCTV 카메라와 마이크의 장비들 설치현장 분석을 통한 시간대별 음압의 임계치를 설정하여 기준치 이상의 음압(dB) 발생 시 이상음원으로 판단하고, ii) 최근 30분 평균치 보다 높은 음압이 발생할 경우 이상음원으로 판단하며, iii) 현장 마이크(MIC)로 수집된 오디오 데이터를 ATT 서버로 실시간으로 수신되면, 오디오 데이터를 텍스트로 변환 후 위기 상황을 표시하는 특정 단어 검출 시 이상음원으로 판단하며,
    상기 음원 전처리 모듈은 현장 소음의 노이즈가 상쇄된 음원의 볼륨을 확대하며, 볼륨이 확대된 음원 데이터를 수신하며,
    상기 전송된 음원의 텍스트 변환 모듈(ATT 변환 모듈)은 오디오 데이터를 텍스트로 변환하며, 상기 특정 단어 필터링 모듈은 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 상기 특정 음원의 명령어 트리거 모듈은 필터링 된 정보 중에서 위기 상황을 표시하는 특정 단어가 검출된 이상 음원 탐지 시에, 현장 긴급상황으로 판단하여 카메라 PTZ 콘트롤러로 PTZ 제어 신호를 전송하여 현장에 설치된 이상 음원이 탐지된 마이크(MIC)의 방향으로 카메라 포커싱되도록 하며, 상기 관제센터 알람 전송 모듈은 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정단어가 포함된 문자 메시지를 전달하며,
    상기 스마트 모니터링 서비스 모듈은 스마트폰과 태블릿 PC에 원격으로 이상 음원 모니터링과 동영상 모니터링 서비스를 제공하는, 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템.
  4. 제2항에 있어서,
    상기 이상음원 분석 서버는
    현장에서 발생한 특정 단어를 트리거로 관제센터 대시보드 알람을 발생하는 관제센터 대시보드 표출 모듈;
    추출된 이상음원과 이상음원 목록을 제공하는 이상 음원 목록 제공부;
    이상음원의 전후 섬네일 이미지를 제공하는 이상 음원 전후 섬네일 이미지 제공부;
    이상음원 발생시간의 이상 음원 데이터와 카메라의 녹화영상을 연계하는 이상 발생 시간대의 녹화 영상 연계부; 및
    이상 음원 분석 서버의 ATT 서버에서 변환된 텍스트 데이터에 대한 현장 텍스트 보기 연계 기능을 제공하는 ATT 텍스트 보기 연계부를 포함하는 스마트 모니터링 연계부를 더 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 시스템.
  5. (a) 다수의 마이크로부터 이상 음원 탐지 단말로 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 각 마이크의 음성 신호 중에서 제일 진폭의 크기가 큰 마이크의 음원 신호에 대하여 그 마이크의 음원 데이터를 제공하는 단계;
    (b) 상기 이상 음원 탐지 단말의 장치 ID와 카메라로부터 영상 데이터 및 제일 진폭의 크기가 큰 마이크의 음원 데이터를 멀티플렉싱하여 멀티플렉싱된 데이터를 이상 음원 분석 서버로 전송하는 단계; 및
    (c) 상기 이상 음원 분석 서버는 상기 멀티플렉싱된 데이터를 디멀티플렉싱하여 장치 ID, 영상 데이터, 및 음원 데이터를 수신하여 VMS 서버에 장치ID와 영상 데이터를 저장하고, ATT 서버에 장치 ID와 음원 데이터를 각각 저장하며, 상기 ATT 서버가 ATT 변환 모듈에 의해 오디오 데이터를 텍스트로 변환하며, 특정 단어 필터링 모듈에 의해 변환된 텍스트 정보 중 위기 상황을 표시하는 특정 단어를 필터링하며, 특정 음원의 명령어 트리거 모듈에 의해 특정 단어가 검출된 이상 음원을 탐지하며, 상기 특정 단어의 이상 음원 탐지시에 스마트폰 모니터링 알람을 발생하며, 이상 음원 전후의 섬네일 이미지를 저장하고, 상기 VMS 서버에 음원 데이터와 카메라 동영상 데이터를 저장하여 모니터링하는 단계를 포함하며,
    상기 이상 음원 탐지 단말은, 외장형 카메라로 사용되는 카메라; 카메라의 동영상을 인코딩하는 영상 처리부; 다수의 외장형 마이크들(MIC)과 각각 연결되며, 각 마이크의 아날로그 오디오 신호를 A/D 변환하여 디지털 오디오 데이터를 제공하는 다수의 ADC; 다수의 마이크들로부터 입력된 각각의 음원 신호를 ADC를 통해 수신하며, 그 음원 신호들 중에서 제일 진폭의 크기가 큰 음원 신호를 갖는 마이크를 선택하고, 선택된 마이크의 음원 데이터를 인코딩하는 음성 신호 처리부; 상기 영상 처리부와 상기 음성 신호 처리부와 연결되는 멀티플렉서; 상기 멀티플렉서와 연결되며, 이상 음원 탐지 단말의 각 기능을 제어하는 A/V 컨트롤러; 상기 A/V 컨트롤러와 연결되며, 구동 프로그램을 저장하는 저장부; 상기 A/V 컨트롤러와 연결되며 케이블로 연결되는 이더넷 연결부; 및 상기 A/V 컨트롤러와 연결되며, 다수의 마이크들로터 녹음된 음원 데이터를 전송하는 Wi-Fi 모뎀, LTE 모뎀, NB-IoT 모뎀 중 어느 하나를 사용하는 통신부를 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법.
  6. 제5항에 있어서,
    상기 단계 (a)는
    상기 다수의 마이크들(MIC)에서 어느 하나의 마이크를 현장 소음의 노이즈 상쇄를 위한 카운터파트 마이크로 설정하며, 상기 이상음원 탐지 단말은 시간대별로 카운터파트 마이크에 수집된 음원을 주변소음으로 판단하는, 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법.
  7. 제5항에 있어서,
    상기 단계 (a)는
    상기 이상 음원 탐지 단말은 이상 음원을 판단하며, 이상 음원이면 음원 크기 비교 모듈에 의해 마이크별 오디오의 음원 크기를 비교하여 제일 진폭의 크기가 큰 음원 데이터를 선택하는 단계를 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법.
  8. 제5항에 있어서,
    (d) 상기 특정 단어가 포함된 이상 음원 탐지와 VMS 서버의 비디오 모니터링에 의해 위험 상황으로 판단 시에, 골든 타임 내에 긴급 출동하도록 관제요원 또는 경찰관의 이동통신 단말로 이상 음원 탐지 위치와 특정 단어가 포함된 문자 메시지를 전송하는 단계를 더 포함하는 카메라와 마이크와 A/V 컨트롤러를 구비하는 이상음원 탐지 단말과 CCTV 시스템에서 이상 음원 탐지 방법.
KR1020190087059A 2019-07-18 2019-07-18 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법 KR20190125232A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190087059A KR20190125232A (ko) 2019-07-18 2019-07-18 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190087059A KR20190125232A (ko) 2019-07-18 2019-07-18 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180049439 Division 2018-04-27

Publications (1)

Publication Number Publication Date
KR20190125232A true KR20190125232A (ko) 2019-11-06

Family

ID=68541958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190087059A KR20190125232A (ko) 2019-07-18 2019-07-18 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20190125232A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102154776B1 (ko) * 2020-03-16 2020-09-11 사회적협동조합 어우리 소리 특성을 분석하여 영상과 함께 출력하는 cctv 감시 시스템
CN111833630A (zh) * 2019-12-31 2020-10-27 北京嘀嘀无限科技发展有限公司 确定数据发布位置的方法、装置、存储介质及电子设备
CN115662083A (zh) * 2022-12-12 2023-01-31 杭州兆华电子股份有限公司 一种基于声学成像的无人巡检式报警系统及方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101384781B1 (ko) 2013-09-13 2014-04-14 아이브스테크놀러지(주) 이상 음원 탐지 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101384781B1 (ko) 2013-09-13 2014-04-14 아이브스테크놀러지(주) 이상 음원 탐지 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833630A (zh) * 2019-12-31 2020-10-27 北京嘀嘀无限科技发展有限公司 确定数据发布位置的方法、装置、存储介质及电子设备
KR102154776B1 (ko) * 2020-03-16 2020-09-11 사회적협동조합 어우리 소리 특성을 분석하여 영상과 함께 출력하는 cctv 감시 시스템
CN115662083A (zh) * 2022-12-12 2023-01-31 杭州兆华电子股份有限公司 一种基于声学成像的无人巡检式报警系统及方法

Similar Documents

Publication Publication Date Title
KR101864388B1 (ko) Cctv 카메라 시스템에서 어레이 마이크를 사용한 소음의 노이즈가 상쇄된 이상 음원 탐지 시스템 및 방법
KR101773173B1 (ko) 가정용 홈 모니터링 및 제어 시스템 및 방법
KR100511227B1 (ko) 휴대용 감시 카메라 및 이를 이용한 개인 방범 시스템
US6970183B1 (en) Multimedia surveillance and monitoring system including network configuration
US6690411B2 (en) Security system
KR101471846B1 (ko) Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법
US9311794B2 (en) System and method for infrared intruder detection
CN101739789A (zh) 一种声控告警方法及装置
US20070268367A1 (en) Video Surveillance With Satellite Communication Access
KR20190125232A (ko) 카메라와 마이크와 a/v 컨트롤러를 구비하는 이상음원 탐지 단말과 cctv 시스템에서 이상 음원 탐지 시스템 및 방법
KR100997497B1 (ko) 자동감지/촬영기능을 구비한 감시시스템 및 감시방법
US10284755B2 (en) Nodal monitoring device and system
US20050066371A1 (en) Mobile digital security system and method
JP2019527524A (ja) ネットワーク分離装置およびこれを備える映像監視システム
JP3460680B2 (ja) 現場状況報知システム並びにこれに用いる撮像ユニット
CN202421843U (zh) 一种多功能安防监控信息化哨位装置及其安防监控系统
CN107833421A (zh) 一种电子产品销售监控系统
JP2009111677A (ja) 映像撮像制御システム
KR100902275B1 (ko) 지능형 보안방범을 위한 폐쇄회로티브이 시스템 및 그 방법
CN202816117U (zh) 安防监控系统
KR102260601B1 (ko) 재난방송 연계 통합 관제 시스템 및 그 방법
KR20150049595A (ko) 위급상황 경보 영상 보안 시스템
CN103123479A (zh) 一种多种功能安防监控信息化哨位装置
KR101293596B1 (ko) 울타리 감시 시스템 및 이에 있어서의 영상 신호 처리 방법
JP4225075B2 (ja) 通報装置及び通報システム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application