KR102265269B1

KR102265269B1 - A intelligent smart video management control system with interactive smart search based on speech recognition

Info

Publication number: KR102265269B1
Application number: KR1020190082898A
Authority: KR
Inventors: 김기화
Original assignee: 주식회사 시큐인포
Priority date: 2019-07-09
Filing date: 2019-07-09
Publication date: 2021-06-16
Also published as: KR20210006813A

Abstract

본 발명은 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 관한 것으로서, 보다 구체적으로는 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템으로서, 특정 감시 지역을 촬영하는 로컬 영상 장치로부터 촬영된 영상을 실시간으로 전송받고, 상기 로컬 영상 장치로부터 전송받는 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 저장하는 인공지능 영상분석 모듈; 상기 인공지능 영상분석 모듈로부터 분석된 객체와 객체의 형태 및 행동과 함께 촬영된 영상을 저장하는 지능형 데이터베이스; 상기 로컬 영상 장치의 구동 제어 및 지능형 스마트 영상 관제 시스템의 전체적인 운영을 관리하는 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령을 입력받고, 상기 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 상기 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스; 및 상기 사용자 인터페이스의 요청 처리 명령에 대응하여 상기 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 따르면, DVR, NVR, VMS 등의 지능형 스마트 영상 관제 시스템을 구현하되, 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 지능형 데이터베이스에 저장하는 인공지능 영상분석 모듈과, 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스와, 사용자 인터페이스의 대화형 휴먼 인터페이스 방식의 요청 처리 명령에 대응하여 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하여 구성함으로써, 기존의 마우스나 키보드 조작의 수작업에 의한 시스템 운영과 수행 명령을 대신하는 음성 명령을 통한 대화식 운영방식으로 로컬 영상 장치의 구동 제어와, 영상 모니터링 감시 제어와, 녹화 영상의 검색 및 재생과, 지능형 스마트 영상 관제 시스템의 제어 관리를 포함하는 모든 업무가 원격으로 제어될 수 있도록 할 수 있다.
또한, 본 발명의 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 따르면, 대화형 휴먼 인터페이스 방식의 인공지능 음성 엔진 모듈과 대화 엔진 모듈을 구비하는 사용자 인터페이스를 구성함으로써, 마우스나 키보드의 별도 수작업 없이 사람과 사람이 서로 대화하듯 음성 명령을 지시하고 처리할 수 있도록 대화식 명령으로 특정 녹화영상을 신속하게 검색 및 재생하는 관리의 편의성 및 효율성이 더욱 향상되며, 그를 통한 지능형 스마트 영상 관제 시스템의 운영관리가 가능하도록 할 수 있다.The present invention relates to an intelligent smart video control system with an interactive smart search function based on voice recognition, and more particularly, to an intelligent smart video control system with an interactive smart search function based on voice recognition, which captures a specific surveillance area. An artificial intelligence image analysis module that receives a captured image from a local imaging device in real time, recognizes objects, shapes, and behaviors in the captured image received from the local imaging device, converts them into data, and stores them together with the captured images. ; an intelligent database for storing the captured image along with the object analyzed from the artificial intelligence image analysis module and the shape and behavior of the object; A manager who manages the driving control of the local video device and the overall operation of the intelligent smart video control system receives a voice command input through a microphone or a mobile app, and the system operator status and authority level through voice analysis processing of the voice command a user interface for transmitting a request processing command corresponding to the voice command after determining; and an intelligent search module that searches for and outputs a corresponding image by combining a command through the search of the intelligent database and image information in response to a request processing command of the user interface.
According to the intelligent smart video control system with a voice recognition-based interactive smart search function proposed in the present invention, an intelligent smart video control system such as DVR, NVR, and VMS is implemented, but the object and the shape of the object in the captured image , and an artificial intelligence video analysis module that recognizes and dataizes behavior and stores the captured video in an intelligent database, and the system operator status and permission level through voice analysis processing of voice commands input by the administrator through a microphone or mobile app After determining, a user interface that transmits a request processing command corresponding to a voice command, and a command through an intelligent database search in response to a request processing command of an interactive human interface method of the user interface, and image information are combined to search for a corresponding image By including an intelligent search module that outputs And, all tasks including search and playback of recorded video and control management of an intelligent smart video control system can be controlled remotely.
In addition, according to the intelligent smart video control system having a conversational smart search function based on voice recognition of the present invention, by configuring a user interface including an artificial intelligence voice engine module of an interactive human interface method and a conversation engine module, the mouse or Convenience and efficiency of management to quickly search for and play specific recorded video with interactive commands so that people can instruct and process voice commands as if they were talking to each other without manual keyboard intervention, and intelligent smart video control It can make it possible to operate and manage the system.

Description

An intelligent smart video control system with an interactive smart search function based on voice recognition {A INTELLIGENT SMART VIDEO MANAGEMENT CONTROL SYSTEM WITH INTERACTIVE SMART SEARCH BASED ON SPEECH RECOGNITION}

본 발명은 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 관한 것으로서, 보다 구체적으로는 기존의 마우스나 키보드 조작의 수작업에 의한 시스템 운영과 수행 명령을 사람과 사람 간에 대화하듯이 음성 명령을 통한 대화식 운영방식으로 시스템을 제어하고, 그에 따른 실행을 미리 구축된 지능형 영상 분석에 의한 데이터베이스를 고속으로 검색할 수 있도록 하는 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 관한 것이다.The present invention relates to an intelligent smart video control system having an interactive smart search function based on voice recognition, and more specifically, to a system operation and execution command by manual operation of a conventional mouse or keyboard, as if talking between people. An intelligent smart video control system with an interactive smart search function based on voice recognition that controls the system in an interactive operation method through voice commands and enables high-speed search of the database by intelligent video analysis built in advance for execution is about

일반적으로 방범용 비상벨의 영상 감시 장치는 우범 지역과 같이 특정 지역에 설치되어 현장에서 위험상황 발생 시 사용자의 조작에 따라 도움을 요청할 수 있는 특정 서버로 신호를 전송하여 관리자가 위험 상황을 감지할 수 있도록 하는 시스템이다. 이러한 방범용 비상벨 영상 감시 장치는 특정 지역의 감시를 위해 설치되는 카메라를 통해 특정 지역의 감시를 위해 실시간으로 촬영되는 영상을 전송받아 관리자가 모니터링 감시를 수행하게 된다. 또한, 방범용 비상벨 영상 감시 장치는 위험 상황이 발생하는 경우 관리자가 촬영된 영상을 확인하여 도움을 주거나, 이후 범죄자를 색출하는데 이용되도록 범행 영상을 녹화하는 기능을 수행하게 된다. 여기서, 감시 카메라는 일반적으로 폐쇄회로 텔레비전(CCTV)이 사용되고 있으나, 고성능의 카메라가 사용되기도 한다. 도 1의 (a)는 기존의 영상 관제 시스템에서 시스템 운영 및 수행 명령을 마우스나 키보드의 입력장치로 사용하는 구성의 일례의 참고사진을 나타내고 있다. 이와 같이, 종래의 방범용 비상벨 영상 감시 장치는 영상 관제 감시를 위한 DVR, NVR, VMS 등의 시스템으로 구현되어, 특정 지역의 감시 활동을 수행하게 된다.
In general, the video monitoring device of the emergency bell for crime prevention is installed in a specific area, such as a crime zone, and when a dangerous situation occurs on the site, it transmits a signal to a specific server that can request help according to the user's operation so that the administrator can detect the dangerous situation. It is a system that allows Such an emergency bell video monitoring device for crime prevention receives an image captured in real time for monitoring of a specific area through a camera installed for monitoring of a specific area, and an administrator performs monitoring and monitoring. In addition, the emergency bell video monitoring device for crime prevention performs a function of recording a crime video so that a manager can help by checking the captured video or to be used to find a criminal later when a dangerous situation occurs. Here, as the surveillance camera, a closed circuit television (CCTV) is generally used, but a high-performance camera is also used. Fig. 1 (a) shows a reference picture of an example of a configuration in which a system operation and execution command is used as an input device of a mouse or keyboard in an existing video control system. As described above, the conventional emergency bell video monitoring apparatus for crime prevention is implemented as a system such as a DVR, NVR, and VMS for video control and monitoring, and performs monitoring activities in a specific area.

즉, 기존의 DVR, NVR 또는 VMS로 구현되는 영상 관제 시스템에서 제공하는 검색은 영상으로부터 움직임을 감지하거나, 센서에 의해 감지한 이벤트를 시간순서로 저장하여 향후에 날짜와 시간을 통하여 해당 영상을 검색하는 구조로 되어 있다. 기존의 영상 관제 시스템은 거의 대부분이 사용자 인터페이스로 마우스, 키보드를 이용하도록 되어 있어 시간이 갈수록 복잡해지는 영상 관제 시스템을 사용하기 위해 더 간편하고 편리한 인터페이스의 요구가 증가하고 있다.
In other words, the search provided by the video control system implemented with the existing DVR, NVR or VMS detects motion from the video or stores the events detected by the sensor in chronological order to search the video through the date and time in the future. has a structure that Since most of the existing video control systems use mouse and keyboard as user interfaces, the demand for simpler and more convenient interfaces is increasing in order to use video control systems that are becoming more complicated over time.

최근에는 인공지능에 의한 영상분석기술이 발달하여 영상에서 주요한 객체(사람, 자동차, 개, 고양이 등)를 인식할 수 있고, 그 객체의 행동, 예컨대 나타남, 사라짐, 쓰러짐, 침입 등을 판별할 수 있는 기술이 개발되었으며, 또한, 음성인식기술을 이용하여 우리가 말하는 것을 컴퓨터를 이용하여 텍스트로 인식하는데 까지 기술이 발전되고 있다.
Recently, with the development of image analysis technology by artificial intelligence, it is possible to recognize a major object (person, car, dog, cat, etc.) in an image, and to determine the behavior of the object, such as appearance, disappearance, collapse, intrusion, etc. technology has been developed, and also, technology is being developed until we use speech recognition technology to recognize what we say as text using a computer.

그러나 기존의 DVR, NVR, VMS 등으로 구현되는 통합관제 시스템의 경우, 영상 감시를 위한 카메라로부터 수신된 영상을 장비의 HDD 등 저장장치에 기록하여 향후에 범죄가 발생했을 때 녹화된 영상을 재생할 수 있는 기능을 가지고 있으며, 이때 기존의 녹화장치들은 영상에서 어떠한 움직임이나 장치와 연결된 물리적인 센서에 의하여 모션을 검출하고, 그 이벤트 정보와 시간을 별도의 데이터베이스 등에 저장하여 향후 검색할 때 이 정보를 검색하여 재생하는 기능을 제공하고 있다. 다른 방법으로는 녹화된 영상을 재생 시점에서 영상의 변화를 분석하여 특정 물체의 나타남과 사라진 시점을 검출한 다음 이를 재생하도록 하는 기능을 제공하는데 보통 이러한 기능을 기존의 스마트 검색이라고 한다. 이러한 스마트 검색 기능은 사용자의 검색 및 재생을 편리하도록 지원하는 기능이기는 하지만 영상에서 움직임이 무수히 많이 발생하므로 원하는 목적을 달성하는데 오랜 시간을 투자해야 하는 기능에 한계가 있고, 사용이 어려우며 매우 느리다는 단점이 있었다. 또한, 이러한 기능은 장비의 키보드나 마우스를 이용하여 처리할 수밖에 없으며, 이러한 사용자 인터페이스 체계는 시스템을 원활이 사용하는데 매우 큰 장애요소로 작용하고, 시스템 운영 및 영상 모니터링 처리 및 검색의 복잡한 과정과 수행 명령 처리 지연으로 발생되는 불편함이 따르는 문제가 있었다. 대한민국 등록특허공보 제10-0980586호가 선행기술 문헌으로 개시되고 있다.However, in the case of the integrated control system implemented with the existing DVR, NVR, VMS, etc., the video received from the camera for video monitoring is recorded in the storage device such as the HDD of the equipment, and the recorded video can be played back when a crime occurs in the future. At this time, existing recording devices detect any movement in the image or motion by a physical sensor connected to the device, and store the event information and time in a separate database to retrieve this information when searching in the future. to provide a playback function. Another method is to analyze the change in the image at the time of playback of the recorded image, detect the appearance and disappearance of a specific object, and then provide a function to play it back. This function is usually called the existing smart search. Although this smart search function is a function that supports the user's search and playback conveniently, there is a limit to the function that requires a long time investment to achieve the desired purpose because there is a lot of movement in the video, and it is difficult to use and very slow there was In addition, these functions have no choice but to be processed using the keyboard or mouse of the equipment, and such a user interface system acts as a very big obstacle to use the system smoothly, and the complicated process and execution of system operation and image monitoring processing and search There was a problem with the inconvenience caused by the delay in processing the command. Republic of Korea Patent Publication No. 10-0980586 is disclosed as a prior art document.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, DVR, NVR, VMS 등의 지능형 스마트 영상 관제 시스템을 구현하되, 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 지능형 데이터베이스에 저장하는 인공지능 영상분석 모듈과, 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스와, 사용자 인터페이스의 대화형 휴먼 인터페이스 방식의 요청 처리 명령에 대응하여 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하여 구성함으로써, 기존의 마우스나 키보드 조작의 수작업에 의한 시스템 운영과 수행 명령을 대신하는 음성 명령을 통한 대화식 운영방식으로 로컬 영상 장치의 구동 제어와, 영상 모니터링 감시 제어와, 녹화 영상의 검색 및 재생과, 지능형 스마트 영상 관제 시스템의 제어 관리를 포함하는 모든 업무가 원격으로 제어될 수 있도록 하는, 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템을 제공하는 것을 그 목적으로 한다.
The present invention is proposed to solve the above problems of the previously proposed methods, and implements an intelligent smart video control system such as DVR, NVR, VMS, etc. An artificial intelligence video analysis module that recognizes and converts data and stores it in an intelligent database together with the captured video, and the voice command after determining whether the system operator is a system operator and the authority level through the voice analysis processing of the voice command input by the administrator through the microphone or mobile app A user interface that transmits a request processing command corresponding to a user interface, and an intelligent database that searches for and outputs a corresponding image by combining a command and image information through an intelligent database search in response to a request processing command of an interactive human interface method of the user interface By including a search module, it is an interactive operation method through voice commands instead of system operation and execution commands by manual manipulation of the mouse or keyboard, driving control of the local video device, video monitoring, monitoring control, and recorded video The purpose of this is to provide an intelligent smart video control system with a voice recognition-based interactive smart search function that enables all tasks including the search and playback of , and control and management of the intelligent smart video control system to be remotely controlled. do it with

또한, 본 발명은, 대화형 휴먼 인터페이스 방식의 인공지능 음성 엔진 모듈과 대화 엔진 모듈을 구비하는 사용자 인터페이스를 구성함으로써, 마우스나 키보드의 별도의 수작업 없이 사람과 사람이 서로 대화하듯 음성 명령을 지시하고 처리할 수 있도록 대화식 명령으로 특정 녹화영상을 신속하게 검색 및 재생하는 관리의 편의성 및 효율성이 더욱 향상되며, 그를 통한 지능형 스마트 영상 관제 시스템의 운영관리가 가능하도록 하는, 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention configures a user interface including an artificial intelligence voice engine module and a dialog engine module of an interactive human interface method, so that a voice command is instructed as if a person and a person talk to each other without a separate manual operation of a mouse or keyboard, and Conversational smart search based on voice recognition that enables the operation and management of intelligent smart video control system through the improved management convenience and efficiency of quickly searching for and playing specific recorded video with interactive commands for processing It is another object to provide an intelligent smart video control system with functions.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템은,An intelligent smart video control system having an interactive smart search function based on voice recognition according to a feature of the present invention for achieving the above object,

음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템으로서,As an intelligent smart video control system with an interactive smart search function based on voice recognition,

특정 감시 지역을 촬영하는 로컬 영상 장치로부터 촬영된 영상을 실시간으로 전송받고, 상기 로컬 영상 장치로부터 전송받는 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 저장하는 인공지능 영상분석 모듈;Receives an image taken from a local imaging device that captures a specific monitoring area in real time, recognizes objects, shapes, and behaviors from the captured images transmitted from the local imaging device, converts them into data, and stores them together AI image analysis module;

상기 인공지능 영상분석 모듈로부터 분석된 객체와 객체의 형태 및 행동과 함께 촬영된 영상을 저장하는 지능형 데이터베이스;an intelligent database for storing the captured image along with the object analyzed from the artificial intelligence image analysis module and the shape and behavior of the object;

상기 로컬 영상 장치의 구동 제어 및 지능형 스마트 영상 관제 시스템의 전체적인 운영을 관리하는 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령을 입력받고, 상기 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 상기 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스; 및The manager who manages the driving control of the local video device and the overall operation of the intelligent smart video control system receives a voice command input through a microphone or a mobile app, and whether the system operator is a system operator and the authority level through voice analysis processing of the voice command a user interface for transmitting a request processing command corresponding to the voice command after determining; and

상기 사용자 인터페이스의 요청 처리 명령에 대응하여 상기 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
It is characterized in that it includes an intelligent search module that searches for and outputs a corresponding image by combining a command through a search of the intelligent database and image information in response to a request processing command of the user interface.

바람직하게는, 상기 인공지능 영상분석 모듈은,Preferably, the artificial intelligence image analysis module,

상기 로컬 영상 장치의 카메라 캘리브레이션(calibration) 설정 기능을 더 구비할 수 있다.
A camera calibration setting function of the local imaging device may be further provided.

더욱 바람직하게는, 상기 인공지능 영상분석 모듈은,More preferably, the artificial intelligence image analysis module,

상기 로컬 영상 장치로부터 전송받는 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하되, 상기 객체는 사람, 자동차, 개와 고양이 및 사슴을 포함하는 동물을 포함하여 분류하고, 상기 객체의 형태는 노랑, 검정, 빨강, 사각형, 원형의 색상 및 형상을 포함하여 분류하며, 행동은 나타남, 사라짐, 침범, 쓰러짐, 싸움, 흔들림을 포함하여 분류할 수 있다.
In the captured image transmitted from the local imaging device, objects, shapes, and behaviors of objects are recognized and converted into data, wherein the objects are classified including people, automobiles, animals including dogs, cats, and deer, and the shape of the object is classified by including the color and shape of yellow, black, red, square, and circle, and actions can be classified including appearing, disappearing, encroaching, falling, fighting, and shaking.

바람직하게는, 상기 지능형 데이터베이스는,Preferably, the intelligent database,

상기 인공지능 영상분석 모듈로부터 분석된 객체와 객체의 형태 및 행동과 함께 촬영된 영상을 저장하되, 객체별로 각각의 데이터베이스를 분류하여 저장하는 구조로 구성되고, 이러한 구조적으로 저장되는 데이터베이스는 영상의 검색 인덱스로 기능할 수 있다.
The object analyzed from the artificial intelligence image analysis module and the captured image together with the shape and behavior of the object are stored, and each database is classified and stored for each object, and the structurally stored database is used for searching for images. It can function as an index.

더욱 바람직하게는, 상기 사용자 인터페이스는,More preferably, the user interface comprises:

마이크 또는 모바일 앱을 통해 입력하는 관리자의 음성 명령을 대화식으로 수행하는 대화형 휴먼 인터페이스(Human Interface)로 구현될 수 있다.
It may be implemented as an interactive human interface that interactively performs an administrator's voice command input through a microphone or a mobile app.

더욱 더 바람직하게는, 상기 사용자 인터페이스는,Even more preferably, the user interface comprises:

대화형 휴먼 인터페이스로서, 마이크 또는 모바일 앱을 통해 입력되는 관리자의 음성 명령을 분석하여 시스템 운영자 여부 및 권한 레벨을 판단 처리하는 음성 엔진 모듈; 및An interactive human interface comprising: a voice engine module that analyzes an administrator's voice command input through a microphone or a mobile app to determine whether a system operator is a system operator and a permission level; and

상기 음성 엔진 모듈을 통해 시스템 운영자 여부 및 권한 레벨이 정당한 관리자로 판단되는 경우, 상기 음성 엔진 모듈을 통해 입력된 관리자 음성 명령을 시스템제어 처리 또는 스마트 검색 처리로 분류하여 상기 음성 명령에 해당하는 요청 처리 명령을 수행하는 대화 엔진 모듈을 포함하여 구성할 수 있다.
When it is determined through the voice engine module whether the system operator is a system operator and the authority level is a legitimate administrator, the manager voice command input through the voice engine module is classified into system control processing or smart search processing to process a request corresponding to the voice command Configurable to include a dialog engine module that executes commands.

더더욱 바람직하게는, 상기 지능형 검색 모듈은,Even more preferably, the intelligent search module comprises:

상기 사용자 인터페이스의 대화 엔진 모듈의 요청 처리 명령에 대응하여 단어사전 기반으로 상기 지능형 데이터베이스에 저장 관리되는 속성에 해당하는 키워드를 해석하고 추출하는 검색어 해석 모듈;a search word interpretation module for interpreting and extracting keywords corresponding to attributes stored and managed in the intelligent database based on a word dictionary in response to a request processing command of the dialog engine module of the user interface;

상기 검색어 해석 모듈을 통해 해석되어 추출되는 키워드에 해당하는 명령 세트를 기반으로 SQL을 생성하고 실행하는 SQL 생성 모듈; 및an SQL generation module that generates and executes SQL based on a command set corresponding to a keyword that is interpreted and extracted through the search word interpretation module; and

상기 SQL 생성 모듈의 실행으로 얻은 검색 결과 날짜, 시간을 기반으로 상기 지능형 데이터베이스의 해당 영상을 검색하고, 검색된 결과를 모니터로 출력하는 검색 및 결과 출력 모듈을 포함하여 구성할 수 있다.
It may include a search and result output module for searching the corresponding image in the intelligent database based on the date and time of the search result obtained by executing the SQL generation module, and outputting the search result to the monitor.

더더욱 더 바람직하게는, 상기 지능형 스마트 영상 관제 시스템은,Even more preferably, the intelligent smart video control system comprises:

DVR(Digital Video Recorder), NVR(Network Video Recorder), VMS(Video Management System)를 포함할 수 있다.It may include a Digital Video Recorder (DVR), a Network Video Recorder (NVR), and a Video Management System (VMS).

본 발명에서 제안하고 있는 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 따르면, DVR, NVR, VMS 등의 지능형 스마트 영상 관제 시스템을 구현하되, 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 지능형 데이터베이스에 저장하는 인공지능 영상분석 모듈과, 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스와, 사용자 인터페이스의 대화형 휴먼 인터페이스 방식의 요청 처리 명령에 대응하여 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하여 구성함으로써, 기존의 마우스나 키보드 조작의 수작업에 의한 시스템 운영과 수행 명령을 대신하는 음성 명령을 통한 대화식 운영방식으로 로컬 영상 장치의 구동 제어와, 영상 모니터링 감시 제어와, 녹화 영상의 검색 및 재생과, 지능형 스마트 영상 관제 시스템의 제어 관리를 포함하는 모든 업무가 원격으로 제어될 수 있도록 할 수 있다.
According to the intelligent smart video control system with a voice recognition-based interactive smart search function proposed in the present invention, an intelligent smart video control system such as DVR, NVR, and VMS is implemented, but the object and the shape of the object in the captured image , and an artificial intelligence video analysis module that recognizes and dataizes behavior and stores the captured video in an intelligent database, and the system operator status and permission level through voice analysis processing of voice commands input by the administrator through a microphone or mobile app After determining, a user interface that transmits a request processing command corresponding to a voice command, and a command through an intelligent database search in response to a request processing command of an interactive human interface method of the user interface, and image information are combined to search for a corresponding image By including an intelligent search module that outputs And, all tasks including search and playback of recorded video and control management of an intelligent smart video control system can be controlled remotely.

또한, 본 발명의 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템에 따르면, 대화형 휴먼 인터페이스 방식의 인공지능 음성 엔진 모듈과 대화 엔진 모듈을 구비하는 사용자 인터페이스를 구성함으로써, 마우스나 키보드의 별도의 수작업 없이 사람과 사람이 서로 대화하듯 음성 명령을 지시하고 처리할 수 있도록 대화식 명령으로 특정 녹화영상을 신속하게 검색 및 재생하는 관리의 편의성 및 효율성이 더욱 향상되며, 그를 통한 지능형 스마트 영상 관제 시스템의 운영관리가 가능하도록 할 수 있다.In addition, according to the intelligent smart video control system having a conversational smart search function based on voice recognition of the present invention, by configuring a user interface including an artificial intelligence voice engine module and a conversation engine module of an interactive human interface method, the mouse or Convenience and efficiency of management to quickly search for and play specific recorded video with interactive commands so that people can instruct and process voice commands as if they were talking to each other without manual keyboard intervention, and intelligent smart video It can make it possible to operate and manage the control system.

도 1은 기존의 영상 관제 시스템에서 시스템 운영 및 수행 명령을 마우스나 키보드의 입력장치로 사용하는 구성과, 본 발명에 따른 음성 명령을 수행하는 비교 일례의 참고사진을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 구성을 기능블록으로 도시한 도면.
도 3은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 사용자 인터페이스의 구성을 기능블록으로 도시한 도면.
도 4는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 검색 모듈의 구성을 기능블록으로 도시한 도면.
도 5는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 인공지능 영상분석 모듈의 객체, 형태, 행동의 분류 처리를 도시한 도면.
도 6은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 인공지능 영상분석 모듈에서, 카메라 캘리블레이션 설정 기능을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 데이터베이스의 객체 분류의 일례 저장 구성을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 검색 모듈의 검색어 해석, SQL 생성, 및 검색 및 결과 출력을 설명하기 위해 도시한 도면.
도 9는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 실시간 영상 분석 및 데이터베이스 저장 과정의 흐름을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 음성 명령 처리의 흐름을 도시한 도면.
도 11은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 영상 검색 과정의 흐름을 도시한 도면.
도 12는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 전체 시스템 구성의 일례를 도시한 도면.1 is a diagram illustrating a configuration using a system operation and execution command as an input device of a mouse or keyboard in an existing video control system, and a reference photo of a comparative example of performing a voice command according to the present invention.
2 is a diagram showing the configuration of an intelligent smart video control system having an interactive smart search function based on voice recognition in accordance with an embodiment of the present invention as functional blocks.
3 is a view showing the configuration of a user interface of an intelligent smart video control system having an interactive smart search function based on voice recognition in accordance with an embodiment of the present invention as a functional block.
4 is a view showing the configuration of an intelligent search module of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention as a functional block.
5 is a diagram illustrating classification processing of objects, shapes, and actions of an AI image analysis module of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
6 is a diagram illustrating a camera calibration setting function in an artificial intelligence image analysis module of an intelligent smart image control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
7 is a diagram illustrating an example storage configuration of object classification in an intelligent database of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating search word interpretation, SQL generation, and search and result output of the intelligent search module of the intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention; FIG. .
9 is a diagram illustrating a flow of a real-time image analysis and database storage process of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
10 is a diagram illustrating a flow of voice command processing of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
11 is a diagram illustrating a flow of an intelligent video search process of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.
12 is a diagram illustrating an example of the overall system configuration of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail so that those of ordinary skill in the art can easily practice the present invention with reference to the accompanying drawings. However, in describing a preferred embodiment of the present invention in detail, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, the same reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 연결 되어 있다고 할 때, 이는 직접적으로 연결 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 간접적으로 연결 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 포함 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, throughout the specification, when a part is connected to another part, this includes not only the case where it is directly connected, but also the case where it is indirectly connected with another element interposed therebetween. In addition, the inclusion of any component means that other components may be further included, rather than excluding other components, unless otherwise stated.

도 2는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 구성을 기능블록으로 도시한 도면이고, 도 3은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 사용자 인터페이스의 구성을 기능블록으로 도시한 도면이며, 도 4는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 검색 모듈의 구성을 기능블록으로 도시한 도면이고, 도 5는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 인공지능 영상분석 모듈의 객체, 형태, 행동의 분류 처리를 도시한 도면이며, 도 6은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 인공지능 영상분석 모듈에서, 카메라 캘리블레이션 설정 기능을 설명하기 위해 도시한 도면이고, 도 7은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 데이터베이스의 객체 분류의 일례 저장 구성을 도시한 도면이며, 도 8은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 검색 모듈의 검색어 해석, SQL 생성, 및 검색 및 결과 출력을 설명하기 위해 도시한 도면이다. 도 2 내지 도 8에 각각 도시된 바와 같이, 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템(100)은, 인공지능 영상분석 모듈(110), 지능형 데이터베이스(120), 사용자 인터페이스(130), 및 지능형 검색 모듈(140)을 포함하여 구성될 수 있다.
FIG. 2 is a functional block diagram illustrating the configuration of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention, and FIG. 3 is a voice recognition system according to an embodiment of the present invention. It is a diagram showing the configuration of a user interface of an intelligent smart video control system having a recognition-based interactive smart search function as a functional block, and FIG. 4 is a voice recognition-based interactive smart search function according to an embodiment of the present invention. It is a diagram showing the configuration of an intelligent search module of an intelligent smart video control system with functional blocks, and FIG. 5 is an artificial intelligent smart video control system with a voice recognition-based interactive smart search function according to an embodiment of the present invention. It is a diagram showing the classification processing of objects, forms, and actions of the intelligent image analysis module, and FIG. 6 is an artificial intelligence image of an intelligent smart video control system with an interactive smart search function based on voice recognition according to an embodiment of the present invention. In the analysis module, it is a diagram illustrating a camera calibration setting function, and FIG. 7 is an intelligent database of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention. It is a diagram showing a storage configuration of an example of object classification, and FIG. 8 is a search word analysis, SQL generation, and analysis of an intelligent search module of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention; and a diagram for explaining the search and result output. 2 to 8, the intelligent smart video control system 100 having an interactive smart search function based on voice recognition according to an embodiment of the present invention includes an artificial intelligence video analysis module 110, It may be configured to include an intelligent database 120 , a user interface 130 , and an intelligent search module 140 .

인공지능 영상분석 모듈(110)은, 특정 감시 지역을 촬영하는 로컬 영상 장치(101)로부터 촬영된 영상을 실시간으로 전송받고, 로컬 영상 장치(101)로부터 전송받는 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 저장하는 구성이다. 이때, 로컬 영상 장치(101)는 특정 감시 지역의 모니터링 감시를 위한 카메라를 구비하는 구성으로, 특정 감시 지역에 각각 설치되는 카메라를 이용하여 특정 감시 지역을 촬영하고, 카메라로 촬영된 영상을 전송한다. 이러한 로컬 영상 장치(101)는 특정 감시 지역을 대상으로 생활 방범 감시와, 불법 주정차 감시와, 과속 차량의 번호 인식 감시와, 불법 쓰레기 투척 단속 감시를 위한 영상 장비로 구성될 수 있으며, 특정 감시 지역의 목적에 따라 카메라 이외에도, 비상벨, 스피커, 마이크, 경광등이 포함되어 구성될 수 있다. 이러한 로컬 영상 장치(101)는 영상 관제를 위한 일반적인 로컬 장비에 해당하므로 불필요한 설명은 생략하기로 한다.
The AI image analysis module 110 receives an image captured in real time from the local imaging device 101 that captures a specific monitoring area, and objects and shapes of objects in the captured image transmitted from the local imaging device 101 . , and behavior are recognized, converted into data, and stored together with the captured image. In this case, the local imaging device 101 is configured to include a camera for monitoring and monitoring of a specific monitoring area, and uses cameras installed in each specific monitoring area to photograph a specific monitoring area, and transmits the image captured by the camera. . The local imaging device 101 may be configured with video equipment for life crime prevention monitoring, illegal parking and stopping monitoring, number recognition monitoring of speeding vehicles, and illegal garbage throwing enforcement monitoring in a specific monitoring area, and may be configured in a specific monitoring area. According to the purpose of the camera, in addition to the emergency bell, speaker, microphone, may be configured to include a warning light. Since such a local video apparatus 101 corresponds to a general local device for video control, unnecessary description will be omitted.

또한, 인공지능 영상분석 모듈(110)은 도 5에 도시된 바와 같이, 로컬 영상 장치(101)로부터 전송받는 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하되, 객체는 사람, 자동차, 개와 고양이 및 사슴을 포함하는 동물을 포함하여 분류하고, 객체의 형태는 노랑, 검정, 빨강, 사각형, 원형의 색상 및 형상을 포함하여 분류하며, 행동은 나타남, 사라짐, 침범, 쓰러짐, 싸움, 흔들림을 포함하여 분류할 수 있다. 즉, 인공지능 영상분석 모듈(110)은 실시간 감시영상으로부터 객체를 검출하고 형태와 행동을 인식하여 데이터화하는 인공지능으로 구현되는 객체 인식 및 검출 시스템으로서, 학습으로 인지된 객체를 실시간 영상에서 검출해내는 기능을 수행할 수 있다. 또한, 학습을 통하여 객체 즉 사람, 자동차, 동물(고양이, 사슴 등)등 시스템의 적용 용도에 따라 해당범위의 객체를 제한하여 학습함으로서 감시객체의 정확도와 속도 등 성능을 향상시킬 수 있으며, 지능형 객체인지 및 검출 기능으로 검출된 객체에 대하여 해당 객체의 위치, 형태, 행동 등의 정보를 추출하여 전달할 수 있다.
In addition, as shown in FIG. 5 , the artificial intelligence image analysis module 110 recognizes objects, shapes, and behaviors of objects in the captured image transmitted from the local imaging device 101 and converts them into data, but the object is a person; Classify including cars, animals including dogs and cats and deer, the shape of objects includes colors and shapes of yellow, black, red, squares, and circles, and actions include appearing, disappearing, encroaching, falling, fighting , including shaking. That is, the artificial intelligence image analysis module 110 is an object recognition and detection system implemented with artificial intelligence that detects objects from real-time monitoring images, recognizes shapes and behaviors, and converts them into data. function can be performed. In addition, through learning, the performance such as the accuracy and speed of the monitoring object can be improved by learning by limiting the objects in the corresponding range according to the application purpose of the system, such as people, cars, animals (cats, deer, etc.). With respect to an object detected by the recognition and detection function, information such as the location, shape, and behavior of the object can be extracted and delivered.

또한, 인공지능 영상분석 모듈(110)은 도 6에 도시된 바와 같이, 로컬 영상 장치(101)의 카메라 캘리브레이션(calibration) 설정 기능을 더 구비할 수 있다. 이러한 인공지능 영상분석 모듈(110)은 자체적으로 구비하는 카메라 캘리브레이션(Calibration) 설정 기능을 통해 영상을 획득하는 감시 카메라의 설치정보(카메라 설치 높이, 수직 각도(tilt), 수평 각도(Pan), 카메라 렌즈에 의한 왜곡율 등)를 자동으로 계산하여 객체 인식의 성능을 높이고 왜곡을 보정하는 처리를 수행할 수 있다. 도 6의 (a)에서와 같이 사람 형상의 이미지를 실제 크기에 맞춰서 크기를 조정하여 주면 자동으로 카메라의 설치 높이와 설치 각도 등 영상분석에 필요한 기초정보를 자동으로 계산하게 된다.
Also, as shown in FIG. 6 , the AI image analysis module 110 may further include a camera calibration setting function of the local imaging apparatus 101 . The artificial intelligence image analysis module 110 includes installation information (camera installation height, vertical angle (tilt), horizontal angle (Pan), and camera of a surveillance camera that acquires an image through its own camera calibration setting function. The distortion rate due to the lens) can be automatically calculated to improve the object recognition performance and perform a process of correcting the distortion. As shown in (a) of FIG. 6 , if the size of the human-shaped image is adjusted according to the actual size, basic information necessary for image analysis such as the installation height and installation angle of the camera is automatically calculated.

지능형 데이터베이스(120)는, 인공지능 영상분석 모듈(110)로부터 분석된 객체와 객체의 형태 및 행동과 함께 촬영된 영상을 저장하는 데이터베이스의 구성이다. 이러한 지능형 데이터베이스(120)는 인공지능 영상분석 모듈(110)로부터 분석된 객체와 객체의 형태 및 행동과 함께 촬영된 영상을 저장하되, 객체별로 각각의 데이터베이스를 분류하여 저장하는 구조로 구성되고, 이러한 구조적으로 저장되는 데이터베이스는 영상의 검색 인덱스로 기능할 수 있다. 여기서, 도 7은 객체를 사람과 자동차로 데이터베이스화 한 구조의 형태, 행동, 영상 킷값을 나타내고 있다.
The intelligent database 120 is a configuration of a database that stores the captured image along with the object analyzed by the artificial intelligence image analysis module 110 and the shape and behavior of the object. The intelligent database 120 stores the object analyzed from the artificial intelligence image analysis module 110 and the captured image together with the shape and behavior of the object, and has a structure in which each database is classified and stored for each object. The structurally stored database may function as an image search index. Here, FIG. 7 shows the form, behavior, and image kit value of a structure in which objects are converted into databases into people and cars.

사용자 인터페이스(130)는, 로컬 영상 장치(101)의 구동 제어 및 지능형 스마트 영상 관제 시스템(100)의 전체적인 운영을 관리하는 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령을 입력받고, 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 음성 명령에 해당하는 요청 처리 명령을 전송하는 구성이다. 이러한 사용자 인터페이스(130)는 마이크 또는 모바일 앱을 통해 입력하는 관리자의 음성 명령을 대화식으로 수행하는 대화형 휴먼 인터페이스(Human Interface)로 구현될 수 있다.
The user interface 130 receives a voice command input through a microphone or a mobile app by an administrator who manages the driving control of the local video device 101 and the overall operation of the intelligent smart video control system 100, It is a configuration for transmitting a request processing command corresponding to a voice command after determining whether the system operator is a system operator and an authority level through voice analysis processing. The user interface 130 may be implemented as an interactive human interface that interactively performs an administrator's voice command input through a microphone or a mobile app.

또한, 사용자 인터페이스(130)는 대화형 휴먼 인터페이스로서, 도 3에 도시된 바와 같이, 마이크 또는 모바일 앱을 통해 입력되는 관리자의 음성 명령을 분석하여 시스템 운영자 여부 및 권한 레벨을 판단 처리하는 음성 엔진 모듈(131)과, 음성 엔진 모듈(131)을 통해 시스템 운영자 여부 및 권한 레벨이 정당한 관리자로 판단되는 경우, 음성 엔진 모듈(131)을 통해 입력된 관리자 음성 명령을 시스템제어 처리 또는 스마트 검색 처리로 분류하여 음성 명령에 해당하는 요청 처리 명령을 수행하는 대화 엔진 모듈(132)을 포함하여 구성할 수 있다.
In addition, the user interface 130 is an interactive human interface, and as shown in FIG. 3 , a voice engine module that analyzes a voice command of an administrator input through a microphone or a mobile app to determine whether the system operator is a system operator and a permission level When it is determined through 131 and the voice engine module 131 whether the system operator and the authority level are legitimate administrators, the administrator voice command input through the voice engine module 131 is classified into system control processing or smart search processing. to include a dialog engine module 132 that performs a request processing command corresponding to a voice command.

지능형 검색 모듈(140)은, 사용자 인터페이스(130)의 요청 처리 명령에 대응하여 지능형 데이터베이스(120)의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 구성이다. 이러한 지능형 검색 모듈(140)은 도 4에 도시된 바와 같이, 사용자 인터페이스(130)의 대화 엔진 모듈(132)의 요청 처리 명령에 대응하여 단어사전 기반으로 지능형 데이터베이스(120)에 저장 관리되는 속성에 해당하는 키워드를 해석하고 추출하는 검색어 해석 모듈(141)과, 검색어 해석 모듈(141)을 통해 해석되어 추출되는 키워드에 해당하는 명령 세트를 기반으로 SQL을 생성하고 실행하는 SQL 생성 모듈(142)과, SQL 생성 모듈(142)의 실행으로 얻은 검색 결과 날짜, 시간을 기반으로 지능형 데이터베이스(120)의 해당 영상을 검색하고, 검색된 결과를 모니터로 출력하는 검색 및 결과 출력 모듈(143)을 포함하여 구성할 수 있다.
The intelligent search module 140 is configured to search for and output a corresponding image by combining a command through the search of the intelligent database 120 and image information in response to a request processing command of the user interface 130 . As shown in FIG. 4 , the intelligent search module 140 stores and manages attributes in the intelligent database 120 based on a word dictionary in response to the request processing command of the dialog engine module 132 of the user interface 130 . A search word interpretation module 141 that interprets and extracts the corresponding keyword, and an SQL generation module 142 that generates and executes SQL based on a command set corresponding to the keyword that is interpreted and extracted through the search word interpretation module 141; , a search and result output module 143 that searches the corresponding image of the intelligent database 120 based on the date and time of the search result obtained by the execution of the SQL generation module 142, and outputs the search result to the monitor. can do.

또한, 지능형 검색 모듈(140)은 도 8에 도시된 바와 같이, 지능형 데이터베이스(120)의 검색을 검색어 해석 모듈(141), SQL 생성 모듈(142), 검색 및 결과 출력 모듈(143)을 이용하되, 검색어 해석 모듈(141)은 단어사전을 기반으로 데이터베이스 내의 속성에 해당하는 키워드를 해석하여 추출하고, SQL 생성 모듈(142)은 해석된 명령 세트를 기반으로 SQL을 생성하고 실행하며, 검색 및 결과 출력 모듈(143)은 검색된 결과를 토대로 영상을 검색하여 화면에 표출하게 된다. 즉, 검색어 해석 모듈(141)은 단어사전을 이용한 검색어 분석을 통한 검색요소 추출 과정으로, 00월 00일부터 00월 00일 사이에 노란 옷을 입은 남자가 나타나는 영상을 검색해줘에서 00월 00일부터 00월 00일:시간+노란:형태+사람:객체+나타남:행동의 키워드를 추출한다. 이어 SQL 생성 모듈(142)은 객체이름=테이블명으로 SQL을 생성(select*from 객체_사람, where 형태=노란, and 행동=나타남)한다. 다음 검색 및 결과 출력 모듈(143)은 SQL 실행으로 검색 결과 날짜/시간을 얻고, 지능형 데이터베이스(120)의 영상 DB에서 해당 영상을 검색하여 모니터를 통해 결과를 출력하게 된다.
In addition, the intelligent search module 140 uses the search word interpretation module 141, the SQL generation module 142, and the search and result output module 143 for the search of the intelligent database 120 as shown in FIG. , the search word interpretation module 141 interprets and extracts keywords corresponding to attributes in the database based on the word dictionary, and the SQL generation module 142 generates and executes SQL based on the interpreted command set, and searches and results The output module 143 searches for an image based on the search result and displays it on the screen. That is, the search word interpretation module 141 is a search element extraction process through search word analysis using a word dictionary, and searches for an image in which a man in yellow clothes appears between 00/00 and 00/00. From 00/00: Time + Yellow: Form + Person: Object + Appears: Extracts the keyword of action. Next, the SQL generation module 142 generates SQL with object name = table name (select*from object_person, where type = yellow, and action = appear). Next, the search and result output module 143 obtains the search result date/time by executing SQL, searches for the corresponding image in the image DB of the intelligent database 120, and outputs the result through the monitor.

이와 같이, 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템(100)은 DVR(Digital Video Recorder), NVR(Network Video Recorder), VMS(Video Management System)를 포함할 수 있으며, 생활 방범 감시와, 불법 주정차 감시와, 과속 차량의 번호 인식 감시와, 불법 쓰레기 투척 단속 감시 등의 DVR, NVR, VMS 영상 시스템으로 적용되어 구현되는 것으로 이해될 수 있다.
As such, the intelligent smart video control system 100 having a voice recognition-based interactive smart search function may include a DVR (Digital Video Recorder), NVR (Network Video Recorder), and VMS (Video Management System), and It can be understood to be implemented by being applied to DVR, NVR, and VMS video systems such as crime prevention monitoring, illegal parking and stopping monitoring, number recognition monitoring of speeding vehicles, and illegal garbage throwing enforcement monitoring.

도 9는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 실시간 영상 분석 및 데이터베이스 저장 과정의 흐름을 도시한 도면이다. 도 9에 도시된 바와 같이, 인공지능 실시간 영상분석 및 데이터베이스 저장 과정은, 객체 검지영역 및 검지 대상 이벤트 조건이 설정된 후 영상 입력되며, 검지영역 내 객체가 진입된 경우, 감시 영상에서 객체인식/행동 확인(객체 분석)이 판단되면, 객체 형태 분석으로 환경 설정에 따른 객체 크기 및 카메라 앵글, 높이 변화에 따른 객체 변환 벡터 값, 객체의 형태 값을 처리한다. 이어 객체를 구분(차량, 사람, 동물 등)하고, 행동을 구분(나타남, 사라짐 등)하며, 지능형 데이터베이스(120)에 저장하는 과정으로 이루어진다.
9 is a diagram illustrating a flow of a real-time image analysis and database storage process of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention. As shown in FIG. 9 , in the AI real-time image analysis and database storage process, the image is input after the object detection area and the detection target event condition are set, and when an object in the detection area enters, object recognition/action in the monitoring image When confirmation (object analysis) is determined, object shape analysis processes object size and camera angle according to environment settings, object transformation vector value according to height change, and object shape value. Then, it consists of a process of classifying objects (vehicles, people, animals, etc.), classifying actions (appearing, disappearing, etc.), and storing them in the intelligent database 120 .

도 10은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 음성 명령 처리의 흐름을 도시한 도면이다. 도 10에 도시된 바와 같이, 마이크 또는 모바일 폰의 앱을 통한 음성 명령 처리 과정은, 음성 엔진 모듈(131)과 대화 엔진 모듈(132)을 구비하여 대화형 휴먼 인터페이스로 구현되는 사용자 인터페이스(130)에서 시스템 관리자로부터 마이크 또는 모바일 폰의 앱을 통해 음성 명령을 입력받고, 음성을 인식하고 변환하는 처리를 통해 유효한 사용자 여부를 확인하고 인식한 명령을 분석한다. 즉, 모바일 폰의 앱과 DVR, NVR, VMS 시스템의 대화형 사용자 인터페이스는 무선으로 연결되어 명령이 전달되며, 전달된 명령은 명령 분석기에 전달되어 크게 시스템제어와, 검색제어명령으로 분류되어 각각의 프로세스로 전달되어 처리될 수 있다.
10 is a diagram illustrating a flow of voice command processing of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention. As shown in FIG. 10 , the process of processing a voice command through a microphone or an app of a mobile phone includes a voice engine module 131 and a dialog engine module 132 and a user interface 130 implemented as an interactive human interface. receives a voice command from the system administrator through a microphone or a mobile phone app, recognizes and converts the voice, checks whether the user is a valid user, and analyzes the recognized command. That is, the mobile phone app and the interactive user interface of the DVR, NVR, and VMS systems are wirelessly connected to transmit commands, and the transmitted commands are transmitted to the command analyzer and are largely classified into system control and search control commands. It can be passed to a process for processing.

도 11은 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 지능형 영상 검색 과정의 흐름을 도시한 도면이다. 도 11에 도시된 바와 같이, 지능형 영상 검색 과정은 00월 00일부터 00월 00일 사이에 노란 옷을 입은 남자가 나타나는 영상을 검색해줘라는 명령이 음성 엔진 모듈(131)에 요청되면 대화형 음성 엔진에서 노란 옷+남자+나타남+시간(위치)+검색의 키워드가 분리되어 지능형 검색 모듈(140)로 전달된다. 지능형 검색 모듈(140) 엔진의 검색어 해석 모듈(141)은 키워드를 해석하여 유효한 명령 키워드로 치환하고, SQL 생성 모듈(142)은 치환된 키워드를 사용하여 검색용 SQL을 생성하며, 검색 및 결과 출력 모듈(143)은 SQL을 실행한 검색 결과를 사용하여 녹화영상을 검색하여 출력하게 된다. 이때, 명령 키워드의 치환은 단어사전을 통하여 남자, 여자, 아이 등은 사람으로 치환될 수 있다.
11 is a diagram illustrating a flow of an intelligent video search process of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention. As shown in FIG. 11 , in the intelligent image search process, when a command is requested from the voice engine module 131 to search for an image in which a man wearing yellow clothes appears between 00/00 and 00/00, the interactive voice In the engine, keywords of yellow clothes+man+appearance+time (location)+search are separated and transmitted to the intelligent search module 140 . The search word interpretation module 141 of the intelligent search module 140 engine interprets the keyword and replaces it with a valid command keyword, and the SQL generation module 142 generates SQL for search using the substituted keyword, and outputs the search and result. The module 143 searches for and outputs the recorded image using the search result of executing SQL. In this case, the substitution of the command keyword may be substituted with a person for a man, a woman, a child, etc. through the word dictionary.

도 12는 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템의 전체 시스템 구성의 일례를 도시한 도면이다. 도 12에 도시된 바와 같이, 본 발명에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템(100)은 인공지능 기반 스마트 미디어 검색 시스템이 적용된 DVR, NVR, VMS의 구조로서, 인공지능 영상분석 모듈(110)은 실시간 영상에서 객체와 객체의 형태, 행동을 인식하고 데이터화하여 영상과 함께 지능형 데이터베이스(120)에 저장한다. 이때, 마이크로 입력된 음성 또는 모바일 앱을 통한 음성은 사용자 인터페이스(130)에 전달된다. 이때, 모바일 앱에는 음성 엔진을 탑재하여 시스템 전달 전에 사용자의 음성을 인식하게 하여 시스템의 사용자 인터페이스(130)에 전달할 수 있다. 다음, 지능형 검색 모듈(140)은 명령과 지능형 영상정보를 조합하여 영상을 검색하는 기능을 수행한다. 즉, 마이크 또는 모바일 폰의 앱을 통한 대화식 명령 운영방식을 기반으로 특정시간이나 객체(사람, 자동차, 고양이, 가방, 상자 등)와 상황(x월x일 흰색 박스가 버려진 시점을 검색해줘등)을 대화를 통한 명령으로 검색하고 재생할 수 있다.
12 is a diagram illustrating an example of the overall system configuration of an intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention. As shown in Fig. 12, the intelligent smart video control system 100 having an interactive smart search function based on voice recognition according to the present invention is a structure of a DVR, NVR, and VMS to which an artificial intelligence-based smart media search system is applied. The artificial intelligence image analysis module 110 recognizes an object and its shape and behavior in a real-time image, converts it into data, and stores it in the intelligent database 120 together with the image. In this case, the voice input into the microphone or the voice through the mobile app is transmitted to the user interface 130 . In this case, the mobile app may be equipped with a voice engine to recognize the user's voice before system delivery, and then deliver it to the user interface 130 of the system. Next, the intelligent search module 140 performs a function of searching for an image by combining a command and intelligent image information. That is, a specific time or object (person, car, cat, bag, box, etc.) and situation (search for when the white box was abandoned on x month x day, etc.) based on the interactive command operation method through the microphone or the mobile phone app. can be searched and played back with commands through conversation.

상술한 바와 같이, 본 발명의 일실시예에 따른 음성인식 기반의 대화형 스마트 검색 기능을 가진 지능형 스마트 영상 관제 시스템은, DVR, NVR, VMS 등의 지능형 스마트 영상 관제 시스템을 구현하되, 촬영된 영상에서 객체와 객체의 형태, 및 행동을 인식하여 데이터화하고 촬영된 영상과 함께 지능형 데이터베이스에 저장하는 인공지능 영상분석 모듈과, 관리자가 마이크 또는 모바일 앱을 통해 입력하는 음성 명령의 음성 분석 처리를 통해 시스템 운영자 여부 및 권한 레벨을 판단한 후 음성 명령에 해당하는 요청 처리 명령을 전송하는 사용자 인터페이스와, 사용자 인터페이스의 대화형 휴먼 인터페이스 방식의 요청 처리 명령에 대응하여 지능형 데이터베이스의 검색을 통한 명령과 영상정보를 조합하여 해당하는 영상을 검색하여 출력하는 지능형 검색 모듈을 포함하여 구성함으로써, 기존의 마우스나 키보드 조작의 수작업에 의한 시스템 운영과 수행 명령을 대신하는 음성 명령을 통한 대화식 운영방식으로 로컬 영상 장치의 구동 제어와, 영상 모니터링 감시 제어와, 녹화 영상의 검색 및 재생과, 지능형 스마트 영상 관제 시스템의 제어 관리를 포함하는 모든 업무가 원격으로 제어될 수 있도록 할 수 있으며, 또한, 대화형 휴먼 인터페이스 방식의 인공지능 음성 엔진 모듈과 대화 엔진 모듈을 구비하는 사용자 인터페이스를 구성함으로써, 마우스나 키보드의 별도의 수작업 없이 사람과 사람이 서로 대화하듯 음성 명령을 지시하고 처리할 수 있도록 대화식 명령으로 특정 녹화영상을 신속하게 검색 및 재생하는 관리의 편의성 및 효율성이 더욱 향상되며, 그를 통한 지능형 스마트 영상 관제 시스템의 운영관리가 가능하도록 할 수 있게 된다.
As described above, the intelligent smart video control system having an interactive smart search function based on voice recognition according to an embodiment of the present invention implements an intelligent smart video control system such as DVR, NVR, and VMS, but the captured video In the system, through an artificial intelligence image analysis module that recognizes objects, shapes, and behaviors of objects, converts them into data, and stores them in an intelligent database together with the captured images, and voice analysis processing of voice commands input by the administrator through a microphone or mobile app. A user interface that transmits a request processing command corresponding to a voice command after determining whether an operator is an operator and an authority level, and a command and image information through search of an intelligent database in response to a request processing command of the interactive human interface method of the user interface By including an intelligent search module that searches for and outputs the corresponding image, the system is operated by manual operation of the mouse or keyboard, and the operation of the local imaging device is controlled by an interactive operation method through voice commands instead of commands. All tasks including video monitoring, monitoring and control, search and playback of recorded video, and control management of an intelligent smart video control system can be remotely controlled, and artificial intelligence of an interactive human interface method By configuring a user interface including a voice engine module and a dialog engine module, a specific recorded video can be quickly searched for with an interactive command so that people can instruct and process voice commands as if they were talking to each other without a separate manual operation of the mouse or keyboard. And the convenience and efficiency of the management of playback are further improved, and it is possible to enable the operation and management of the intelligent smart video control system through it.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.Various modifications and applications of the present invention described above are possible by those skilled in the art to which the present invention pertains, and the scope of the technical idea according to the present invention should be defined by the following claims.

100: 지능형 스마트 영상 관제 시스템
101: 로컬 영상 장치
110: 인공지능 영상분석 모듈
120: 지능형 데이터베이스
130: 사용자 인터페이스
131: 음성 엔진 모듈
132: 대화 엔진 모듈
140: 지능형 검색 모듈
141: 검색어 해석 모듈
142: SQL 생성 모듈
143: 검색 및 결과 출력 모듈100: intelligent smart video control system
101: local video device
110: artificial intelligence image analysis module
120: intelligent database
130: user interface
131: voice engine module
132: dialog engine module
140: intelligent search module
141: search term interpretation module
142: SQL generation module
143: Search and result output module

Claims

As an intelligent smart video control system 100 with a voice recognition-based interactive smart search function,
Receives a captured image from the local imaging device 101 for capturing a specific monitoring area in real time, and recognizes objects, shapes, and behaviors from the captured images transmitted from the local imaging device 101, converts them into data, and shoots them An artificial intelligence image analysis module 110 for storing together with the image;
an intelligent database 120 for storing the captured image along with the object analyzed from the artificial intelligence image analysis module 110 and the shape and behavior of the object;
A manager who manages the driving control of the local video device 101 and the overall operation of the intelligent smart video control system 100 receives a voice command input through a microphone or a mobile app, and through voice analysis processing of the voice command a user interface 130 for transmitting a request processing command corresponding to the voice command after determining whether the system operator is a system operator and an authority level; and
An intelligent search module 140 that searches for and outputs a corresponding image by combining a command through the search of the intelligent database 120 and image information in response to a request processing command of the user interface 130,
The artificial intelligence image analysis module 110,
In the captured image received from the local imaging device 101, objects, shapes, and behaviors of objects are recognized and converted into data, wherein the objects are classified including people, automobiles, animals including dogs, cats, and deer, and the The shape of the object is classified including the color and shape of yellow, black, red, square, and circle, and the action is classified including appearing, disappearing, encroaching, falling, fighting, shaking,
The intelligent database 120,
The object analyzed from the artificial intelligence image analysis module 110 and the image taken together with the shape and behavior of the object are stored, and each database is classified and stored for each object, and the database stored in this structure is It functions as a search index for videos,
The user interface 130,
Implemented as an interactive Human Interface that interactively performs an administrator's voice commands entered through a microphone or a mobile app,
The user interface 130,
As an interactive human interface, a voice engine module 131 that analyzes an administrator's voice command input through a microphone or a mobile app to determine whether a system operator is a system operator and a permission level, and a system operator through the voice engine module 131 When it is determined whether or not the authority level is a legitimate administrator, the administrator's voice command input through the voice engine module 131 is classified into system control processing or smart search processing, and a request processing command corresponding to the voice command is performed. Consists of including the engine module 132,
The artificial intelligence image analysis module 110,
Further comprising a camera calibration setting function of the local imaging device 101,
The artificial intelligence image analysis module 110,
The performance of object recognition by automatically calculating installation information of the installation height, vertical angle (tilt), horizontal angle (Pan), and distortion rate by the camera lens of a surveillance camera that acquires an image through the camera calibration setting function function to perform processing to enhance and correct distortion;
The intelligent search module 140,
A search word interpretation module 141 for interpreting and extracting keywords corresponding to properties stored and managed in the intelligent database 120 based on a word dictionary in response to a request processing command of the dialog engine module 132 of the user interface 130 and an SQL generation module 142 that generates and executes SQL based on a command set corresponding to a keyword interpreted and extracted through the search word interpretation module 141, and a search obtained by the execution of the SQL generation module 142 A search and result output module 143 for searching the corresponding image in the intelligent database 120 based on the result date and time, and outputting the search result to the monitor, and
The intelligent search module 140,
The search of the intelligent database 120 is performed using the search word interpretation module 141, the SQL generation module 142, and the search and result output module 143, but the search word interpretation module 141 is configured to search for attributes in the database based on the dictionary. Analyzes and extracts keywords corresponding to , the SQL generation module 142 generates and executes SQL based on the interpreted command set, and the search and result output module 143 searches for images based on the search results and displays them on the screen. function to express
The intelligent smart video control system 100,
An intelligent smart video control system with a voice recognition-based interactive smart search function, characterized in that it includes a DVR (Digital Video Recorder), NVR (Network Video Recorder), and VMS (Video Management System).

delete