KR101178878B1 - Object recognition and situation video search system and the image tractability system which uses this - Google Patents
Object recognition and situation video search system and the image tractability system which uses this Download PDFInfo
- Publication number
- KR101178878B1 KR101178878B1 KR1020120036320A KR20120036320A KR101178878B1 KR 101178878 B1 KR101178878 B1 KR 101178878B1 KR 1020120036320 A KR1020120036320 A KR 1020120036320A KR 20120036320 A KR20120036320 A KR 20120036320A KR 101178878 B1 KR101178878 B1 KR 101178878B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- video
- vehicle
- search
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법에 관한 것으로, 좀 더 구체적으로는 다양한 종류의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 필요 시 원하는 객체의 정보를 검색할 수 있는 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법에 관한 것이다.
The present invention relates to an object recognition and context video retrieval apparatus, an image processing system using the same, and a method of controlling the same. More specifically, various types of objects are photographed and stored, classified into individual objects, and images generated for each object. The present invention relates to an object recognition and context video retrieval apparatus, an image processing system using the same, and a control method thereof.
일반적인 영상정보수집을 위한 촬영시스템으로는 일정한 지역, 장소에 고정식 또는 이동식으로 설치된 촬영장치인 카메라를 통하여 입력되는 영상 정보를 수집하는 CCTV 보안시스템, 지능형 영상분석 기법을 적용하여 개별 오브젝트를 분류하는 객체인식 시스템, 주행 중인 차량의 속도 감지시스템 등 다양한 유형의 영상정보 수집을 위한 차량번호판독시스템등이 알려져 있다.
In general, the shooting system for collecting image information is a CCTV security system that collects the image information input through the camera, which is a fixed or mobile camera installed in a fixed area or place, and an object that classifies individual objects by applying intelligent image analysis technique. BACKGROUND ART Vehicle number reading systems for collecting various types of image information such as recognition systems and speed detection systems of driving vehicles are known.
상기한 CCTV 보안시스템과 같은 유형의 영상정보 촬영시스템은 카메라에서 촬영된 영상 전체를 저장매체인 하드디스크에 저장하기 때문에 대량의 하드 디스크 장치가 필요할 뿐 아니라 특정한 사건이 발생된 후 원인을 규명하기 위해서는 사고 시간과 현장을 알 수 없으면 수집된 정보로부터 원하는 정보의 검색에 많은 시간과 노력을 기울여야 하는 단점이 있다.
The video information recording system of the same type as the CCTV security system stores the entire image taken by the camera in a hard disk, which is a storage medium, so that not only a large amount of hard disk device is required, but also to identify the cause after a specific event has occurred. If you do not know the time and the accident site, there is a disadvantage that a lot of time and effort should be spent searching for the desired information from the collected information.
그리고, 주행 중인 차량 감지시스템과 같은 유형의 영상정보 촬영시스템은 카메라에서 촬영된 영상으로부터 차량종류, 차량번호 등의 정보의 분석 및 판별을 위하여 영상을 처리하고 저장하는 것으로서, 신속한 정보검색이 가능하지만, 도로상에서 움직이는 다양한 객체(사람, 오토바이, 자전거 등)들에 대한 검지가 불가할 뿐만 아니라, 이동하는 차량의 순간적인 촬영을 위해서는 해상도가 높은 카메라 및 차량 인식을 위한 수단으로 검지기 등 고가의 장비가 필요하고, 특정되고 한정된 지역을 통과하는 차량과 관련된 정보만을 수집하기 위한 촬영시스템이라 하겠다.
In addition, the image information recording system of the same type as the vehicle detection system that is driving processes and stores the image for analyzing and determining the information such as the vehicle type and the vehicle number from the image captured by the camera. In addition, it is impossible to detect various objects (people, motorcycles, bicycles, etc.) moving on the road, and expensive equipment such as detectors as a means to recognize a vehicle and a high resolution camera for instant shooting of moving vehicles It is said to be a photographing system for collecting only information related to a vehicle that is needed and passes through a specific and limited area.
최근 들어 방범 취약지구 및 어린이 안전구역 내에서 발생하는 다양한 범죄행위에 대한 적절한 보안 내지 감시시스템이 요구되고 있으나, 상기한 CCTV 보안 시스템과 같은 유형의 영상정보 촬영시스템은 원하는 정보의 검색에 많은 시간과 노력이 요구되고, 차량 감지시스템과 같은 유형의 영상정보 촬영시스템은 차량과 관련된 한정된 정보수집만을 목적으로 하기 때문에 객체에 대한 다양한 정보를 얻을 수가 없다.
Recently, appropriate security or surveillance systems are required for various crimes occurring in vulnerable crime prevention zones and child safety zones. Effort is required and various types of image information imaging systems, such as vehicle detection systems, are for the purpose of collecting only limited information related to vehicles, and thus cannot obtain various information about objects.
이와 같은 문제점으로 인해 본 출원인은 다양한 객체 즉 사람, 차량, 오토바이, 자전거 등의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 수집된 다양한 정보로부터 객체의 정보를 검색 및 백업이 가능한 객체 촬영시스템을 제안하였는 바, 도 1에서 보는 바와 같이, 특허 문헌 1의 국내 특허공보 등록번호 10-0983777호 "객체 촬영시스템 및 그 제어방법"에서는 메가픽셀 카메라, IP 카메라, 아날로그 카메라 또는 아날로그 카메라와 비디오 서버로 이루어진 검지용 카메라 시스템을 사용하여 개별 객체를 실시간으로 촬영하는 촬상부(510)와, 상기 촬상부(510)의 출력단에 연결되어 실시간으로 촬영되는 영상을 캡처하여 출력하는 영상입력부(520)와, 상기 영상입력부(520)의 출력단에 연결되어 수신되는 캡처 영상을 통해 객체의 움직임, 해당 객체의 위치 및 영역의 추출, 픽셀의 성분 분석과 객체의 추정 크기에 따라 객체의 종류를 구분하는 영상처리부(530)와, 상기 영상처리부(530)의 출력단에 연결되어 차량번호판 영역 추출과, 개별 객체 영역의 추출에 의해 문자인식과 객체 패턴을 인식하여 출력하는 객체 정보인식부(540)와, 상기 객체 정보인식부(540)의 출력단에 연결되어 추출된 다양한 객체에 대한 인덱스 유효성 검사 및 이미지를 저장하고, 그 저장된 정보를 인터넷망(560)을 통해 운영서버(570)로 전송할 수 있는 신호로 변환하여 출력하는 데이터 처리부(550)로 이루어지는 것을 제안하고 있다.
Due to such a problem, the Applicant photographs and stores various objects, such as people, vehicles, motorcycles, bicycles, etc., and classifies them into individual objects, and stores the images generated for each object by storing them in a database. An object photographing system capable of retrieving and backing up information on an object has been proposed. As shown in FIG. 1, a domestic megapixel camera is disclosed in Korean Patent Publication No. 10-0983777 "Object photographing system and its control method" of
이와 같은 기술은 사고 발생 또는 객체 정보에 대한 검색을 할 시 사고 발생 시간 및 객체 정보를 검색자가 찾아야 하는 것으로, 많은 시간과 노력을 필요로 하게 된다. 또한, 검색된 객체 정보는 이미지화 되어 저장되어 있기 때문에 주변 정황을 한눈에 알아볼 수 힘든 문제점이 있었다.
Such a technique requires a searcher to find an accident occurrence time and object information when searching for an accident or object information, which requires a lot of time and effort. In addition, since the retrieved object information is imaged and stored, it is difficult to recognize the surrounding situation at a glance.
따라서 본 발명은 이와 같은 종래 문제점을 개선하기 위해 제안된 것으로, 다양한 종류의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 필요 시 원하는 객체의 정보를 검색할 수 있는 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법을 제공하는 것을 목적으로 한다.
Therefore, the present invention has been proposed to improve such a conventional problem, and photographed and stored various types of objects, classified into individual objects, and by storing the image generated by each object as a database, the information of the desired object when necessary It is an object of the present invention to provide an object recognition and context video retrieval apparatus capable of retrieving an image, an image processing system using the same, and a control method thereof.
특히, 고해상도 촬영 카메라를 사용함으로써 넓은 범위의 검지 영역을 확보할 수 있고, 객체 인식 기술을 적용함으로써 별도의 검지센서(루프, 레이저 등)가 없어도 객체를 인식할 수 있기 때문에 설치 환경의 제약을 받지 않아 설치의 편의성을 제공하고, 고장 발생을 줄일 수 있는 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법을 제공하는 것을 목적으로 한다.
In particular, by using a high-resolution camera, it is possible to secure a wide range of detection areas, and by applying object recognition technology, objects can be recognized even without a separate detection sensor (loop, laser, etc.), thereby being limited by the installation environment. The object of the present invention is to provide an object recognition and context video retrieval apparatus, an image processing system using the same, and a method of controlling the same, which provides convenience of installation and reduces occurrence of failure.
또한, 객체 인식뿐만 아니라 객체에 대한 동영상을 검색 및 백업이 가능하도록 구성되어 사고 시 데이터를 확보하는데 용이하고, 다양한 검색 옵션을 입력하여 원하는 동영상을 쉽게 검색할 수 있는 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법을 제공하는 것을 목적으로 한다.
In addition, it is configured to search and backup videos about objects as well as object recognition, so it is easy to secure data in case of accidents, and object recognition and context video search devices that can easily search for desired videos by entering various search options. An object of the present invention is to provide an image processing system and a control method using the same.
상술한 목적을 달성하기 위한 본 발명의 특징에 의하면, 지주(100)에 설치되어 설정영역을 실시간으로 촬영하는 촬영부(20)와; 상기 지주(100)에 설치되고, 상기 촬영부(20)로부터 촬영된 영상으로부터 객체를 실시간으로 추출하고, 설정영역의 동영상을 촬영 시각에 따라 실시간으로 연속 저장하는 데이터 정보처리부(30)와; 상기 데이터 정보처리부(30)로부터 객체정보를 전송받아 저장하고, 실시간 인식된 객체정보의 검색과, 설정영역의 동영상에 대한 촬영 시각별 검색을 수행할 수 있도록 하는 메인서버(40)를 포함하는 특징으로 한다.
According to a feature of the present invention for achieving the above object, the photographing
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 촬영부(20)는 객체를 인식하기 위한 객체인식 카메라(242)와; 설정영역의 동영상을 촬영하기 위한 고해상도 촬영 카메라(244)를 포함하여 이루어지는 것을 특징으로 한다.
In the object recognition and context video retrieval apparatus according to the present invention, the photographing
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 촬영부(20)는 내부공간(212)을 갖는 하우징(22)과; 상기 하우징(22)의 내부공간(222)에 위치되어 객체를 촬영하기 위한 카메라(24)와; 상기 카메라(24)가 야간에도 주간처럼 객체를 인식하고, 동영상 촬영이 가능하도록 하기 위한 투광기(26)와; 상기 투광기(26)로부터 발생되는 열을 방출하기 위한 송풍팬(28)과; 상기 카메라(24), 투광기(26) 및 송풍팬(28)의 작동을 제어하기 위한 제어모듈(29)을 포함하여 이루어지는 것을 특징으로 한다.
In the object recognition and context video retrieval apparatus according to the present invention, the photographing
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 메인서버(40)와 연동되는 출력장치(50)를 포함하되, 상기 출력장치(50)는 설정영역의 현재 동영상을 출력하는 모니터링 화면창(52), 객체정보와 설정영역의 동영상에 대한 검색을 수행하는 검색 화면창(54)을 포함하는 것을 특징으로 한다.
The object recognition and context video search apparatus according to the present invention includes an
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 메인서버(40)는 상기 고해상도 촬영 카메라(244)로부터 촬영된 동영상을 저장하기 위한 동영상 데이터베이스부(42)와, 상기 데이터 정보처리부(30)로부터 입력받은 객체정보를 저장하기 위한 객체정보 데이터베이스부(44)를 포함하여 이루어지는 검색용 데이터베이스(46)를 구비하되, 상기 검색용 데이터베이스(46)는 차량번호, 차종, 차량 색상, 차량 속도, 번호판 색상으로 구분되어 차량정보가 객체정보로서 저장되는 한편, 장소별 객체정보와 동영상, 시간별 객체정보와 동영상으로 구분되어 객체정보가 저장되고, 상기 출력장치(50)의 검색 화면창(54)은 장소, 시간, 차량번호, 주행방향, 차량종류, 번호판 색상, 차량속도를 검색항목으로 제공하는 것을 특징으로 한다.
In the object recognition and context video retrieval apparatus according to the present invention, the
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 메인서버(40)의 검색용 데이터베이스(46)는 초 단위, 분 단위, 시 단위, 일 단위의 시간간격 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간간격 별로 단속적으로 생성시켜 저장하되, 상기 출력장치(50)의 검색 화면창(54)은 썸네일 검색 메뉴를 더 구비하여 상기 썸네일 검색 메뉴 선택시 상기 메인서버(40)의 검색용 데이터베이스(46)로부터 생성된 썸네일(thumbnail)을 전달받아 표시하는 것을 특징으로 한다.
In the object recognition and context video retrieval apparatus according to the present invention, the
이와 같은 본 발명에 따른 객체인식 및 정황 동영상 검색장치에서 상기 데이터 정보처리부(30)는 상기 메인서버(40)와 인터넷망을 통해 연결되는 라우터(32)와; 상기 촬영부(20)로부터 촬영된 객체정보를 저장하고, 압축 전송하기 위한 지역제어기(34)와; 상기 촬영부(20), 라우터(32), 지역제어기(34)의 전원을 제어하기 위한 전원제어기(36)와; 전압 스파이크와 같은 과도 써지전압이 상기 라우터(32), 지역제어기(34) 및 전원제어기(36)에 도달하기 전에 차단해 상기 라우터(32), 지역제어기(34) 및 전원제어기(36)를 보호하기 위한 써지보호기(38)와; 상기 촬영부(20)에서 촬영된 영상을 압축 복원하여 장시간 녹화 및 재생이 가능한 디지털 비디오 레코더(DVR, 39)를 포함하여 이루어지는 것을 특징으로 한다.
In the object recognition and context video retrieval apparatus according to the present invention, the data
촬영된 영상을 캡쳐 및 저장하고, 객체를 추출하여 표시하는 객체인식 및 정황 동영상 검색장치를 포함하는 영상 처리 시스템의 제어방법에 있어서, 객체를 실시간으로 촬영하기 위한 촬영단계(S100)와; 상기 촬영단계(S100)에서 촬영된 영상을 캡쳐하고, 캡쳐된 영상을 통해 객체를 추출하여 추출된 객체정보를 저장하기 위한 영상처리단계(S200)와; 상기 영상처리단계(S200)를 통해 전송된 객체정보를 메인서버(40)에 저장하고, 상기 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)를 포함하는 것을 특징으로 한다.
A control method of an image processing system including an object recognition and context video search apparatus for capturing and storing a captured image and extracting and displaying an object, the method comprising: a photographing step (S100) for capturing an object in real time; An image processing step (S200) for capturing an image captured in the photographing step (S100), extracting an object from the captured image, and storing the extracted object information; And storing the object information transmitted through the image processing step S200 in the
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 영상처리단계(S200)는 상기 촬영단계(S100)에서 촬영된 실시간의 영상을 캡처하여 출력하고, 상기 캡처된 영상을 통해 객체의 움직임, 객체의 위치 및 영역추출, 픽셀을 분석하여 객체의 종류를 구분하는 객체정보구분단계(S210)와; 상기 객체정보구분단계(S210)의 출력정보가 차량일 경우 차량의 번호를 인식하기 위한 차량번호인식단계(S220)와; 상기 객체정보구분단계(S210)의 출력정보에 의해 객체 패턴을 인식하여 출력하는 객체정보인식단계(S230)와; 인식된 다양한 객체 정보에 대한 인덱스 유효성 검사 및 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 상기 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체정보출력단계(S240)를 포함하여 이루어지는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the image processing step (S200) captures and outputs the real-time image captured in the photographing step (S100), and the motion of the object, the object through the captured image An object information classification step (S210) of classifying the position and area of the object and analyzing the pixels to classify the type of the object; A vehicle number recognition step (S220) for recognizing a vehicle number when the output information of the object information classification step (S210) is a vehicle; An object information recognition step (S230) of recognizing and outputting an object pattern based on the output information of the object information classification step (S210); Including an object information output step (S240) for storing the index validation and the image of the recognized various object information, and converts the stored information into a signal that can be transmitted to the
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 객체정보구분단계(S210)는 이전의 이미지와 비교하여 객체의 움직임을 감지하는 객체이동감지단계(S212)를 수행하고, 상기 객체이동감지단계(S212)의 수행이 완료되면 픽셀의 추적을 통한 객체의 추정 위치와 크기를 산출하여 해당 객체의 위치와 영역을 산출하는 객체영역산출단계(S214)를 수행하고, 상기 객체영역산출단계(S214)의 수행이 완료되면 객체의 윤곽을 구성하는 픽셀의 성분 분석과 객체의 추정 크기에 따라 사람, 차량, 오토바이, 자전거로 구분하는 객체구분단계(S216)를 수행하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the object information classification step (S210) performs an object movement detection step (S212) for detecting the movement of the object compared to the previous image, the object movement detection step When the execution of the operation (S212) is completed, the object area calculation step (S214) of calculating the position and area of the object by calculating the estimated position and size of the object by tracking the pixel is performed, and the object area calculation step (S214). When the operation is completed, the object classification step (S216) of classifying the component of the object constituting the outline of the object and the estimated size of the object into a person, a vehicle, a motorcycle, and a bicycle may be performed.
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 차량번호인식단계(S220)는 차량영역에서 차량의 윤곽을 분석하여 번호판의 위치를 추정하는 번호판위치산출단계(S222)를 수행하고, 상기 번호판위치산출단계(S222)의 수행이 완료되면 여러 개의 번호판 추정위치에서 정확한 번호판의 위치를 산출하는 번호판영역산출단계(S224)를 수행하고, 상기 번호판영역산출단계(S224)의 수행이 완료되면 문자영역을 구분하고, 번호판의 전체 윤곽을 확정하는 문자영역산출단계(S226)를 수행하고, 상기 문자영역산출단계(S226)의 수행이 완료되면 지역, 한글, 숫자 인식으로 이미지를 직접해석하는 문자인식단계(S228)를 수행하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the vehicle number recognition step (S220) performs the license plate position calculation step (S222) of analyzing the outline of the vehicle in the vehicle area to estimate the position of the license plate, and the license plate When the execution of the position calculation step (S222) is completed, perform the license plate area calculation step (S224) of calculating the exact position of the license plate at a plurality of license plate estimation positions, and when the license plate area calculation step (S224) is completed, the character area Character recognition step of classifying, and performing the character area calculation step (S226) to determine the overall outline of the license plate, and when the execution of the character area calculation step (S226) is completed, directly interpret the image by region, Korean, number recognition Characterized in that (S228).
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 객체정보인식단계(S230)는 객체의 이미지 높이에 대한 좌우 인식영역 및 객체의 이미지 높이에 대한 실제거리를 계산하는 맵(Map)정보계산단계(S232)를 수행하고, 상기 맵정보계산단계(S232)의 수행이 완료되면 객체가 사람, 오토바이, 자전거일 경우 이미지 상에서 객체의 이동거리를 픽셀로 계산한 후 객체의 실제 이동거리를 산출하는 객체이동거리산출단계(S234)를 수행하고, 객체가 차량일 경우 차량의 번호판에 대한 이미지를 획득하여 획득한 이미지의 시간 차이를 통해 차량의 속도를 구하는 차량속도계산단계(S236)를 수행하고, 상기 차량속도계산단계(S236)의 수행이 완료되면 차량의 이동속도, 현재 번호판의 위치, 차량의 종류를 통해 종료할 시점을 추정하는 종료시점추정단계(S238)를 수행하고, 상기 종료시점추정단계(S238)의 수행 후 객체가 기설정된 시간을 경과 후에 움직임이 없을 경우 종료하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the object information recognition step (S230) is a map information calculation step of calculating the left and right recognition area for the image height of the object and the actual distance for the image height of the object. (S232), and when the calculation of the map information (S232) is completed, if the object is a person, a motorcycle, a bicycle, an object for calculating the actual moving distance of the object after calculating the moving distance of the object in pixels on the image. Performing the moving distance calculation step (S234), and if the object is a vehicle to perform a vehicle speed calculation step (S236) to obtain the speed of the vehicle through the time difference of the image obtained by obtaining the image of the license plate of the vehicle, When the execution of the vehicle speed calculation step (S236) is completed, the end point estimation step (S238) of estimating the end point through the moving speed of the vehicle, the position of the current license plate, and the type of the vehicle is performed. After the execution of the end point estimating step (S238), the object ends when there is no movement after a predetermined time elapses.
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 객체정보출력단계(S240)는 상기 객체정보인식단계(S230)를 통해 객체에 대한 최적의 객체정보를 획득하는 단계(S242)를 수행하고, 상기 최적의 객체정보획득단계(S242)의 수행 완료 후 획득한 객체정보를 분석하여 개별 객체별 데이터를 선별하는 데이터선별단계(S244)를 수행하고, 상기 데이터선별단계(S244) 수행 후, 객체별 대표 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 상기 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체데이터전송단계(S246)를 수행하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the object information output step (S240) performs the step of obtaining the optimal object information for the object (S242) through the object information recognition step (S230), After the completion of the optimal object information acquisition step (S242) by analyzing the object information obtained by performing the data selection step (S244) for selecting the data for each individual object, and after performing the data selection step (S244), An object data transmission step (S246) of storing a representative image and converting the stored information into a signal that can be transmitted to the
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)는 상기 영상처리단계(S200)를 통해 추출된 객체정보를 이미지화하여 출력하고, 출력된 이미지의 동영상에 대한 검색을 수행하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the step (S300) of retrieving the object information stored in the
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 동영상 검색은 장소별, 시간별, 차량번호, 주행방향, 차량종류, 차량속도, 차량색상의 입력된 정보에 의해 자동으로 검색되는 것을 특징으로 한다.
The video search in the control method of the image processing system according to the present invention is characterized by being automatically searched by the input information of the location, time, vehicle number, driving direction, vehicle type, vehicle speed, vehicle color.
이와 같은 본 발명에 따른 영상 처리 시스템의 제어방법에서 상기 메인서버(40)는 초 단위, 분 단위, 시 단위, 일 단위의 시간 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간 간격 별로 단속적으로 생성시켜 저장하되, 상기 동영상 검색은 썸네일 검색 메뉴를 더 구비하여 상기 썸네일 검색 메뉴 선택시 상기 메인서버(40)로부터 생성된 썸네일(thumbnail)을 전달받아 검색하는 것을 특징으로 한다.
In the control method of the image processing system according to the present invention, the
이상과 같이 본 발명에 따른 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법에 의하면, 다양한 종류의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 필요 시 원하는 객체의 정보를 검색할 수 있는 효과가 있다.
As described above, according to the object recognition and context video retrieval apparatus according to the present invention, an image processing system using the same, and a control method thereof, various types of objects are photographed and stored, classified into individual objects, and the images generated for each object are stored in a database. By storing and storing them, the information of the desired object can be retrieved when necessary.
특히, 고해상도 촬영 카메라를 사용함으로써 넓은 범위의 검지 영역을 확보할 수 있고, 객체 인식 기술을 적용함으로써 별도의 검지센서(루프, 레이저 등)가 없어도 객체를 인식할 수 있기 때문에 설치 환경의 제약을 받지 않아 설치의 편의성을 제공하고, 고장 발생을 줄일 수 있는 효과가 있다.
In particular, by using a high-resolution camera, it is possible to secure a wide range of detection areas, and by applying object recognition technology, objects can be recognized even without a separate detection sensor (loop, laser, etc.), thereby being limited by the installation environment. Therefore, it provides convenience of installation and reduces the occurrence of trouble.
또한, 객체 인식뿐만 아니라 객체에 대한 동영상을 검색 및 백업이 가능하도록 구성되어 사고 시 데이터를 확보하는데 용이하고, 다양한 검색 옵션을 입력하여 원하는 동영상을 쉽게 검색할 수 있는 효과가 있다.
In addition, as well as object recognition, it is possible to search and back up the video for the object so that it is easy to secure data in case of accident, and it is possible to easily search for the desired video by inputting various search options.
도 1은 종래 기술을 설명하기 위한 도면,
도 2는 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치의 전체 구성도,
도 3은 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치에서 촬영부를 설명하기 위한 도면,
도 4는 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치에서 출력장치를 설명하기 위한 도면,
도 5는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법의 블럭도,
도 6은 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 촬영단계를 설명하기 위한 구성도,
도 7a는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보구분단계의 동작흐름을 설명하기 위한 구성도,
도 7b는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 차량번호인식단계의 동작흐름을 설명하기 위한 구성도,
도 7c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보인식단계의 동작흐름을 설명하기 위한 구성도,
도 7d는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보출력단계의 동작흐름을 설명하기 위한 구성도,
도 8a 내지 도 8c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 차량번호인식단계를 설명하기 위한 도면,
도 9a 내지 도 9c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보인식단계를 설명하기 위한 도면,
도 10a 내지 도 10b는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보출력단계를 설명하기 위한 도면이다.1 is a view for explaining the prior art,
2 is an overall configuration diagram of an object recognition and context video search apparatus according to an embodiment of the present invention;
3 is a view for explaining a photographing unit in the object recognition and context video search apparatus according to an embodiment of the present invention,
4 is a view for explaining an output device in the object recognition and context video search apparatus according to an embodiment of the present invention,
5 is a block diagram of an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
6 is a configuration diagram for explaining a photographing step in an image processing system and a method of controlling the same according to an embodiment of the present invention;
7A is a block diagram illustrating an operation flow of an object information classification step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
7B is a block diagram illustrating an operation flow of a vehicle number recognition step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
7C is a block diagram illustrating an operation flow of an object information recognition step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
7D is a block diagram illustrating an operation flow of an object information output step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
8A to 8C are views for explaining a vehicle number recognition step of an image processing step in an image processing system and a control method thereof according to an embodiment of the present invention;
9A to 9C are diagrams for describing an object information recognition step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention;
10A to 10B are diagrams for describing an object information output step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부된 도면 도 2 내지 도 10b에 의거하여 상세히 설명하며, 도 2 내지 도 10b에 있어서 동일한 기능을 수행하는 구성 요소에 대해서는 동일한 참조 번호를 병기한다. 한편, 도면의 도시 및 상세한 설명에 있어서 본 발명의 기술적 특징과 직접적으로 연관되지 않는 요소의 구체적인 기술적 구성 및 작용에 대한 상세한 설명 및 도시는 생략하고, 본 발명과 관련되는 기술적 구성만을 간략하게 도시하거나 설명하였다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, FIGS. 2 to 10B, and like reference numerals denote like elements for performing the same functions in FIGS. 2 to 10B. In the drawings and the detailed description, detailed description of specific elements and functions of elements not directly related to the technical features of the present invention will be omitted. .
도 2는 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치의 전체 구성도이고, 도 3은 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치에서 촬영부를 설명하기 위한 도면이며, 도 4는 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치에서 출력장치를 설명하기 위한 도면이다.
2 is an overall configuration diagram of the object recognition and context video search apparatus according to an embodiment of the present invention, Figure 3 is a view for explaining a photographing unit in the object recognition and context video search apparatus according to an embodiment of the present invention. 4 is a view for explaining an output device in the object recognition and context video search apparatus according to an embodiment of the present invention.
도 2 내지 도 4를 참조하면, 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치(10)는 지주(100)에 설치되어 설정영역을 실시간으로 촬영하는 촬영부(20)와, 지주(100)에 설치되고, 촬영부(20)로부터 촬영된 영상으로부터 객체를 실시간으로 추출하고, 설정영역의 동영상을 촬영 시각에 따라 실시간으로 연속 저장하는 데이터 정보처리부(30)와, 데이터 정보처리부(30)로부터 객체정보를 전송받아 저장하고, 실시간 인식된 객체정보의 검색과, 설정영역의 동영상에 대한 촬영 시각별 검색을 수행할 수 있도록 하는 메인서버(40)를 포함하여 이루어진다.
2 to 4, the object recognition and context
한편, 촬영부(20)는 객체를 인식하기 위한 객체인식 카메라(242)와, 설정역역의 동영상을 촬영하기 위한 고해상도 촬영 카메라(244)를 포함하여 이루어진다.
Meanwhile, the photographing
여기서, 촬영부(20)의 카메라는 IP 카메라, 메가픽셀 카메라, 아날로그 카메라 등을 사용하여 객체를 인식하고 촬영하지만, 바람직하게는 객체 인식 카메라는 메가픽셀 카메라를 사용하고, 고해상도 촬영 카메라는 아날로그 카메라를 사용할 수 있을 것이다.
Here, the camera of the photographing
이와 같이 촬영부에 객체 인식 카메라 및 고해상도 촬영 카메라를 구성함으로써 별도의 검지센서(루프, 레이저 등)가 필요 없기 때문에 설치 환경에 제약이 없어 사거리, 교차로, 커브길 등의 설치에 따른 편의성을 제공한다. 또한, 고해상도 촬영 카메라에 의한 넓은 촬영 및 검지 영역을 구성으로 복수의 차선 검지가 가능하여 정방향, 역방향, 중앙선 침범은 물론, 가로지르기, 차선변경까지 모두 검지할 수 있는 효과가 있다.
In this way, the object recognition camera and the high-resolution photographing camera are configured in the photographing unit, so there is no need for a separate detection sensor (loop, laser, etc.). . In addition, a plurality of lanes can be detected by configuring a wide range of shooting and detection areas by a high-resolution photographing camera, and thus there is an effect of detecting forward, reverse, and center line violations as well as crossing and lane changes.
한편, 촬영부(20)는 내부공간(212)을 갖는 하우징(22)과, 하우징(22)의 내부공간(222)에 위치되어 객체를 촬영하기 위한 카메라(24)와, 카메라(24)가 야간에도 주간처럼 객체를 인식하고, 동영상 촬영이 가능하도록 하기 위한 투광기(26)와, 투광기(26)로부터 발생되는 열을 방출하기 위한 송풍팬(28)과, 카메라(24), 투광기(26) 및 송풍팬(28)의 작동을 제어하기 위한 제어모듈(29)을 포함하여 이루어진다. 이때, 투광기(26)는 빛 효율이 높고, 차량 운전자의 경우 운전자에 대한 눈부심이 적은 고출력 LED투광기를 사용하는 것이 바람직하다.
Meanwhile, the photographing
하우징(22)은 바닥면(221), 전면(223) 및 측면(225)을 갖고, 상측으로 개구되어 내부에 카메라(24), 투광기(26), 송풍팬(28) 및 제어모듈(29)이 설치되도록 내부공간(222)을 가지며, 상측 개구를 덮도록 형성되는 덮개(229)를 포함하여 이루어진다. 전면(223)의 일측에는 내부공간(222)에 설치된 카메라(24)가 객체를 촬영할 수 있도록 카메라홀(2232)이 형성되고, 카메라홀(2232)과 인접하여 투광기(26)가 위치되도록 투광기홀(2234)이 형성된다. 이때, 카메라홀(2232) 및 투광기홀(2234)에는 외부로부터 이물질이 유입되지 않도록 투명창이 설치된다.
The
한편, 전면(223)에 형성되는 카메라홀(2232) 및 투광기홀(2234)의 주변을 따라 전방으로 형성되어 햇빛을 차단하기 위한 빛가리개(224)가 더 설치되어 진다.
On the other hand, it is formed in front of the
바닥면(221)은 후면(227)과 맞닿는 부분에서 단(2212)이 형성되고, 단 상에는 내부공간(222)에 설치되는 제어모듈(29)과 일측이 접속되고, 타측이 데이터 정보처리부(30)와 접속되도록 케이블접속구(2214)가 형성된다. 또한, 내부공간(222)에 설치되는 송풍팬(28)과 대응되는 위치에서 송풍팬(228)에 의해 방출되는 열을 외부로 내보내기 위한 송풍구(2216)가 형성되며, 이 송풍구(2216)에는 외부로부터 이물질이 유입되지 않도록 별도의 보조통풍구(2218)가 설치되어 진다. 그리고, 바닥면(221)의 중심측에는 지주에 회전 가능하도록 패널(226)이 설치되어 진다.
The
덮개(229)는 전면(221)의 상측에 힌지 결합되어 개구를 덮도록 형성되는 것으로, 후면(227)에 형성되는 체결부재(2292)에 의해 체결되어 진다. 이와 같은 덮개(229)는 후면(227)의 상측에 힌지 결합 될 수 있지만, 체결부재(2292)에 의해 체결 시 편의성을 고려하여 전면(223)의 상측에 결합되는 것이 바람직하다.
The
이와 같이 구성되는 하우징(22)은 내부공간(222)에 설치되는 카메라(24), 투광기(26), 송풍팬(28) 및 제어모듈(29)을 외부의 충격으로부터 보호하고, 외부의 이물질의 유입을 방지할 수 있는 효과가 있다.
The
데이터 정보처리부(30)는 메인서버(40)와 인터넷망을 통해 연결되는 라우터(32)와, 촬영부(20)로부터 촬영된 객체정보를 저장하고, 압축 전송하기 위한 지역제어기(34)와, 촬영부(20), 라우터(32), 지역제어기(34)의 전원을 제어하기 위한 전원제어기(36)와, 전압 스파이크와 같은 과도 써지전압이 라우터(32), 지역제어기(34) 및 전원제어기(36)에 도달하기 전에 차단해 라우터(32), 지역제어기(34) 및 전원제어기(36)를 보호하기 위한 써지보호기(38)와, 촬영부(20)에서 촬영된 영상을 압축 복원하여 장시간 녹화 및 재생이 가능한 디지털 비디오 레코더(DVR, 39)를 포함하여 이루어진다.
The data
라우터(32)는 동일한 전송 프로토콜을 사용하는 분리된 네트워크를 연결하는 장치로, 네트워크 계층간을 서로 연결하는 것으로, 촬영부(20)로부터 촬영된 영상을 메인서버(40)로 전송 시 가장 효율적인 경로를 선택하여 전송하는 역할을 한다.
The
지역제어기(34)는 촬영부(20)에서 촬영된 실시간 영상을 캡쳐하여 출력하고, 캡쳐 영상을 통해 객체의 움직임, 객체의 위치 및 영역추출, 픽셀을 분석하여 객체의 종류를 구분하며, 문자인식과 객체 패턴을 인식하여 출력하고, 인식된 다양한 객체 정보에 대한 인덱스 유효성 검사 및 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 메인서버(40)로 전송하는 역할을 한다.
The
디지털 비디오 레코더(DVR, 39)는 촬영부(20)에서 촬영된 영상을 영상 캡처 보드에서 캡처하여 컴퓨터 하드디스크에 고화질의 디지털 신호로 바꾸어 압축, 저장했다가 녹화된 디지털 영상을 사용자가 검색할 수 있도록 한 것으로, 여러 대의 카메라 영상을 1대의 모니터에서 분할하여 감시할 수 있도록 한 모니터링 기능, 원격지에서도 전화선이나 LAN, 전용선, 인터넷상에서 녹화검색 및 실시간 화면을 감시할 수 있는 화상 전송기능을 수용할 수 있도록 한 것이다.
The digital video recorder (DVR) 39 captures an image captured by the capturing
이와 같은 디지털 비디오 레코더(39)는 시간별, 날짜별, 카메라별 등을 검색할 수 있고, 멀리 떨어진 장소에서도 실시간으로 감시할 수 있는 이점이 있다.
Such a
이와 같이 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치에서 데이터 정보처리부를 구성함으로써 다양한 종류의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 필요 시 원하는 객체의 정보를 검색할 수 있는 효과가 있다.
As such, by configuring the data information processing unit in the object recognition and context video retrieval apparatus according to the preferred embodiment of the present invention, various types of objects are photographed and stored, classified into individual objects, and the images generated for each object are stored in a database. By doing so, there is an effect that the information of the desired object can be searched if necessary.
메인서버(40)는 고해상도 촬영 카메라(234)로부터 촬영된 동영상을 저장하기 위한 동영상 데이터베이스부(42)와, 데이터 정보처리부(30)로부터 입력받은 객체정보를 저장하기 위한 객체정보 데이터베이스부(44)를 포함하여 이루어지는 검색용 데이터베이스(46)를 구비하되, 검색용 데이터베이스(46)는 차량번호, 차종, 차량 색상, 차량 속도, 번호판 색상으로 구분되어 차량정보가 객체정보로서 저장되는 한편, 장소별 객체정보와 동영상, 시간별 객체정보와 동영상으로 구분되어 객체정보가 저장된다.
The
한편, 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치(10)는 메인서버(40)와 연동되는 출력장치(50)를 포함하여 이루어지되, 출력장치(50)는 설정영역의 현재 동영상을 출력하는 모니터링 화면창(52), 객체정보와 설정영역의 동영상에 대한 검색을 수행하는 검색 화면창(54)을 포함하여 이루어진다. 이때, 검색 화면창(54)은 장소, 시간, 차량번호, 주행방향, 차량종류, 번호판 색상, 차량속도를 검색항목으로 제공한다.
Meanwhile, the object recognition and context
상기와 같은 구성을 갖는 객체인식 및 정황 동영상 검색장치(10)에서 메인서버(40)의 검색용 데이터베이스(46)는 초 단위, 분 단위, 시 단위, 일 단위의 시간간격 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간간격 별로 단속적으로 생성시켜 저장하되, 출력장치(50)의 검색 화면창(54)은 썸네일 검색 메뉴를 더 구비하여 썸네일 검색 메뉴 선택시 메인서버(40)의 검색용 데이터베이스(46)로부터 생성된 썸네일(thumbnail)을 전달받아 표시하는 것을 특징으로 한다.
In the object recognition and context
이상과 같이 본 발명에 따른 객체인식 및 정황 동영상 검색장치에 의하면, 다양한 종류의 객체들을 촬영 및 저장하여 개별 객체로 분류하고, 이 객체별로 생성된 영상을 데이터베이스화하여 저장함으로써, 필요 시 원하는 객체의 정보를 검색할 수 있는 효과가 있다.
As described above, according to the object recognition and context video retrieval apparatus according to the present invention, by photographing and storing various types of objects and classifies them into individual objects, and by storing the database generated by each object, the desired object, if necessary It has the effect of retrieving information.
특히, 고해상도 촬영 카메라를 사용함으로써 넓은 범위의 검지 영역을 확보할 수 있고, 객체 인식 기술을 적용함으로써 별도의 검지센서(루프, 레이저 등)가 없어도 객체를 인식할 수 있기 때문에 설치 환경의 제약을 받지 않아 설치의 편의성을 제공하고, 고장 발생을 줄일 수 있는 효과가 있다.
In particular, by using a high-resolution camera, it is possible to secure a wide range of detection areas, and by applying object recognition technology, objects can be recognized even without a separate detection sensor (loop, laser, etc.), thereby being limited by the installation environment. Therefore, it provides convenience of installation and reduces the occurrence of trouble.
또한, 객체 인식뿐만 아니라 객체에 대한 동영상을 검색 및 백업이 가능하도록 구성되어 사고 시 데이터를 확보하는데 용이하고, 다양한 검색 옵션을 입력하여 원하는 동영상을 쉽게 검색할 수 있는 효과가 있다.
In addition, as well as object recognition, it is possible to search and back up the video for the object so that it is easy to secure data in case of accident, and it is possible to easily search for the desired video by inputting various search options.
도 5는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법의 블럭도이고, 도 6은 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 촬영단계를 설명하기 위한 구성도이며, 도 7a는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보구분단계의 동작흐름을 설명하기 위한 구성도이고, 도 7b는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 차량번호인식단계의 동작흐름을 설명하기 위한 구성도이며, 도 7c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보인식단계의 동작흐름을 설명하기 위한 구성도이고, 도 7d는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보출력단계의 동작흐름을 설명하기 위한 구성도이며, 도 8a 내지 도 8c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 차량번호인식단계를 설명하기 위한 도면이고, 도 9a 내지 도 9c는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보인식단계를 설명하기 위한 도면이며, 도 10a 내지 도 10b는 본 발명의 바람직한 실시예에 따른 영상 처리 시스템 및 그 제어 방법에서 영상처리단계의 객체정보출력단계를 설명하기 위한 도면이다.
5 is a block diagram of an image processing system and a control method thereof according to a preferred embodiment of the present invention, and FIG. 6 is a block diagram illustrating an image capturing step in the image processing system and a control method according to an exemplary embodiment of the present invention. 7A is a configuration diagram illustrating an operation flow of an object information classification step of an image processing step in an image processing system and a method of controlling the same according to an exemplary embodiment of the present invention, and FIG. 7B is a preferred embodiment of the present invention. FIG. 7C is a block diagram illustrating an operation flow of a vehicle number recognition step of an image processing step in an image processing system and a control method thereof, and FIG. 7C is an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention. 7D is a block diagram illustrating an operation flow of the object information recognition step of FIG. 7D is an image processing system according to a preferred embodiment of the present invention. And a configuration diagram for describing an operation flow of an object information output step of an image processing step in the control method, and FIGS. 8A to 8C illustrate an image processing step according to an exemplary embodiment of the present invention and a control method thereof. 9A to 9C are diagrams for describing an object information recognition step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention. 10B are diagrams for describing an object information output step of an image processing step in an image processing system and a control method thereof according to an exemplary embodiment of the present invention.
도 5 내지 도 10b를 참조하면, 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치를 포함하는 영상 처리 시스템의 제어방법은 객체를 실시간으로 촬영하기 위한 촬영단계(S100)와, 촬영단계(S100)에서 촬영된 영상을 캡쳐하고, 캡쳐된 영상을 통해 객체를 추출하여 추출된 객체정보를 저장하기 위한 영상처리단계(S200)와, 영상처리단계(S200)를 통해 전송된 객체정보를 메인서버(40)에 저장하고, 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)를 포함하여 이루어진다.
5 to 10B, a control method of an image processing system including an object recognition and context video search apparatus according to an exemplary embodiment of the present invention includes a photographing step (S100) and a photographing step for photographing an object in real time. The image processing step (S200) for capturing the captured image in step (S100), extracting the object from the captured image, and storing the extracted object information, and mains the object information transmitted through the image processing step (S200). And storing the object information stored in the
촬영단계(S100)는 객체인식 카메라(242) 및 고해상도 촬영 카메라(244)를 통해 객체의 실시간 영상을 촬영하는 것으로, 카메라는 IP 카메라, 메가픽셀 카메라, 아날로그 카메라 등을 사용하여 객체를 인식하고 촬영하지만, 바람직하게는 객체 인식 카메라는 메가픽셀 카메라를 사용하고, 고해상도 촬영 카메라는 아날로그 카메라를 사용할 수 있을 것이다.
Shooting step (S100) is to take a real-time image of the object through the
영상처리단계(S200)는 촬영단계(S100)에서 촬영된 실시간의 영상을 캡처하여 출력하고, 캡처된 영상을 통해 객체의 움직임, 객체의 위치 및 영역추출, 픽셀을 분석하여 객체의 종류를 구분하는 객체정보구분단계(S210)와, 객체정보구분단계(S210)의 출력정보가 차량일 경우 차량의 번호를 인식하기 위한 차량번호인식단계(S220)와, 객체정보구분단계(S210)의 출력정보에 의해 객체 패턴을 인식하여 출력하는 객체정보인식단계(S230)와, 인식된 다양한 객체 정보에 대한 인덱스 유효성 검사 및 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체정보출력단계(S240)를 포함하여 이루어진다.
The image processing step (S200) captures and outputs the real-time image captured in the photographing step (S100), and analyzes the movement of the object, the location and area extraction of the object, and the pixel by analyzing the captured image to classify the object type. When the object information classification step (S210) and the output information of the object information classification step (S210) is a vehicle, the vehicle number recognition step (S220) for recognizing the number of the vehicle and the output information of the object information classification step (S210) Recognizing and outputting the object pattern by the object information recognition step (S230), and the index validity check and image for the recognized various object information, and the stored information can be transmitted to the
이와 같은 구성을 갖는 영상처리단계(S200)에서 객체정보구분단계(S210)는 수신되는 캡처 영상을 통해 객체의 움직임이 일어난 영역을 구하고, 해당 객체의 위치와 영역을 추출하며, 픽셀의 성분 분석과 객체의 추정 크기에 따라 사람, 오토바이, 자전거, 차량 등으로 구분하는 역할을 한다.
In the image processing step (S200) having such a configuration, the object information classification step (S210) obtains a region in which the movement of the object occurs through the received captured image, extracts the location and region of the corresponding object, and analyzes the component of the pixel. It plays a role of classifying people, motorcycles, bicycles, and vehicles according to the estimated size of the object.
차량번호인식단계(S220)는 차량번호판 추출과, 이미지 필터링, 문자영역구분, 문자인식 등의 과정을 수행하는 역할을 한다.
Vehicle number recognition step (S220) serves to perform the process of vehicle license plate extraction, image filtering, character area classification, character recognition.
객체정보인식단계(S230)는 개별객체를 추출하고, 객체의 이동거리산출, 차량의 속도 계산 등의 과정을 수행하는 역할을 한다.
Object information recognition step (S230) serves to extract the individual object, calculate the moving distance of the object, calculate the speed of the vehicle and the like.
객체정보출력단계(S240)에는 추출된 다양한 객체에 대해 최적의 객체정보를 획득하여 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 역할을 한다.
In the object information output step (S240) to obtain the optimal object information for the extracted various objects to store the image, and converts the stored information into a signal that can be transmitted to the
이와 같이 영상처리단계(S200)의 동작 흐름을 도 7a 내지 도 7d를 참조하여 상세히 설명하면 다음과 같다.
As described above, the operation flow of the image processing step S200 will be described in detail with reference to FIGS. 7A to 7D.
도 7a는 객체정보구분단계(S210)의 동작흐름도로서, 촬영단계(S100) 수행 후 전송되는 영상정보 즉, 수신된 실시간 이미지에서 객체의 영역을 이웃한 픽셀 값의 편차를 이용하여 객체 영역을 추출한 다음, 이전 이미지와 비교 윤곽의 변화를 분석하여 객체의 움직임 유무를 판별해 내고, 검지된 영역의 구간을 설정하여 구간들의 집합 내에서 발생하는 픽셀의 변화 값을 축출하여 객체의 움직임이 일어난 영역을 구하는 객체이동감지단계(S212)를 수행한다.
FIG. 7A is an operation flowchart of the object information classification step S210. The object area is extracted by using the deviation of pixel values adjacent to the object area in the received real-time image, that is, the image information transmitted after the photographing step S100. Next, it analyzes the change of the contour compared with the previous image to determine the movement of the object, sets the interval of the detected region, and extracts the change value of pixels occurring in the set of intervals to determine the region where the movement of the object occurs. The object movement detecting step (S212) is performed.
객체이동감지단계(S212)의 수행이 완료되면 객체영역산출단계(S214)를 수행한다. 즉, 객체영역산출단계(S214)는 객체 인식 카메라(242)에서 포착된 개별 객체는 이미지상에서 나타났다가 사라지는 일련의 패턴을 형성하게 되는데, 이때 하나의 이미지상에서 정확하게 객체의 영역을 구분하기는 어려움이 있으나, 보다 정확한 객체의 영역을 구분하기 위해 픽셀의 추적을 통한 객체의 추정 위치와 크기를 산출하여 해당 객체의 위치와 영역을 추출하는 방법을 사용함으로써 객체영역산출이 가능하도록 한다.
When the object movement detection step S212 is completed, the object area calculation step S214 is performed. That is, in the object area calculation step S214, the individual objects captured by the
객체영역산출단계(S214)가 완료되면 각 객체의 윤곽을 구성하는 픽셀의 성분 분석과 객체의 추정 크기에 따라 사람, 오토바이, 자전거 등으로 구분하는 객체구분단계(S216)를 수행하여, 그 개별 객체의 픽셀 정보를 차량번호인식단계(S220) 및 객체정보인식단계(S230)로 전송함으로써 객체정보구분단계(S210)에서 행해지는 일련의 과정을 완료하게 된다.
When the object area calculation step (S214) is completed, the object classification step (S216), which is divided into a person, a motorcycle, a bicycle, and the like, is performed according to the component analysis of the pixels constituting the outline of each object and the estimated size of the object. By transmitting the pixel information of the vehicle number recognition step (S220) and the object information recognition step (S230) to complete a series of processes performed in the object information classification step (S210).
도 7b는 차량번호인식단계(S220)의 동작흐름도로서, 객체정보구분단계(S210)를 통해 전송되는 개별 객체에 대해 차량으로 인식할 경우 차량영역에서 문자요소를 분석하여 번호판의 위치를 추정하는 번호판위치산출단계(S222)를 수행한다(도 8a 참조). 이때, 번호판의 위치는 최대 5개까지 추정 가능하다.
FIG. 7B is a flow chart of the vehicle number recognition step S220. When the vehicle recognizes an individual object transmitted through the object information classification step S210, the license plate analyzes the character elements in the vehicle area and estimates the position of the license plate. A position calculation step S222 is performed (see FIG. 8A). At this time, up to five positions of the license plate can be estimated.
이후, 번호판위치산출단계(S222)를 통해 추정된 번호판의 위치에서 정확한 번호판의 위치를 산출하는 번호판영역산출단계(S224)를 수행한다.
Subsequently, the license plate area calculation step S224 of calculating the exact position of the license plate at the estimated license plate position through the license plate position calculation step S222 is performed.
한편, 번호판영역산출단계(S224)에서는 번호판의 빛과 그림자에 대한 보정작업을 수행하고, 차량의 윤곽을 분석하여 번호판의 수평을 조절하는 작업을 수행한다(도 8b 참조). 즉, 차량의 윤곽이 기울어진 형상이면 이를 확인하여 각도 a만큼 보정하여 사용자가 보는 방향에서 번호판이 수평을 이루도록 하는 작업을 수행한다.
On the other hand, the license plate area calculation step (S224) performs a correction operation for the light and shadow of the license plate, and analyzes the contour of the vehicle to perform the operation to adjust the horizontal plate (see Fig. 8b). That is, if the outline of the vehicle is inclined shape, it checks this and corrects it by an angle a so that the license plate is horizontal in the direction that the user sees.
번호판영역산출단계(S224)를 수행 완료 후 문자영역을 구분하고, 번호판의 전체 윤곽을 확정하는 문자영역산출단계(S226)를 수행한다. 이때, 문자인식이 용이하도록 문자의 크기를 확대하여 조절하고, 번호판영역산출단계(S224)에서 번호판이 수평으로 보이도록 한 작업을 기반으로 번호판을 수직 조절하여 확인이 용이하도록 한다.(도 8c 참조)
After completing the license plate area calculation step S224, the character area is divided and the character area calculation step S226 is performed to determine the overall outline of the license plate. In this case, the size of the character is enlarged and adjusted to facilitate character recognition, and the license plate is vertically adjusted based on an operation in which the license plate is viewed horizontally in the license plate area calculation step (S224). )
문자영역산출단계(S226)의 수행을 완료되면 지역, 한글, 숫자 인식으로 이미지를 직접해석하는 문자인식단계(S228)를 수행하도록 한다.
When the character area calculation step (S226) is completed, the character recognition step (S228) of directly interpreting the image by region, Korean, and number recognition is performed.
도 7c는 객체정보인식단계(S230)의 동작흐름도로서, 객체의 이미지 높이에 대한 좌우 인식영역 및 객체의 이미지 높이에 대한 실제거리를 계산하는 맵(Map)정보계산단계(S232)를 수행한다. 이때, 이미지 높이에 대한 실제거리는 지정된 실제거리를 이용하여 2차 연립방정식으로 계산되며, 여기서 이미지 상의 단위는 픽셀이고, 실제거리는 ㎝ 단위를 사용한다.
FIG. 7C is an operation flowchart of the object information recognition step S230. The map information calculation step S232 is performed to calculate the left and right recognition areas for the image height of the object and the actual distance for the image height of the object. At this time, the actual distance with respect to the image height is calculated by the quadratic simultaneous equation using the specified actual distance, where the unit on the image is a pixel, the actual distance is used in cm.
맵정보계산단계(S232)의 수행이 완료되면 객체가 사람, 오토바이, 자전거일 경우 이미지 상에서 객체의 이동거리를 픽셀로 계산한 후 객체의 실제 이동거리를 산출하는 객체이동거리산출단계(S234)를 수행한다. 즉, 도 9a에서 보는 바와 같이 객체가 A지점에서 B지점으로 이동했을 경우 이미지 상의 이동거리는 가로 이동거리 dx의 제곱과 세로 이동거리 dy의 제곱의 합의 제곱근으로 구할 수 있다. 여기서, 이미지 상의 이동거리는 픽셀 단위로 나타내므로 이를 실제거리 단위로 환산하면 실제 이동거리를 구할 수 있을 것이다.
When the execution of the map information calculation step (S232) is completed, the object moving distance calculation step (S234) of calculating the actual moving distance of the object after calculating the moving distance of the object on the image if the object is a person, a motorcycle, a bicycle. To perform. That is, as shown in FIG. 9A, when an object moves from point A to point B, the moving distance on the image may be obtained by the square root of the sum of the square of the horizontal movement distance dx and the vertical movement distance dy. Here, since the moving distance on the image is expressed in pixel units, the actual moving distance may be obtained by converting it to the actual distance unit.
한편, 맵정보계산단계(S232)의 수행이 완료되면 객체가 차량일 경우 차량의 번호판에 대한 이미지를 획득하여 획득한 이미지의 시간 차이를 통해 차량의 속도를 구하는 차량속도계산단계(S236)를 수행한다. 즉, 도 9b에서 보는 바와 같이 차량의 번호판을 기준으로 최초 위치의 이미지(P1)와 이동한 상태의 이미지(P2)를 비교하여 픽셀단위의 이동거리를 구하여 실제 이동거리로 환산하여 두 이미지 간의 시간 차이를 통해 차량의 속도를 구할 수 있을 것이다. 이때, 차량이 역방향으로 이동시에는 음수로 계산하여 차량의 속도를 구할 수 있을 것이다.
On the other hand, when the execution of the map information calculation step (S232) is completed, if the object is a vehicle, the vehicle speed calculation step (S236) of obtaining the speed of the vehicle through the time difference of the image obtained by obtaining the image of the license plate of the vehicle is performed. do. That is, as shown in FIG. 9B, the distance between the two images is obtained by comparing the image P1 of the initial position with the image P2 of the moved state based on the license plate of the vehicle and calculating the moving distance in pixels. The difference will determine the speed of the vehicle. In this case, when the vehicle moves in the reverse direction, the speed of the vehicle may be obtained by calculating a negative number.
차량속도계산단계(S236)의 수행이 완료되면 차량의 이동속도, 현재 번호판의 위치, 차량의 종류를 통해 종료할 시점을 추정하는 종료시점추정단계(S238)를 수행한다. 즉, 도 9c에서 보는 바와 같이 차량의 추정거리와 실제거리의 합한 거리만큼 차량이 이동하게 되면 차량에 대한 정보 수집을 종료하게 된다.
When the vehicle speed calculation step (S236) is completed, an end point estimation step (S238) of estimating a time point to end through the moving speed of the vehicle, the position of the current license plate, and the type of the vehicle is performed. That is, as shown in FIG. 9C, when the vehicle moves by the sum of the estimated distance and the actual distance of the vehicle, information collection about the vehicle is terminated.
이와 같이 인식 차량에 대한 정보를 정확히 처리해 줌으로써 다른 객체와 혼돈을 막고, 차량에 관한 후미부분을 정확히 관리할 수 있는 이점이 있다.
In this way, by accurately processing the information about the recognition vehicle to avoid confusion with other objects, there is an advantage that can accurately manage the rear portion of the vehicle.
종료시점추정단계(S238)의 수행 후 객체가 기설정된 시간을 경과 후에 움직임이 없을 경우 종료할 수 있을 것이다.
After performing the end point estimating step (S238), the object may be terminated if there is no movement after a predetermined time elapses.
도 7d는 객체정보출력단계(S240)의 흐름도로서, 객체정보인식단계(S230)를 통해 객체에 대한 최적의 객체정보를 획득하는 단계(S242)를 수행한다. 즉, 객체정보인식단계(S230)를 통해 획득한 다수의 객체정보를 분석하여 최적의 객체인식정보를 획득하고, 차량의 번호판을 확인하여 해당 이미지를 선택하는 작업을 수행한다. 이때, 차량의 종류, 색상 등 차량에 대한 정보를 추가로 산출하는 작업을 한다.(도 10a 참조)
FIG. 7D is a flowchart of the object information output step S240, and performs the step S242 of obtaining the optimal object information for the object through the object information recognition step S230. That is, by analyzing a plurality of object information obtained through the object information recognition step (S230) to obtain the optimal object recognition information, and check the license plate of the vehicle to perform the operation of selecting the image. At this time, the information on the vehicle, such as the type and color of the vehicle is further calculated. (See FIG. 10A).
최적의 객체정보획득단계(S242)의 수행 완료 후 획득한 객체정보를 분석하여 개별 객체별 데이터를 선별하는 데이터선별단계(S244)를 수행하고, 데이터선별단계(S244) 수행 후, 객체별 대표 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체데이터전송단계(S246)를 수행한다.(도 10b 참조)
After the completion of the optimal object information acquisition step (S242) by performing the data selection step (S244) for selecting the individual object data by analyzing the obtained object information, after performing the data selection step (S244), the representative image for each object Store and convert the stored information into a signal that can be transmitted to the
이와 같이 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치를 포함하는 영상 처리 시스템의 제어방법은 영상처리단계를 통해 비교적 간단하고도 저가의 장비를 이용하여 넓고 한정된 특정지역 즉, 방범 취약지구 및 어린이 보호구역(스쿨존) 내에서 다양한 상황에 대한 전체 영상을 획득하여 차량, 사람, 자전거, 오토바이 등의 객체별로 분류하고, 이 객체별로 생성된 영상을 분류 및 저장하기 때문에 사람, 오토바이, 자전거, 차종, 차량번호판, 차량 이미지, 차량속도, 차선위반, 차량진행방향(정주행 및 역주행) 등 다양한 정보의 수집이 가능하게 되어 다양해지는 각종 반사회적 행위 등 법을 위반하는 사람(차량)을 정확하고 용이하게 색출하는 효과가 있다.
As such, the method of controlling an image processing system including an object recognition and context video retrieval apparatus according to an exemplary embodiment of the present invention uses a relatively simple and inexpensive device through an image processing step, thereby limiting crime prevention. Within the district and children's sanctuary (school zone), it acquires full images of various situations and classifies them by objects such as vehicles, people, bicycles and motorcycles, and classifies and stores the images generated by these objects. It is possible to collect a variety of information such as bicycles, models, license plates, vehicle images, vehicle speed, lane violations, and driving directions (forward and backward driving). It is effective to extract color easily.
한편, 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)는 영상처리단계(S200)를 통해 추출된 객체정보를 이미지화하여 출력하고, 출력된 이미지의 동영상에 대한 검색을 수행하는 것으로, 동영상 검색은 장소별, 시간별, 차량번호, 주행방향, 차량종류, 차량속도, 차량색상의 입력된 정보에 의해 자동으로 검색되어 진다. 또한, 메인서버(40)는 초 단위, 분 단위, 시 단위, 일 단위의 시간간격 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간 간격 별로 단속적으로 생성시켜 저장하되, 동영상 검색은 썸네일 검색 메뉴를 더 구비하여 상기 썸네일 검색 메뉴 선택시 메인서버(40)로부터 생성된 썸네일(thumbnail)을 전달받아 검색할 수 있을 것이다.
On the other hand, retrieving the object information stored in the main server 40 (S300) is to image the object information extracted through the image processing step (S200) and output, and perform a search for the video of the output image, Video search is automatically searched by the input information of location, time, vehicle number, driving direction, vehicle type, vehicle speed, and vehicle color. In addition, the
상술한 바와 같은, 본 발명의 바람직한 실시예에 따른 객체인식 및 정황 동영상 검색장치와 이를 이용한 영상 처리 시스템 및 그 제어 방법을 상기한 설명 및 도면에 따라 도시하였지만, 이는 예를 들어 설명한 것에 불과하며 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능하다는 것을 이 분야의 통상적인 기술자들은 잘 이해할 수 있을 것이다.
As described above, the object recognition and context video retrieval apparatus according to the preferred embodiment of the present invention, an image processing system using the same, and a method of controlling the same are illustrated according to the above description and drawings. Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the invention.
10 : 객체인식 및 정황 동영상 검색장치
20 : 촬영부 22 : 하우징
24 : 카메라 26 : 투광기
28 : 송풍팬 29 : 제어모듈
30 : 데이터 정보처리부 32 : 라우터
34 : 지역제어기 36 : 전원제어기
38 : 써지보호기 39 : 디지털 비디오 레코드
40 : 메인서버 42 : 동영상 데이터베이스부
44 : 객체정보 데이터베이스부 46 : 검색용 데이터베이스부
50 : 출력장치 52 : 모니터링 화면창
54 : 검색 화면창10: Object recognition and context video search device
20: recording unit 22: housing
24: camera 26: floodlight
28: blower fan 29: control module
30: data information processing unit 32: router
34: local controller 36: power controller
38: Surge Protector 39: Digital Video Record
40: main server 42: video database section
44: object information database unit 46: search database unit
50: output device 52: monitoring window
54: search window
Claims (16)
상기 지주(100)에 설치되고, 상기 촬영부(20)로부터 촬영된 영상으로부터 객체를 실시간으로 추출하고, 설정영역의 동영상을 촬영 시각에 따라 실시간으로 연속 저장하는 데이터 정보처리부(30)와;
상기 데이터 정보처리부(30)로부터 객체정보를 전송받아 저장하고, 실시간 인식된 객체정보의 검색과, 설정영역의 동영상에 대한 촬영 시각별 검색을 수행할 수 있도록 하는 메인서버(40)를 포함하되;
상기 촬영부(20)는 객체를 인식하기 위한 객체인식 카메라(242)와;
설정영역의 동영상을 촬영하기 위한 고해상도 촬영 카메라(244)를 포함하여 이루어지는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
A photographing unit 20 installed in the support 100 to photograph the setting area in real time;
A data information processor (30) installed in the support (100), extracting an object from an image photographed by the photographing unit (20) in real time, and continuously storing a video of a setting area in real time according to a photographing time;
A main server 40 configured to receive and store object information from the data information processor 30 and to perform real-time recognized object information search and search by shooting time for a video of a setting region;
The photographing unit 20 includes an object recognition camera 242 for recognizing an object;
Object recognition and context video retrieval apparatus comprising a high-resolution shooting camera (244) for shooting a video of the setting area.
상기 촬영부(20)는 내부공간(212)을 갖는 하우징(22)과;
상기 하우징(22)의 내부공간(222)에 위치되어 객체를 촬영하기 위한 카메라(24)와;
상기 카메라(24)가 야간에도 주간처럼 객체를 인식하고, 동영상 촬영이 가능하도록 하기 위한 투광기(26)와;
상기 투광기(26)로부터 발생되는 열을 방출하기 위한 송풍팬(28)과;
상기 카메라(24), 투광기(26) 및 송풍팬(28)의 작동을 제어하기 위한 제어모듈(29)을 포함하여 이루어지는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
The method of claim 1,
The photographing unit 20 includes a housing 22 having an inner space 212;
A camera 24 positioned in the inner space 222 of the housing 22 to photograph an object;
A light projector 26 for the camera 24 to recognize an object even at night and to capture a video;
A blowing fan 28 for dissipating heat generated from the light projector 26;
Object recognition and context video retrieval apparatus comprising a control module (29) for controlling the operation of the camera (24), the light projector (26) and the blowing fan (28).
상기 메인서버(40)와 연동되는 출력장치(50)를 포함하되,
상기 출력장치(50)는 설정영역의 현재 동영상을 출력하는 모니터링 화면창(52), 객체정보와 설정영역의 동영상에 대한 검색을 수행하는 검색 화면창(54)을 포함하는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
The method of claim 1,
Including an output device 50 that is interlocked with the main server 40,
The output device 50 includes a monitoring screen window 52 for outputting a current video of the setting area, and a search screen window 54 for searching for object information and a video of the setting area. And context video search device.
상기 메인서버(40)는 상기 고해상도 촬영 카메라(244)로부터 촬영된 동영상을 저장하기 위한 동영상 데이터베이스부(42)와, 상기 데이터 정보처리부(30)로부터 입력받은 객체정보를 저장하기 위한 객체정보 데이터베이스부(44)를 포함하여 이루어지는 검색용 데이터베이스(46)를 구비하되,
상기 검색용 데이터베이스(46)는 차량번호, 차종, 차량 색상, 차량 속도, 번호판 색상으로 구분되어 차량정보가 객체정보로서 저장되는 한편, 장소별 객체정보와 동영상, 시간별 객체정보와 동영상으로 구분되어 객체정보가 저장되고,
상기 출력장치(50)의 검색 화면창(54)은 장소, 시간, 차량번호, 주행방향, 차량종류, 번호판 색상, 차량속도를 검색항목으로 제공하는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
The method of claim 4, wherein
The main server 40 includes a video database 42 for storing a video photographed by the high resolution photographing camera 244, and an object information database for storing object information received from the data information processor 30. A search database 46 comprising 44,
The database 46 for searching is classified into a vehicle number, a vehicle type, a vehicle color, a vehicle speed, and a license plate color to store vehicle information as object information, and is divided into object information and video for each place and object information and video for each time. The information is stored,
Search screen window 54 of the output device 50, the object recognition and context video search device, characterized in that the location, time, vehicle number, driving direction, vehicle type, license plate color, vehicle speed to provide a search item.
상기 메인서버(40)의 검색용 데이터베이스(46)는 초 단위, 분 단위, 시 단위, 일 단위의 시간간격 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간간격 별로 단속적으로 생성시켜 저장하되,
상기 출력장치(50)의 검색 화면창(54)은 썸네일 검색 메뉴를 더 구비하여 상기 썸네일 검색 메뉴 선택시 상기 메인서버(40)의 검색용 데이터베이스(46)로부터 생성된 썸네일(thumbnail)을 전달받아 표시하는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
The method of claim 5, wherein
The search database 46 of the main server 40 stores a video of the setting area for each time interval in seconds, minutes, hours, and days, and corresponds to a start screen for each time interval as a thumbnail. Intermittently create and save every time interval,
The search screen window 54 of the output device 50 further includes a thumbnail search menu, and receives a thumbnail generated from the search database 46 of the main server 40 when the thumbnail search menu is selected. Object recognition and context video search device characterized in that the display.
상기 데이터 정보처리부(30)는 상기 메인서버(40)와 인터넷망을 통해 연결되는 라우터(32)와;
상기 촬영부(20)로부터 촬영된 객체정보를 저장하고, 압축 전송하기 위한 지역제어기(34)와;
상기 촬영부(20), 라우터(32), 지역제어기(34)의 전원을 제어하기 위한 전원제어기(36)와;
전압 스파이크와 같은 과도 써지전압이 상기 라우터(32), 지역제어기(34) 및 전원제어기(36)에 도달하기 전에 차단해 상기 라우터(32), 지역제어기(34) 및 전원제어기(36)를 보호하기 위한 써지보호기(38)와;
상기 촬영부(20)에서 촬영된 영상을 압축 복원하여 장시간 녹화 및 재생이 가능한 디지털 비디오 레코더(DVR, 39)를 포함하여 이루어지는 것을 특징으로 하는 객체인식 및 정황 동영상 검색장치.
The method of claim 1,
The data information processor 30 includes a router 32 connected to the main server 40 through an internet network;
A local controller (34) for storing and compressing and transmitting object information photographed from the photographing unit (20);
A power controller 36 for controlling the power of the photographing unit 20, the router 32, and the local controller 34;
Excessive surge voltage, such as a voltage spike, is blocked before reaching the router 32, the local controller 34 and the power controller 36 to protect the router 32, the local controller 34 and the power controller 36. A surge protector 38 for making;
An object recognition and context video retrieval apparatus comprising a digital video recorder (DVR) 39 capable of compressing and restoring an image photographed by the photographing unit 20 to record and play for a long time.
객체를 실시간으로 촬영하기 위한 촬영단계(S100)와;
상기 촬영단계(S100)에서 촬영된 영상을 캡쳐하고, 캡쳐된 영상을 통해 객체를 추출하여 추출된 객체정보를 저장하기 위한 영상처리단계(S200)와;
상기 영상처리단계(S200)를 통해 전송된 객체정보를 메인서버(40)에 저장하고, 상기 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)를 포함하되;
상기 영상처리단계(S200)는 상기 촬영단계(S100)에서 촬영된 실시간의 영상을 캡처하여 출력하고, 상기 캡처된 영상을 통해 객체의 움직임, 객체의 위치 및 영역추출, 픽셀을 분석하여 객체의 종류를 구분하는 객체정보구분단계(S210)와;
상기 객체정보구분단계(S210)의 출력정보가 차량일 경우 차량의 번호를 인식하기 위한 차량번호인식단계(S220)와;
상기 객체정보구분단계(S210)의 출력정보에 의해 객체 패턴을 인식하여 출력하는 객체정보인식단계(S230)와;
인식된 다양한 객체 정보에 대한 인덱스 유효성 검사 및 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 상기 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체정보출력단계(S240)를 포함하여 이루어지는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
In a control method of an image processing system including an object recognition and context video search apparatus for capturing and storing a captured image, extracting and displaying an object,
Shooting step (S100) for shooting the object in real time;
An image processing step (S200) for capturing an image captured in the photographing step (S100), extracting an object from the captured image, and storing the extracted object information;
Storing object information transmitted through the image processing step S200 in the main server 40 and retrieving object information stored in the main server 40 (S300);
The image processing step (S200) captures and outputs the real-time image captured in the photographing step (S100), and analyzes the movement of the object, the location and area extraction of the object, and the pixel through the captured image. Object information classification step (S210) for separating the;
A vehicle number recognition step (S220) for recognizing a vehicle number when the output information of the object information classification step (S210) is a vehicle;
An object information recognition step (S230) of recognizing and outputting an object pattern based on the output information of the object information classification step (S210);
Including an object information output step (S240) for storing the index validation and the image of the recognized various object information, and converts the stored information into a signal that can be transmitted to the main server 40 through the Internet network; Control method of an image processing system, characterized in that made.
상기 객체정보구분단계(S210)는 이전의 이미지와 비교하여 객체의 움직임을 감지하는 객체이동감지단계(S212)를 수행하고, 상기 객체이동감지단계(S212)의 수행이 완료되면 픽셀의 추적을 통한 객체의 추정 위치와 크기를 산출하여 해당 객체의 위치와 영역을 산출하는 객체영역산출단계(S214)를 수행하고, 상기 객체영역산출단계(S214)의 수행이 완료되면 객체의 윤곽을 구성하는 픽셀의 성분 분석과 객체의 추정 크기에 따라 사람, 차량, 오토바이, 자전거로 구분하는 객체구분단계(S216)를 수행하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
The method of claim 8,
The object information classification step (S210) performs an object movement detection step (S212) for detecting the movement of the object compared to the previous image, and when the object movement detection step (S212) is completed through the tracking of the pixel By calculating the estimated position and size of the object to calculate the position and area of the object (S214), and performing the object region calculation step (S214) is completed, the pixel constituting the outline of the object A method of controlling an image processing system, characterized in that to perform an object classification step (S216) divided into a person, a vehicle, a motorcycle, and a bicycle according to the component analysis and the estimated size of the object.
상기 차량번호인식단계(S220)는 차량영역에서 차량의 윤곽을 분석하여 번호판의 위치를 추정하는 번호판위치산출단계(S222)를 수행하고, 상기 번호판위치산출단계(S222)의 수행이 완료되면 여러 개의 번호판 추정위치에서 정확한 번호판의 위치를 산출하는 번호판영역산출단계(S224)를 수행하고, 상기 번호판영역산출단계(S224)의 수행이 완료되면 문자영역을 구분하고, 번호판의 전체 윤곽을 확정하는 문자영역산출단계(S226)를 수행하고, 상기 문자영역산출단계(S226)의 수행이 완료되면 지역, 한글, 숫자 인식으로 이미지를 직접해석하는 문자인식단계(S228)를 수행하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
The method of claim 8,
The vehicle number recognition step (S220) performs a license plate position calculation step (S222) of estimating the position of the license plate by analyzing the outline of the vehicle in the vehicle area, and when the license plate position calculation step (S222) is completed, several Character plate area calculation step (S224) for calculating the exact position of the license plate at the license plate estimated position, and performing the license plate area calculation step (S224) is completed, the character area to separate the character area, and to determine the overall outline of the license plate Perform the calculation step (S226), and when the character area calculation step (S226) is completed, the image processing system, characterized in that to perform the character recognition step (S228) to directly interpret the image by region, Hangul, number recognition Control method.
상기 객체정보인식단계(S230)는 객체의 이미지 높이에 대한 좌우 인식영역 및 객체의 이미지 높이에 대한 실제거리를 계산하는 맵(Map)정보계산단계(S232)를 수행하고, 상기 맵정보계산단계(S232)의 수행이 완료되면 객체가 사람, 오토바이, 자전거일 경우 이미지 상에서 객체의 이동거리를 픽셀로 계산한 후 객체의 실제 이동거리를 산출하는 객체이동거리산출단계(S234)를 수행하고, 객체가 차량일 경우 차량의 번호판에 대한 이미지를 획득하여 획득한 이미지의 시간 차이를 통해 차량의 속도를 구하는 차량속도계산단계(S236)를 수행하고, 상기 차량속도계산단계(S236)의 수행이 완료되면 차량의 이동속도, 현재 번호판의 위치, 차량의 종류를 통해 종료할 시점을 추정하는 종료시점추정단계(S238)를 수행하고, 상기 종료시점추정단계(S238)의 수행 후 객체가 기설정된 시간을 경과 후에 움직임이 없을 경우 종료하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
The method of claim 8,
The object information recognition step (S230) performs a map information calculation step (S232) for calculating the left and right recognition area for the image height of the object and the actual distance for the image height of the object, and the map information calculation step ( When the execution of S232) is completed, when the object is a person, a motorcycle, or a bicycle, after calculating the moving distance of the object in pixels on the image, performing an object moving distance calculating step (S234) for calculating the actual moving distance of the object, In the case of a vehicle, a vehicle speed calculation step (S236) of obtaining a vehicle speed based on a time difference of an image obtained by obtaining an image of a license plate of the vehicle is performed, and when the vehicle speed calculation step (S236) is completed, the vehicle is completed. After performing the end point estimation step (S238) of estimating the end point through the moving speed, the current license plate position, the type of the vehicle, and after performing the end point estimation step (S238) A control method of an image processing system characterized in that the end when there is no motion for a specified time after the lapse.
상기 객체정보출력단계(S240)는 상기 객체정보인식단계(S230)를 통해 객체에 대한 최적의 객체정보를 획득하는 단계(S242)를 수행하고, 상기 최적의 객체정보획득단계(S242)의 수행 완료 후 획득한 객체정보를 분석하여 개별 객체별 데이터를 선별하는 데이터선별단계(S244)를 수행하고, 상기 데이터선별단계(S244) 수행 후, 객체별 대표 이미지를 저장하고, 그 저장된 정보를 인터넷망을 통해 상기 메인서버(40)로 전송할 수 있는 신호로 변환하여 출력하는 객체데이터전송단계(S246)를 수행하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
The method of claim 8,
The object information output step (S240) performs a step (S242) of obtaining the optimal object information for the object through the object information recognition step (S230), the completion of performing the optimal object information acquisition step (S242) After analyzing the obtained object information to perform the data selection step (S244) for selecting the data for each individual object, after performing the data selection step (S244), and stores the representative image for each object, the stored information to the Internet network Control method of the image processing system, characterized in that for performing the object data transmission step (S246) to convert the signal to be transmitted to the main server 40 through the output.
상기 메인서버(40)에 저장된 객체정보를 검색하는 단계(S300)는 상기 영상처리단계(S200)를 통해 추출된 객체정보를 이미지화하여 출력하고, 출력된 이미지의 동영상에 대한 검색을 수행하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
The method of claim 8,
Searching the object information stored in the main server 40 (S300) is characterized by outputting the object information extracted through the image processing step (S200), and performs a search for the video of the output image A control method of an image processing system.
동영상 검색은 장소별, 시간별, 차량번호, 주행방향, 차량종류, 차량속도, 차량색상의 입력된 정보에 의해 자동으로 검색되는 것을 특징으로 하는 영상 처리 시스템의 제어방법.
15. The method of claim 14,
The video search is a control method of the image processing system, characterized in that automatically search by the input information of the location, time, vehicle number, driving direction, vehicle type, vehicle speed, vehicle color.
상기 메인서버(40)는 초 단위, 분 단위, 시 단위, 일 단위의 시간 별로 설정영역의 동영상을 저장하고, 각 시간간격 별 시작화면을 썸네일(thumbnail)로 해당 시간 간격 별로 단속적으로 생성시켜 저장하되,
상기 동영상 검색은 썸네일 검색 메뉴를 더 구비하여 상기 썸네일 검색 메뉴 선택시 상기 메인서버(40)로부터 생성된 썸네일(thumbnail)을 전달받아 검색하는 것을 특징으로 하는 영상 처리 시스템의 제어방법.The method according to any one of claims 14 to 15,
The main server 40 stores the video of the setting area for each time in seconds, minutes, hours, and days, and creates and saves a start screen for each time interval as a thumbnail for each time interval. But
The video search further includes a thumbnail search menu, and when the thumbnail search menu is selected, the thumbnail search generated by the main server (40) is received and searched.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120036320A KR101178878B1 (en) | 2012-04-06 | 2012-04-06 | Object recognition and situation video search system and the image tractability system which uses this |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120036320A KR101178878B1 (en) | 2012-04-06 | 2012-04-06 | Object recognition and situation video search system and the image tractability system which uses this |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101178878B1 true KR101178878B1 (en) | 2012-08-31 |
Family
ID=46888150
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120036320A KR101178878B1 (en) | 2012-04-06 | 2012-04-06 | Object recognition and situation video search system and the image tractability system which uses this |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101178878B1 (en) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20140121713A (en) * | 2013-04-08 | 2014-10-16 | 삼성테크윈 주식회사 | System for monitoring image and operating method thereof |
| KR101461108B1 (en) | 2013-01-18 | 2014-11-12 | 광주과학기술원 | Recognition device, vehicle model recognition apparatus and method |
| KR101517683B1 (en) * | 2013-08-16 | 2015-05-07 | (주)오션네트웍스 | System and method of managing parking |
| KR101727487B1 (en) * | 2015-11-18 | 2017-04-17 | 숭실대학교산학협력단 | Content Based Analyzing Device for Vehicle and Method Using the Same |
| KR101773127B1 (en) * | 2015-12-09 | 2017-08-31 | 이노뎁 주식회사 | Image analysis system and integrated control system capable of performing effective image searching/analyzing and operating method thereof |
| KR101832274B1 (en) | 2017-05-29 | 2018-02-27 | 주식회사 디케이앤트 | System for crime prevention of intelligent type by video photographing and method for acting thereof |
| KR102040510B1 (en) * | 2019-06-04 | 2019-11-05 | 주식회사 사라다 | System for monitoring control area for preventing water immersion of vehicle |
| KR102270625B1 (en) * | 2020-12-21 | 2021-06-29 | 케이페스트 주식회사 | Method and system for processing an enter of vehicle one way using learning of ai |
| KR20210082301A (en) * | 2019-12-24 | 2021-07-05 | 주식회사 싸인텔레콤 | Intelligent system for context-aware based embeded camera |
| KR102291331B1 (en) * | 2020-09-17 | 2021-08-18 | 김대철 | Compact wireless monitoring apparatus of low power and low capacity for effectively watching for illegal waste dumping |
| KR20210117673A (en) * | 2020-03-20 | 2021-09-29 | 구성진 | A traffic information assistance system based on license plate recognition |
| KR102322909B1 (en) * | 2020-06-26 | 2021-11-04 | 구성진 | Road monitoring device based on simultaneous object parallel recognition |
| CN113992467A (en) * | 2016-07-22 | 2022-01-28 | 安定宝公司 | Migrating settings from an unconnected building controller to another building controller |
| KR20220056287A (en) | 2020-10-27 | 2022-05-06 | 주식회사 엠아이제이 | A semantic image meta extraction and AI learning data composition system using ontology |
| KR102416066B1 (en) * | 2021-05-13 | 2022-07-06 | 유니셈 (주) | System and method for matching video |
-
2012
- 2012-04-06 KR KR1020120036320A patent/KR101178878B1/en active IP Right Grant
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101461108B1 (en) | 2013-01-18 | 2014-11-12 | 광주과학기술원 | Recognition device, vehicle model recognition apparatus and method |
| KR20140121713A (en) * | 2013-04-08 | 2014-10-16 | 삼성테크윈 주식회사 | System for monitoring image and operating method thereof |
| KR102009924B1 (en) * | 2013-04-08 | 2019-08-12 | 한화테크윈 주식회사 | System for monitoring image and operating method thereof |
| KR101517683B1 (en) * | 2013-08-16 | 2015-05-07 | (주)오션네트웍스 | System and method of managing parking |
| KR101727487B1 (en) * | 2015-11-18 | 2017-04-17 | 숭실대학교산학협력단 | Content Based Analyzing Device for Vehicle and Method Using the Same |
| KR101773127B1 (en) * | 2015-12-09 | 2017-08-31 | 이노뎁 주식회사 | Image analysis system and integrated control system capable of performing effective image searching/analyzing and operating method thereof |
| CN113992467B (en) * | 2016-07-22 | 2023-09-22 | 安定宝公司 | Migrating a setting from an unconnected building controller to another building controller |
| CN113992467A (en) * | 2016-07-22 | 2022-01-28 | 安定宝公司 | Migrating settings from an unconnected building controller to another building controller |
| KR101832274B1 (en) | 2017-05-29 | 2018-02-27 | 주식회사 디케이앤트 | System for crime prevention of intelligent type by video photographing and method for acting thereof |
| KR102040510B1 (en) * | 2019-06-04 | 2019-11-05 | 주식회사 사라다 | System for monitoring control area for preventing water immersion of vehicle |
| KR20210082301A (en) * | 2019-12-24 | 2021-07-05 | 주식회사 싸인텔레콤 | Intelligent system for context-aware based embeded camera |
| KR102278400B1 (en) * | 2019-12-24 | 2021-07-19 | 주식회사 싸인텔레콤 | Intelligent system for context-aware based embeded camera |
| KR20210117673A (en) * | 2020-03-20 | 2021-09-29 | 구성진 | A traffic information assistance system based on license plate recognition |
| KR102381352B1 (en) | 2020-03-20 | 2022-03-30 | 구성진 | A traffic information assistance system based on license plate recognition |
| KR102322909B1 (en) * | 2020-06-26 | 2021-11-04 | 구성진 | Road monitoring device based on simultaneous object parallel recognition |
| KR102291331B1 (en) * | 2020-09-17 | 2021-08-18 | 김대철 | Compact wireless monitoring apparatus of low power and low capacity for effectively watching for illegal waste dumping |
| KR20220056287A (en) | 2020-10-27 | 2022-05-06 | 주식회사 엠아이제이 | A semantic image meta extraction and AI learning data composition system using ontology |
| KR102270625B1 (en) * | 2020-12-21 | 2021-06-29 | 케이페스트 주식회사 | Method and system for processing an enter of vehicle one way using learning of ai |
| KR102416066B1 (en) * | 2021-05-13 | 2022-07-06 | 유니셈 (주) | System and method for matching video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101178878B1 (en) | Object recognition and situation video search system and the image tractability system which uses this | |
| US11308777B2 (en) | Image capturing apparatus with variable event detecting condition | |
| KR100983777B1 (en) | Image capture system for object recognitions and method for controlling the same | |
| US9208226B2 (en) | Apparatus and method for generating evidence video | |
| KR101971878B1 (en) | Video surveillance system and method using deep-learning based car number recognition technology in multi-lane environment | |
| US9852631B2 (en) | Mobile on-street parking occupancy detection | |
| KR100834550B1 (en) | Detecting method at automatic police enforcement system of illegal-stopping and parking vehicle and system thereof | |
| KR101846074B1 (en) | Security system and security process and security controller of throw trash, by detected humans action or shape image | |
| JP6013923B2 (en) | System and method for browsing and searching for video episodes | |
| KR102181355B1 (en) | Vehicle search system based artificial intelligence | |
| CN105678730A (en) | Camera movement self-detecting method on the basis of image identification | |
| CN111914592B (en) | Multi-camera combined evidence obtaining method, device and system | |
| KR101092472B1 (en) | Video indexing system using surveillance camera and the method thereof | |
| KR101084914B1 (en) | Indexing management system of vehicle-number and man-image | |
| KR102366544B1 (en) | Vision-based Rainfall Information System and Methodology Using Deep Learning | |
| US20100296703A1 (en) | Method and device for detecting and classifying moving targets | |
| KR101113515B1 (en) | Video index system using surveillance camera and the method thereof | |
| KR102122853B1 (en) | Monitoring system to control external devices | |
| CN212724329U (en) | Illegal whistle and illegal refitted vehicle snapshot system covering bidirectional lane | |
| KR20090035798A (en) | Store and search system and the method of the license plate images | |
| KR101686851B1 (en) | Integrated control system using cctv camera | |
| KR102382560B1 (en) | Traffic information combined analysis assistance system based on license plate number recognition | |
| KR100869139B1 (en) | System for recognizing regisration number plate of vechicle using image input signal through mobile phone and method thereof | |
| KR20140052744A (en) | Method and apparatus for searching event occurred in image | |
| KR102656084B1 (en) | Method and apparatus for mapping objects besed on movement path |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150610 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160620 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20180612 Year of fee payment: 7 |