KR102748503B1 - System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method - Google Patents
System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method Download PDFInfo
- Publication number
- KR102748503B1 KR102748503B1 KR1020220096923A KR20220096923A KR102748503B1 KR 102748503 B1 KR102748503 B1 KR 102748503B1 KR 1020220096923 A KR1020220096923 A KR 1020220096923A KR 20220096923 A KR20220096923 A KR 20220096923A KR 102748503 B1 KR102748503 B1 KR 102748503B1
- Authority
- KR
- South Korea
- Prior art keywords
- interest
- tracking object
- module
- real time
- region
- Prior art date
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 title description 2
- 238000013473 artificial intelligence Methods 0.000 title 1
- 238000012544 monitoring process Methods 0.000 claims abstract description 19
- 238000012502 risk assessment Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Emergency Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템이 개시된다. 관심영역을 포함하는 CCTV 영상을 실시간 생성하여 송신하는CCTV 카메라 장치; 상기 CCTV 카메라 장치로부터 CCTV 영상을 수신하고, 수신된 CCTV 영상에서 상기 관심영역 내에 추적 물체의 유무를 판단하고, 판단 결과 상기 관심영역 내에 추적 물체가 존재하는 경우 위험 알람을 생성하여 실시간 송신하는 AI 관심영역 감시 서버; 상기 AI 관심영역 감시 서버로부터 위험 알람을 실시간 수신하여 출력하는 관리자 단말을 구성한다. 상술한 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템에 의하면, CCTV 영상을 깊이 이미지 정보를 이용하여 분석하여 추적 물체가 CCTV 영상 내의 관심영역 내에 존재하는지 여부를 3차원적으로 파악할 수 있도록 구성됨으로써, CCTV 영상을 이용한 관심영역 내의 추적 물체 파악의 오류를 방지하고 정확한 감시와 모니터링을 할 수 있는 효과가 있다.A distance information extraction method and an AI-based system for determining whether a tracking object exists in a region of interest are disclosed. A CCTV camera device generating and transmitting a CCTV image including a region of interest in real time; an AI region of interest monitoring server receiving a CCTV image from the CCTV camera device, determining whether a tracking object exists in the region of interest from the received CCTV image, and generating a danger alarm and transmitting it in real time if a tracking object exists in the region of interest as a result of the determination; and an administrator terminal receiving and outputting a danger alarm in real time from the AI region of interest monitoring server. According to the distance information extraction method and the AI-based system for determining whether a tracking object exists in a region of interest in the CCTV image by analyzing the CCTV image using depth image information, it is configured to be able to three-dimensionally determine whether a tracking object exists in a region of interest in the CCTV image, thereby preventing errors in identifying a tracking object in a region of interest using the CCTV image and enabling accurate surveillance and monitoring.
Description
본 발명은 추적 물체 유무 판단 시스템에 관한 것으로서, 구체적으로는 거리 정보 추출 방식과 AI를 활용한 심영역 내 추적 물체 유무 판단 시스템에 관한 것이다.The present invention relates to a system for determining the presence or absence of a tracking object, and more particularly, to a system for determining the presence or absence of a tracking object in a deep area using a distance information extraction method and AI.
CCTV 카메라를 이용하여 다양한 감시 및 모니터링 체계가 구축되어 있다.Various surveillance and monitoring systems have been established using CCTV cameras.
그런데, CCTV 영상에서 특정 영역의 침입이나 특정 영역에 존재하는 객체를 정확하게 모니터링하고 있지는 못하다.However, CCTV footage does not accurately monitor intrusions into specific areas or objects present in specific areas.
도 1은 관심영역 설정을 나타내는 화면 예시도이다. 도 1을 참조하면, CCTV 영상 내에서 특정 영역을 관심영역으로 설정하는 것을 나타내고 있다. 관심영역은 CCTV 영상에서 2D 영역이 아니라 3D 영역으로 설정되어야 객체가 해당 영역에 있는지를 알 수 있다. 즉, CCTV 영상에서 추적하고자 하는 객체가 특정 3D 영역에 있는지를 파악해야 감시가 가능하지만, 기존에는 CCTV 영상 내 특정 3D 영역 내 존재 여부를 감지하는 것이 불가능하다는 문제점이 있다.Fig. 1 is an example screen showing the setting of the region of interest. Referring to Fig. 1, it shows setting a specific region as the region of interest in the CCTV image. The region of interest must be set as a 3D region, not a 2D region, in the CCTV image to determine whether an object is in that region. In other words, surveillance is possible only when it is determined whether an object to be tracked in the CCTV image is in a specific 3D region, but there is a problem in the past that it is impossible to detect whether there is an object in a specific 3D region in the CCTV image.
도 2는 관심영역 내 추적 물체를 정상적으로 감지한 상태를 나타내는 화면 예시도이고, 도 3은 관심영역 내 추적 물체를 비정상적으로 감지한 상태를 나타내는 화면 예시도이다.Figure 2 is an example screen showing a state in which a tracking object within a region of interest is normally detected, and Figure 3 is an example screen showing a state in which a tracking object within a region of interest is abnormally detected.
도 2에서와 같이 사람이 관심영역 내에 존재하는 경우에는 정상적으로 관심영역 내의 객체로 감지되지만, 도 3에서는 사람이 빨간색 네모칸 안에 존재하기는 하지만 실제로는 관심영역 밖에 존재하는 경우이다.As in Figure 2, when a person exists within the region of interest, it is normally detected as an object within the region of interest, but in Figure 3, although the person exists within the red box, it is actually outside the region of interest.
즉, 종래에서는 도 3에서와 같이 객체가 실제로 관심영역 내에 존재하는지 여부를 정확하게 파악할 수는 없다는 문제점이 있다.That is, in the past, there was a problem in that it was impossible to accurately determine whether an object actually existed within the region of interest, as in Fig. 3.
본 발명의 목적은 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템을 제공하는 데 있다.The purpose of the present invention is to provide a method for extracting distance information and a system for determining the presence or absence of a tracking object in a region of interest using AI.
상술한 본 발명의 목적에 따른 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템은, 관심영역을 포함하는 CCTV 영상을 실시간 생성하여 송신하는CCTV 카메라 장치; 상기 CCTV 카메라 장치로부터 CCTV 영상을 수신하고, 수신된 CCTV 영상에서 상기 관심영역 내에 추적 물체의 유무를 판단하고, 판단 결과 상기 관심영역 내에 추적 물체가 존재하는 경우 위험 알람을 생성하여 실시간 송신하는 AI 관심영역 감시 서버; 상기 AI 관심영역 감시 서버로부터 위험 알람을 실시간 수신하여 출력하는 관리자 단말을 포함하도록 구성될 수 있다.The distance information extraction method according to the purpose of the present invention described above and the system for determining whether or not a tracking object exists in a region of interest using AI may be configured to include a CCTV camera device that generates and transmits a CCTV image including a region of interest in real time; an AI region of interest monitoring server that receives a CCTV image from the CCTV camera device, determines whether or not a tracking object exists in the region of interest from the received CCTV image, and generates and transmits a danger alarm in real time if a tracking object exists in the region of interest as a result of the determination; and an administrator terminal that receives and outputs a danger alarm in real time from the AI region of interest monitoring server.
여기서, 상기 CCTV 카메라 장치는, RGB 영상을 실시간 생성하는 RGB 카메라 모듈; 제1 영상을 실시간 생성하는 제1 카메라 모듈; 제2 영상을 실시간 생성하는 제2 카메라 모듈을 포함하도록 구성될 수 있다.Here, the CCTV camera device may be configured to include an RGB camera module that generates an RGB image in real time; a first camera module that generates a first image in real time; and a second camera module that generates a second image in real time.
그리고 상기 AI 관심영역 감시 서버는, 상기 RGB 카메라 모듈에서 실시간 생성되는 RGB 영상에서 AI 알고리즘을 이용하여 추적 물체를 포착하여 실시간 인식하는 추적 물체 AI 인식 모듈; 상기 제1 카메라 모듈에서 실시간 생성된 제1 영상 및 상기 제2 카메라 모듈에서 실시간 생성된 제2 영상을 동기화하여 실시간 대비하는 영상 대비 모듈; 상기 영상 대비 모듈의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 상기 추적 물체 AI 인식 모듈에서 실시간 인식되는 추적 물체의 깊이를 실시간 인식하는 추적 물체 AI 깊이 인식 모듈을 포함하도록 구성될 수 있다.And the AI interest region surveillance server may be configured to include a tracking object AI recognition module that captures a tracking object using an AI algorithm from an RGB image generated in real time from the RGB camera module and recognizes it in real time; an image contrast module that synchronizes and contrasts a first image generated in real time from the first camera module and a second image generated in real time from the second camera module; and a tracking object AI depth recognition module that recognizes the depth of a tracking object recognized in real time by the tracking object AI recognition module using an AI algorithm based on a real-time contrast result of the image contrast module.
그리고 상기 AI 관심영역 감시 서버는, 상기 추적 물체 AI 인식 모듈에서 실시간 인식된 추적 물체 및 상기 추적 물체 AI 깊이 인식 모듈에서 실시간 인식된 추적 물체의 깊이를 이용하여 상기 추적 물체가 상기 관심영역 내에 존재하는지 여부를 실시간 판단하는 위험 판단 모듈; 상기 위험 판단 모듈의 실시간 판단 결과 상기 추적 물체가 상기 관심영역 내에 존재한다고 판단되는 경우, 상기 위험 알람을 실시간 생성하여 상기 관리자 단말로 송신하는 위험 알람 모듈을 더 포함하도록 구성될 수 있다.And the AI interest region monitoring server may be configured to further include a risk judgment module that determines in real time whether the tracked object exists within the interest region by using the tracked object recognized in real time by the tracked object AI recognition module and the depth of the tracked object recognized in real time by the tracked object AI depth recognition module; and a risk alarm module that generates the risk alarm in real time and transmits it to the administrator terminal when the real-time judgment result of the risk judgment module determines that the tracked object exists within the interest region.
이때, 상기 위험 판단 모듈은, 상기 추적 물체 AI 깊이 인식 모듈에서 실시간 인식된 추적 물체의 깊이가 상기 관심영역의 깊이 범위 내에 존재하는지 판단하고, 판단 결과 상기 관심영역의 깊이 범위 내에 존재하는 경우 상기 추적 물체가 거리 위험이 있는 것으로 판단하는 거리 위험 판단 모듈; 상기 추적 물체 AI 인식 모듈에서 실시간 인식된 추적 물체 및 상기 추적 물체 AI 깊이 인식 모듈에서 실시간 인식된 추적 물체의 깊이를 이용하여 상기 추적 물체가 상기 관심영역 내에 존재하는지 판단하고, 판단 결과 상기 관심영역 내에 존재하는 경우 상기 추적 물체가 관심영역 위험이 있는 것으로 판단하는 관심영역 위험 판단 모듈을 더 포함하도록 구성될 수 있다.At this time, the risk judgment module may be configured to further include a distance risk judgment module that determines whether the depth of the tracking object recognized in real time by the tracking object AI depth recognition module exists within the depth range of the region of interest, and determines that the tracking object poses a distance risk if the depth range of the region of interest is present as a result of the judgment; and a region of interest risk judgment module that determines whether the tracking object poses a region of interest risk if the tracking object poses a region of interest using the tracking object recognized in real time by the tracking object AI recognition module and the depth of the tracking object recognized in real time by the tracking object AI depth recognition module.
한편, 상기 위험 알람 모듈은, 상기 거리 위험 판단 모듈의 판단 결과 상기 추적 물체가 거리 위험이 있는 것으로 판단되는 경우, 1차 위험 알람을 생성하고, 상기 관심영역 위험 판단 모듈의 판단 결과 상기 추적 물체가 관심영역 위험이 있는 것으로 판단되는 경우, 2차 위험 알람을 생성하도록 구성될 수 있다.Meanwhile, the risk alarm module may be configured to generate a first risk alarm if the distance risk judgment module determines that the tracked object is a distance risk, and to generate a second risk alarm if the interest region risk judgment module determines that the tracked object is a region of interest risk.
그리고 상기 AI 관심영역 감시 서버는, 상기 추적 물체가 없는 상태에서 상기 RGB 카메라 모듈에서 실시간 생성된 RGB 영상 및 상기 영상 대비 모듈의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 깊이 정보를 포함하는 배경 이미지를 학습하고 생성하는 배경 이미지 AI 학습 모듈; 상기 배경 이미지 AI 학습 모듈에서 학습되어 생성된 배경 이미지가 저장되는 배경 이미지 데이터베이스를 더 포함하도록 구성될 수 있다.And the AI interest region surveillance server may be configured to further include a background image AI learning module that learns and generates a background image including depth information using an AI algorithm based on an RGB image generated in real time from the RGB camera module in a state where there is no tracking object and a real-time contrast result of the image contrast module; and a background image database in which the background image learned and generated by the background image AI learning module is stored.
그리고 상기 AI 관심영역 감시 서버는, 상기 배경 이미지 데이터베이스에 저장된 배경 이미지 상에 깊이 정보를 포함하는 3차원의 관심영역을 설정하는 관심영역 설정 모듈을 더 포함하도록 구성될 수 있다.In addition, the AI region of interest monitoring server may be configured to further include a region of interest setting module that sets a three-dimensional region of interest including depth information on a background image stored in the background image database.
상술한 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템에 의하면, CCTV 영상을 깊이 이미지 정보를 이용하여 분석하여 추적 물체가 CCTV 영상 내의 관심영역 내에 존재하는지 여부를 3차원적으로 파악할 수 있도록 구성됨으로써, CCTV 영상을 이용한 관심영역 내의 추적 물체 파악의 오류를 방지하고 정확한 감시와 모니터링을 할 수 있는 효과가 있다.According to the distance information extraction method described above and the system for determining whether or not a tracking object exists within the region of interest using AI, the CCTV video is analyzed using depth image information to three-dimensionally determine whether a tracking object exists within the region of interest within the CCTV video, thereby preventing errors in identifying tracking objects within the region of interest using the CCTV video and enabling accurate surveillance and monitoring.
도 1은 관심영역 설정을 나타내는 화면 예시도이다.
도 2는 관심영역 내 추적 물체를 정상적으로 감지한 상태를 나타내는 화면 예시도이다.
도 3은 관심영역 내 추적 물체를 비정상적으로 감지한 상태를 나타내는 화면 예시도이다.
도 4는 본 발명의 일 실시예에 따른 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템의 블록 구성도이다.
도 5는 종래 기술에 따른 관심영역 내 추적 물체의 비정상적 감지 영상 및 본 발명에 따른 관심영역 내 추적 물체의 정상적 감지 영상을 대비한 예시도이다.Figure 1 is an example screen showing the setting of the area of interest.
Figure 2 is an example screen showing a state in which a tracking object within an area of interest is normally detected.
Figure 3 is an example screen showing a state in which a tracking object within an area of interest is abnormally detected.
FIG. 4 is a block diagram of a distance information extraction method and a system for determining the presence or absence of a tracking object in a region of interest using AI according to one embodiment of the present invention.
FIG. 5 is an exemplary diagram comparing an abnormal detection image of a tracking object in a region of interest according to a prior art and a normal detection image of a tracking object in a region of interest according to the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 발명을 실시하기 위한 구체적인 내용에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.The present invention can have various modifications and various embodiments, and specific embodiments are illustrated in the drawings and the specific contents for carrying out the invention are described in detail. However, this is not intended to limit the present invention to specific embodiments, but should be understood to include all modifications, equivalents, or substitutes included in the spirit and technical scope of the present invention. In describing each drawing, similar reference numerals are used for similar components.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, A, B, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and/or includes any combination of a plurality of related described items or any item among a plurality of related described items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When it is said that a component is "connected" or "connected" to another component, it should be understood that it may be directly connected or connected to that other component, but that there may be other components in between. On the other hand, when it is said that a component is "directly connected" or "directly connected" to another component, it should be understood that there are no other components in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is only used to describe specific embodiments and is not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly indicates otherwise. In this application, it should be understood that the terms "comprises" or "has" and the like are intended to specify the presence of a feature, number, step, operation, component, part or combination thereof described in the specification, but do not exclude in advance the possibility of the presence or addition of one or more other features, numbers, steps, operations, components, parts or combinations thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms defined in commonly used dictionaries, such as those defined in common dictionaries, should be interpreted as having a meaning consistent with the meaning they have in the context of the relevant art, and will not be interpreted in an idealized or overly formal sense unless expressly defined in this application.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the attached drawings.
도 4는 본 발명의 일 실시예에 따른 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템의 블록 구성도이고, 도 5는 종래 기술에 따른 관심영역 내 추적 물체의 비정상적 감지 영상 및 본 발명에 따른 관심영역 내 추적 물체의 정상적 감지 영상을 대비한 예시도이다.FIG. 4 is a block diagram of a distance information extraction method and a system for determining the presence or absence of a tracking object in a region of interest using AI according to one embodiment of the present invention, and FIG. 5 is an exemplary diagram comparing an abnormal detection image of a tracking object in a region of interest according to a conventional technique and a normal detection image of a tracking object in a region of interest according to the present invention.
도 4를 참조하면, 본 발명의 일 실시예에 따른 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템은 CCTV 카메라 장치(100), AI 관심영역 감시 서버(200), 관리자 단말(300)을 포함하도록 구성될 수 있다.Referring to FIG. 4, a distance information extraction method according to one embodiment of the present invention and a system for determining the presence or absence of a tracking object in a region of interest using AI may be configured to include a CCTV camera device (100), an AI region of interest monitoring server (200), and an administrator terminal (300).
이하, 세부적인 구성에 대하여 설명한다.Below, the detailed configuration is explained.
CCTV 카메라 장치(100)는 관심영역을 포함하는 CCTV 영상을 실시간 생성하여 송신하도록 구성될 수 있다. 여기서, 관심영역은 도 1에서와 같이 CCTV 영상 내의 특정 3차원 공간으로 설정될 수 있다.The CCTV camera device (100) can be configured to generate and transmit a CCTV image including a region of interest in real time. Here, the region of interest can be set as a specific three-dimensional space within the CCTV image as in FIG. 1.
CCTV 카메라 장치(100)는 RGB 카메라 모듈(110), 제1 카메라 모듈(120), 제2 카메라 모듈(130)을 포함하도록 구성될 수 있다.The CCTV camera device (100) may be configured to include an RGB camera module (110), a first camera module (120), and a second camera module (130).
이하, 세부적인 구성에 대하여 설명한다.Below, the detailed configuration is explained.
RGB 카메라 모듈(110)은 RGB 영상을 실시간 생성하도록 구성될 수 있다. RGB 영상은 추적 객체를 감지하고 인식하는 데 이용될 수 있으며, 추적 객체는 RGB 영상과 배경 이미지의 대비를 통해 인식될 수 있다.The RGB camera module (110) can be configured to generate RGB images in real time. The RGB images can be used to detect and recognize a tracking object, and the tracking object can be recognized through the contrast between the RGB images and a background image.
제1 카메라 모듈(120)은 제1 영상을 실시간 생성하도록 구성될 수 있다.The first camera module (120) can be configured to generate the first image in real time.
제2 카메라 모듈(130)은 제2 영상을 실시간 생성하도록 구성될 수 있다.The second camera module (130) can be configured to generate a second image in real time.
제1 카메라 모듈(120)과 제2 카메라 모듈(130)은 좌우로 나란히 일정 간격을 두고 배치될 수 있으며, RGB 카메라 모듈(110)은 제1 카메라 모듈(120)과 제2 카메라 모듈(130)의 중간에 배치될 수 있다.The first camera module (120) and the second camera module (130) can be arranged side by side with a certain interval between them on the left and right, and the RGB camera module (110) can be arranged in the middle of the first camera module (120) and the second camera module (130).
AI 관심영역 감시 서버(200)는 CCTV 카메라 장치(100)로부터 CCTV 영상을 수신하고, 수신된 CCTV 영상에서 관심영역 내에 추적 물체의 유무를 판단하고, 판단 결과 관심영역 내에 추적 물체가 존재하는 경우 위험 알람을 생성하여 관리자 단말(300)로 실시간 송신하도록 구성될 수 있다.The AI interest region surveillance server (200) can be configured to receive CCTV images from a CCTV camera device (100), determine whether there is a tracking object within the area of interest in the received CCTV images, and if the determination result indicates that there is a tracking object within the area of interest, generate a danger alarm and transmit the alarm to the administrator terminal (300) in real time.
AI 관심영역 감시 서버(200)는 추적 물체 AI 인식 모듈(210), 영상 대비 모듈(220), 추적 물체 AI 깊이 인식 모듈(230), 위험 판단 모듈(240), 위험 알람 모듈(250), 배경 이미지 AI 학습 모듈(260), 배경 깊이 이미지 데이터베이스(270), 관심영역 설정 모듈(280)을 포함하도록 구성될 수 있다.The AI region of interest monitoring server (200) may be configured to include a tracking object AI recognition module (210), an image contrast module (220), a tracking object AI depth recognition module (230), a risk judgment module (240), a risk alarm module (250), a background image AI learning module (260), a background depth image database (270), and a region of interest setting module (280).
이하, 세부적인 구성에 대하여 설명한다.Below, the detailed configuration is explained.
추적 물체 AI 인식 모듈(210)은 RGB 카메라 모듈(110)에서 실시간 생성되는 RGB 영상에서 AI 알고리즘을 이용하여 추적 물체를 포착하여 실시간 인식하도록 구성될 수 있다.The tracking object AI recognition module (210) can be configured to capture and recognize a tracking object in real time using an AI algorithm from an RGB image generated in real time from an RGB camera module (110).
영상 대비 모듈(220)은 제1 카메라 모듈(120)에서 실시간 생성된 제1 영상 및 제2 카메라 모듈(130)에서 실시간 생성된 제2 영상을 동기화하여 실시간 대비하도록 구성될 수 있다.The image contrast module (220) can be configured to synchronize and contrast a first image generated in real time from a first camera module (120) and a second image generated in real time from a second camera module (130).
추적 물체 AI 깊이 인식 모듈(230)은 영상 대비 모듈(220)의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 추적 물체 AI 인식 모듈(210)에서 실시간 인식되는 추적 물체의 깊이를 실시간 인식하도록 구성될 수 있다.The tracking object AI depth recognition module (230) can be configured to recognize the depth of the tracking object recognized in real time by the tracking object AI recognition module (210) using an AI algorithm based on the real-time contrast result of the image contrast module (220).
구체적으로는 제1 카메라 모듈(120) 및 제2 카메라 모듈(130)의 좌우 배치 간격 및 각도에 대한 기하학적 정보를 계산하고, 그 정보를 이용하여 제1 영상 및 제2 영상을 하나의 카메라에서 촬영한 것처럼 사용하여 깊이 영상(depth image)을 획득하도록 구성될 수 있다.Specifically, it can be configured to calculate geometric information about the left-right arrangement interval and angle of the first camera module (120) and the second camera module (130), and use the information to obtain a depth image by using the first image and the second image as if they were taken by a single camera.
깊이 영상에서는 제1 영상의 점과 이에 대응되는 제2 영상의 점이 얼마나 차이(disparity)가 나는지 파악할 수 있으며, 카메라로부터 가까이 있는 물체는 그 차이가 크고 카메라로부터 멀리 있는 물체는 그 차이가 적게 나타난다. 이러한 대응점 차이를 통해 물체의 거리를 파악할 수 있게 된다.In depth images, you can determine how much difference (disparity) there is between a point in the first image and the corresponding point in the second image. Objects closer to the camera have a larger disparity, and objects farther from the camera have a smaller disparity. Through this difference in corresponding points, you can determine the distance to the object.
즉, 추적 물체 AI 깊이 인식 모듈(230)은 CCTV 영상 내의 각 객체의 깊이 정보를 생성할 수 있으며, 이를 통해 CCTV 카메라 장치(100)와 CCTV 영상 내의 각 객체까지의 거리를 알 수 있다.That is, the tracking object AI depth recognition module (230) can generate depth information for each object in the CCTV image, and through this, the distance between the CCTV camera device (100) and each object in the CCTV image can be known.
위험 판단 모듈(240)은 추적 물체 AI 인식 모듈(210)에서 실시간 인식된 추적 물체 및 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이를 이용하여 추적 물체가 관심영역 내에 존재하는지 여부를 실시간 판단하도록 구성될 수 있다. 관심영역 역시 3차원 공간으로 설정되기 때문에 추적 물체의 깊이 정보를 통해 추적 물체가 관심영역의 3차원 공간 내에 존재하는지를 알 수 있다.The risk judgment module (240) can be configured to determine in real time whether the tracking object exists within the region of interest by using the tracking object recognized in real time by the tracking object AI recognition module (210) and the depth of the tracking object recognized in real time by the tracking object AI depth recognition module (230). Since the region of interest is also set as a three-dimensional space, it is possible to determine whether the tracking object exists within the three-dimensional space of the region of interest through the depth information of the tracking object.
도 5의 (A-1) 내지 (A-4)는 모두 종래 방식에 따라 여부를 판단하는 화면이다. 도 5의 (A-1) 내지 (A-4)는 추적 객체(사람)가 모두 관심영역에 걸쳐 있기 때문에 추적 객체가 실제로 관심영역의 공간에 존재하지 않음에도 불구하고 관심영역 내에 있는 것으로 오판하게 된다.(A-1) to (A-4) of Fig. 5 are all screens for determining whether or not to do so according to the conventional method. In Fig. 5 (A-1) to (A-4), since the tracking object (person) is all over the region of interest, the tracking object is mistakenly judged to be within the region of interest even though it does not actually exist in the space of the region of interest.
반면, 도 5의 (B-1) 내지 (B-4)는 본 발명에 따른 예로서, 추적 객체(사람)가 모두 관심영역에 걸쳐 있지만, 실제로는 추적 객체가 관심영역의 공간에 존재하지 않기 때문에 관심영역 위험이 아닌 것으로 판단하게 된다.On the other hand, (B-1) to (B-4) of FIG. 5 are examples according to the present invention, in which the tracked object (person) is all over the region of interest, but in reality, the tracked object does not exist in the space of the region of interest, so it is determined that there is no risk in the region of interest.
위험 판단 모듈(240)은 거리 위험 판단 모듈(241), 관심영역 위험 판단 모듈(242)을 포함하도록 구성될 수 있다.The risk assessment module (240) may be configured to include a distance risk assessment module (241) and an area of interest risk assessment module (242).
이하, 세부적인 구성에 대하여 설명한다.Below, the detailed configuration is explained.
거리 위험 판단 모듈(241)은 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이가 관심영역의 깊이 범위 내에 존재하는지 판단하고, 판단 결과 관심영역의 깊이 범위 내에 존재하는 경우 추적 물체가 거리 위험이 있는 것으로 판단하도록 구성될 수 있다. 다시 말하면, 거리 위험 판단 모듈(241)은 관심영역까지의 거리가 5 내지 7 미터인 경우, 추적 물체가 5 내지 7 미터의 범위 내의 거리에 존재한다면, 추적 물체에 거리 위험이 있다고 판단할 수 있다. 이러한 거리 위험은 1차위험으로 설정될 수 있다.The distance risk judgment module (241) may be configured to determine whether the depth of the tracked object recognized in real time by the tracked object AI depth recognition module (230) exists within the depth range of the region of interest, and determine that the tracked object has a distance risk if it exists within the depth range of the region of interest as a result of the judgment. In other words, the distance risk judgment module (241) may determine that the tracked object has a distance risk if the distance to the region of interest is 5 to 7 meters and the tracked object exists within a distance of 5 to 7 meters. This distance risk may be set as a primary risk.
관심영역 위험 판단 모듈(242)은 추적 물체 AI 인식 모듈(210)에서 실시간 인식된 추적 물체 및 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이를 이용하여 추적 물체가 관심영역 내에 존재하는지 판단하도록 구성될 수 있다.The region of interest risk judgment module (242) can be configured to determine whether a tracking object exists within the region of interest by using the tracking object recognized in real time by the tracking object AI recognition module (210) and the depth of the tracking object recognized in real time by the tracking object AI depth recognition module (230).
판단 결과 관심영역 내에 존재하는 경우, 관심영역 위험 판단 모듈(242)은 추적 물체가 관심영역 위험이 있는 것으로 판단하도록 구성될 수 있다. 여기서, 관심영역은 2차위험으로 설정될 수 있다.If the judgment result is that the tracked object exists within the region of interest, the region of interest risk judgment module (242) may be configured to determine that the tracked object is a region of interest risk. Here, the region of interest may be set as a secondary risk.
위험 알람 모듈(250)은 위험 판단 모듈(240)의 실시간 판단 결과 추적 물체가 관심영역 내에 존재한다고 판단되는 경우, 위험 알람을 실시간 생성하여 관리자 단말(300)로 송신하도록 구성될 수 있다.The risk alarm module (250) can be configured to generate a risk alarm in real time and transmit it to the administrator terminal (300) when the real-time judgment result of the risk judgment module (240) determines that a tracking object exists within the area of interest.
위험 알람 모듈(250)은 거리 위험 판단 모듈(241)의 판단 결과 추적 물체가 거리 위험이 있는 것으로 판단되는 경우, 1차 위험 알람을 생성하여 송신하고, 관심영역 위험 판단 모듈(242)의 판단 결과 추적 물체가 관심영역 위험이 있는 것으로 판단되는 경우, 2차 위험 알람을 생성하여 송신하도록 구성될 수 있다.The risk alarm module (250) may be configured to generate and transmit a first risk alarm when the distance risk judgment module (241) determines that the tracked object is a distance risk, and to generate and transmit a second risk alarm when the area of interest risk judgment module (242) determines that the tracked object is a area of interest risk.
배경 이미지 AI 학습 모듈(260)은 추적 물체가 없는 상태에서 RGB 카메라 모듈(110)에서 실시간 생성된 RGB 영상 및 영상 대비 모듈(220)의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 깊이 정보를 포함하는 배경 이미지를 학습하고 생성하도록 구성될 수 있다. 즉, 배경 이미지 AI 학습 모듈(260)은 각 배경 객체의 형상, 색상 그리고 거리 정보를 학습하여 배경 이미지를 학습하고 생성할 수 있다. 배경 이미지는 CCTV 카메라 장치(100)의 각도가 변경되더라도 이러한 학습을 통해 바로 생성될 수 있다.The background image AI learning module (260) can be configured to learn and generate a background image including depth information using an AI algorithm based on an RGB image generated in real time by the RGB camera module (110) and a real-time contrast result of the image contrast module (220) in a state where there is no tracking object. That is, the background image AI learning module (260) can learn and generate a background image by learning the shape, color, and distance information of each background object. The background image can be generated immediately through such learning even if the angle of the CCTV camera device (100) is changed.
배경 깊이 이미지 데이터베이스(270)는 배경 이미지 AI 학습 모듈(260)에서 학습되어 생성된 배경 이미지가 저장되도록 구성될 수 있다.The background depth image database (270) can be configured to store background images generated by learning from the background image AI learning module (260).
관심영역 설정 모듈(280)은 배경 이미지 데이터베이스(270)에 저장된 배경 이미지 상에 깊이 정보를 포함하는 3차원의 관심영역을 설정하도록 구성될 수 있다.The region of interest setting module (280) can be configured to set a three-dimensional region of interest including depth information on a background image stored in a background image database (270).
관리자 단말(300)은 AI 관심영역 감시 서버(200)로부터 위험 알람을 실시간 수신하여 출력하도록 구성될 수 있다.The administrator terminal (300) can be configured to receive and output a risk alarm in real time from the AI area of interest monitoring server (200).
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the present invention has been described with reference to the above embodiments, it will be understood by those skilled in the art that various modifications and changes can be made to the present invention without departing from the spirit and scope of the present invention as set forth in the claims below.
100: CCTV 카메라 장치 110: RGB 카메라 모듈
120: 제1 카메라 모듈 130: 제2 카메라 모듈
200: AI 관심영역 감시 서버 210: 추적 물체 AI 인식 모듈
220: 영상 대비 모듈 230: 추적 물체 AI 깊이 인식 모듈
240: 위험 판단 모듈 241: 거리 위험 판단 모듈
242: 관심영역 위험 판단 모듈 250: 위험 알람 모듈
260: 배경 이미지 AI 학습 모듈 270: 배경 깊이 이미지 데이터베이스
280: 관심영역 설정 모듈 300: 관리자 단말100: CCTV Camera Device 110: RGB Camera Module
120: First camera module 130: Second camera module
200: AI interest area surveillance server 210: Tracking object AI recognition module
220: Image contrast module 230: Tracking object AI depth recognition module
240: Risk Assessment Module 241: Street Risk Assessment Module
242: Area of Interest Risk Determination Module 250: Risk Alarm Module
260: Background Image AI Learning Module 270: Background Depth Image Database
280: Area of Interest Setting Module 300: Administrator Terminal
Claims (8)
상기 CCTV 카메라 장치(100)로부터 CCTV 영상을 수신하고, 수신된 CCTV 영상에서 상기 관심영역 내에 추적 물체의 유무를 판단하고, 판단 결과 상기 관심영역 내에 추적 물체가 존재하는 경우 위험 알람을 생성하여 실시간 송신하는 AI 관심영역 감시 서버(200);
상기 AI 관심영역 감시 서버(200)로부터 위험 알람을 실시간 수신하여 출력하는 관리자 단말(300)을 포함하고,
상기 CCTV 카메라 장치(100)는,
RGB 영상을 실시간 생성하는 RGB 카메라 모듈(110);
제1 영상을 실시간 생성하는 제1 카메라 모듈(120);
제2 영상을 실시간 생성하는 제2 카메라 모듈(130)을 포함하며,
상기 AI 관심영역 감시 서버(200)는,
상기 RGB 카메라 모듈(110)에서 실시간 생성되는 RGB 영상에서 AI 알고리즘을 이용하여 추적 물체를 포착하여 실시간 인식하는 추적 물체 AI 인식 모듈(210);
상기 제1 카메라 모듈(120)에서 실시간 생성된 제1 영상 및 상기 제2 카메라 모듈(130)에서 실시간 생성된 제2 영상을 동기화하여 실시간 대비하는 영상 대비 모듈(220);
상기 영상 대비 모듈(220)의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 상기 추적 물체 AI 인식 모듈(210)에서 실시간 인식되는 추적 물체의 깊이를 실시간 인식하는 추적 물체 AI 깊이 인식 모듈(230)을 포함하고,
상기 AI 관심영역 감시 서버(200)는,
상기 추적 물체 AI 인식 모듈(210)에서 실시간 인식된 추적 물체 및 상기 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이를 이용하여 상기 추적 물체가 상기 관심영역 내에 존재하는지 여부를 실시간 판단하는 위험 판단 모듈(240);
상기 위험 판단 모듈(240)의 실시간 판단 결과 상기 추적 물체가 상기 관심영역 내에 존재한다고 판단되는 경우, 상기 위험 알람을 실시간 생성하여 상기 관리자 단말(300)로 송신하는 위험 알람 모듈(250)을 더 포함하며,
상기 위험 판단 모듈(240)은,
상기 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이가 상기 관심영역의 깊이 범위 내에 존재하는지 판단하고, 판단 결과 상기 관심영역의 깊이 범위 내에 존재하는 경우 상기 추적 물체가 거리 위험이 있는 것으로 판단하는 거리 위험 판단 모듈(241);
상기 추적 물체 AI 인식 모듈(210)에서 실시간 인식된 추적 물체 및 상기 추적 물체 AI 깊이 인식 모듈(230)에서 실시간 인식된 추적 물체의 깊이를 이용하여 상기 추적 물체가 상기 관심영역 내에 존재하는지 판단하고, 판단 결과 상기 관심영역 내에 존재하는 경우 상기 추적 물체가 관심영역 위험이 있는 것으로 판단하는 관심영역 위험 판단 모듈(242)을 더 포함하며,
상기 위험 알람 모듈(250)은,
상기 거리 위험 판단 모듈(241)의 판단 결과 상기 추적 물체가 거리 위험이 있는 것으로 판단되는 경우, 1차 위험 알람을 생성하고, 상기 관심영역 위험 판단 모듈(242)의 판단 결과 상기 추적 물체가 관심영역 위험이 있는 것으로 판단되는 경우, 2차 위험 알람을 생성하도록 구성되며,
상기 AI 관심영역 감시 서버(200)는,
상기 추적 물체가 없는 상태에서 상기 RGB 카메라 모듈(110)에서 실시간 생성된 RGB 영상 및 상기 영상 대비 모듈(220)의 실시간 대비 결과를 기반으로 AI 알고리즘을 이용하여 깊이 정보를 포함하는 배경 이미지를 학습하고 생성하는 배경 이미지 AI 학습 모듈(260);
상기 배경 이미지 AI 학습 모듈(260)에서 학습되어 생성된 배경 이미지가 저장되는 배경 이미지 데이터베이스(270)를 더 포함하고,
상기 AI 관심영역 감시 서버(200)는,
상기 배경 이미지 데이터베이스(270)에 저장된 배경 이미지 상에 깊이 정보를 포함하는 3차원의 관심영역을 설정하는 관심영역 설정 모듈(280)을 더 포함하며,
상기 AI 관심영역 감시 서버(200)는 RGB 영상과 배경 이미지의 대비를 통해 추적 객체를 인식하고,
상기 제1 카메라 모듈(120)과 제2 카메라 모듈(130)은 좌우로 나란히 일정 간격을 두고 배치되며,
상기 RGB 카메라 모듈(110)은 제1 카메라 모듈(120)과 제2 카메라 모듈(130)의 중간에 배치되고,
상기 추적 물체 AI 깊이 인식 모듈(230)은 제1 카메라 모듈(120) 및 제2 카메라 모듈(130)의 좌우 배치 간격 및 각도 정보를 이용하여 제1 영상 및 제2 영상으로부터 깊이 영상(depth image)을 획득하도록 구성되는 것을 특징으로 하는 거리 정보 추출 방식과 AI를 활용한 관심영역 내 추적 물체 유무 판단 시스템.A CCTV camera device (100) that generates and transmits CCTV images including an area of interest in real time;
An AI region of interest monitoring server (200) that receives CCTV images from the CCTV camera device (100), determines whether there is a tracking object within the region of interest in the received CCTV images, and if the determination result shows that there is a tracking object within the region of interest, generates a danger alarm and transmits it in real time;
Includes an administrator terminal (300) that receives and outputs a risk alarm in real time from the AI interest area monitoring server (200).
The above CCTV camera device (100) is,
RGB camera module (110) that generates RGB images in real time;
A first camera module (120) that generates a first image in real time;
It includes a second camera module (130) that generates a second image in real time,
The above AI interest area monitoring server (200) is
A tracking object AI recognition module (210) that captures and recognizes a tracking object in real time using an AI algorithm from an RGB image generated in real time from the RGB camera module (110);
An image contrast module (220) that synchronizes and contrasts a first image generated in real time from the first camera module (120) and a second image generated in real time from the second camera module (130);
It includes a tracking object AI depth recognition module (230) that recognizes the depth of a tracking object recognized in real time by the tracking object AI recognition module (210) in real time using an AI algorithm based on the real-time contrast result of the image contrast module (220).
The above AI interest area monitoring server (200) is
A risk judgment module (240) that determines in real time whether the tracking object exists within the region of interest by using the tracking object recognized in real time by the tracking object AI recognition module (210) and the depth of the tracking object recognized in real time by the tracking object AI depth recognition module (230);
If the real-time judgment result of the above risk judgment module (240) determines that the tracking object exists within the area of interest, it further includes a risk alarm module (250) that generates the risk alarm in real time and transmits it to the administrator terminal (300).
The above risk judgment module (240) is
A distance risk judgment module (241) that determines whether the depth of the tracked object recognized in real time by the tracked object AI depth recognition module (230) exists within the depth range of the region of interest, and if the result of the judgment determines that the tracked object exists within the depth range of the region of interest, determines that the tracked object is a distance risk;
It further includes an area of interest risk determination module (242) that determines whether the tracking object exists within the area of interest by using the tracking object recognized in real time by the tracking object AI recognition module (210) and the depth of the tracking object recognized in real time by the tracking object AI depth recognition module (230), and if the determination result shows that the tracking object exists within the area of interest, determines that the tracking object poses a risk within the area of interest.
The above risk alarm module (250) is
If the above-mentioned distance risk judgment module (241) determines that the tracked object is a distance risk, a first risk alarm is generated, and if the above-mentioned area of interest risk judgment module (242) determines that the tracked object is a region of interest risk, a second risk alarm is generated.
The above AI interest area monitoring server (200) is
A background image AI learning module (260) that learns and generates a background image including depth information using an AI algorithm based on an RGB image generated in real time from the RGB camera module (110) in the absence of the tracking object and a real-time contrast result of the image contrast module (220);
It further includes a background image database (270) in which background images generated by learning from the above background image AI learning module (260) are stored,
The above AI interest area monitoring server (200) is
It further includes an area of interest setting module (280) that sets a three-dimensional area of interest including depth information on a background image stored in the background image database (270).
The above AI interest area monitoring server (200) recognizes the tracking object through the contrast between the RGB image and the background image,
The above first camera module (120) and second camera module (130) are arranged side by side with a certain interval on the left and right.
The above RGB camera module (110) is placed between the first camera module (120) and the second camera module (130),
The above tracking object AI depth recognition module (230) is configured to obtain a depth image from the first image and the second image using the left and right arrangement interval and angle information of the first camera module (120) and the second camera module (130), and is characterized by a distance information extraction method and a system for determining the presence or absence of a tracking object in a region of interest using AI.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220096923A KR102748503B1 (en) | 2022-08-03 | 2022-08-03 | System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220096923A KR102748503B1 (en) | 2022-08-03 | 2022-08-03 | System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20240018945A KR20240018945A (en) | 2024-02-14 |
| KR102748503B1 true KR102748503B1 (en) | 2024-12-31 |
Family
ID=89896479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220096923A KR102748503B1 (en) | 2022-08-03 | 2022-08-03 | System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102748503B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118413561B (en) * | 2024-07-02 | 2024-09-20 | 舟山中远海运重工有限公司 | Unmanned aerial vehicle inspection system based on deep intelligent learning algorithm |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010064821A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Elevator Co Ltd | Escalator monitoring system |
| JP2011185664A (en) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | Object detector |
| KR102141395B1 (en) * | 2020-03-02 | 2020-08-05 | (주)모백스 | Step by step safety management system of conveyor system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101360244B1 (en) | 2013-03-09 | 2014-02-21 | 차보영 | Monitoring system for moving things using cctv fluoroscopy |
| KR101940718B1 (en) * | 2015-09-04 | 2019-01-22 | 한국전자통신연구원 | Apparatus and method for extracting person domain based on RGB-Depth image |
| KR101764135B1 (en) | 2016-04-07 | 2017-08-14 | 채령 | The wireless self-governing community communication net system and its way to build by CCTV Intranet |
| KR20180081645A (en) * | 2017-01-06 | 2018-07-17 | 한양대학교 에리카산학협력단 | Embedded vision system for real-time detection of safety anomaly in subway screen door and method thereof |
-
2022
- 2022-08-03 KR KR1020220096923A patent/KR102748503B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010064821A (en) * | 2008-09-09 | 2010-03-25 | Toshiba Elevator Co Ltd | Escalator monitoring system |
| JP2011185664A (en) * | 2010-03-05 | 2011-09-22 | Panasonic Electric Works Co Ltd | Object detector |
| KR102141395B1 (en) * | 2020-03-02 | 2020-08-05 | (주)모백스 | Step by step safety management system of conveyor system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20240018945A (en) | 2024-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7583815B2 (en) | Wide-area site-based video surveillance system | |
| CN105335955B (en) | Method for checking object and object test equipment | |
| KR101910542B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
| US7218757B2 (en) | Method and device for detecting obstruction in image sensor systems | |
| KR102247359B1 (en) | Image analysis system and method for remote monitoring | |
| KR102002812B1 (en) | Image Analysis Method and Server Apparatus for Detecting Object | |
| KR101804358B1 (en) | Equipment monitoring system using image analysis | |
| US7769227B2 (en) | Object detector | |
| Lu et al. | Robustness to lighting variations: An RGB-D indoor visual odometry using line segments | |
| KR20150142475A (en) | Apparatus for obstacle detection and method thereof | |
| KR102748503B1 (en) | System of determining the presence or absence of a tracking object in the region of interest using the distance information extraction and artificial intelligence method | |
| KR20210013865A (en) | Abnormal behavior detection system and method using generative adversarial network | |
| CN112257617B (en) | Multi-modal target recognition method and system | |
| RU2363018C1 (en) | Method of selecting objects on remote background | |
| KR20220162351A (en) | Intelligent CCTV And Surveillance System Using It | |
| KR102090739B1 (en) | Intellegent moving monitoring system and the method thereof using video region grid multidivision for video image similarity-analysis | |
| Chowdhury et al. | Robust human detection and localization in security applications | |
| Sujatha et al. | Video tampering detection using difference-hashing algorithm | |
| KR102046591B1 (en) | Image Monitoring System and Method for Monitoring Image | |
| Privman-Horesh et al. | Forgery detection in 3D-sensor images | |
| KR101719127B1 (en) | Apparatus for obstacle detection and method thereof | |
| KR101465314B1 (en) | On-line managing and maintenance system for remote monitoring system | |
| Lee et al. | Fire detection using color and motion models | |
| KR101482646B1 (en) | Intelligent security system linking with smart device | |
| JP2008146132A (en) | Image detection device, program, and image detection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20220803 |
|
| PA0201 | Request for examination | ||
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240708 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20241226 |
|
| PG1601 | Publication of registration |