KR20240061109A

KR20240061109A - Electronic device providing service using edge computing and operating method thereof

Info

Publication number: KR20240061109A
Application number: KR1020220142381A
Authority: KR
Inventors: 김용범
Original assignee: 김용범
Priority date: 2022-10-31
Filing date: 2022-10-31
Publication date: 2024-05-08
Also published as: WO2024096463A1

Abstract

매장 관리 서비스를 제공하는 전자 장치의 동작 방법에 있어서, 카메라를 통해 매장의 내부를 촬영하여 모니터링 영상을 획득하는 단계; 상기 모니터링 영상 및 이상 행동 검출 모델에 기초하여, 방문자의 이상 행동이 포함된 이상 영상을 검출하는 단계; 상기 이상 영상을 상기 매장의 관리자의 전자 장치로 전송하는 단계; 및 상기 이상 영상이 검출됨에 따라, 상기 매장 내에서 경고 정보를 출력하는 단계를 포함할 수 있다.A method of operating an electronic device that provides a store management service, comprising: acquiring a monitoring image by photographing the interior of a store using a camera; Detecting an abnormal video containing abnormal behavior of a visitor based on the monitoring image and the abnormal behavior detection model; transmitting the abnormal video to an electronic device of the store manager; And when the abnormal image is detected, it may include outputting warning information within the store.

Description

Electronic device providing services using edge computing and its operating method {ELECTRONIC DEVICE PROVIDING SERVICE USING EDGE COMPUTING AND OPERATING METHOD THEREOF}

엣지 컴퓨팅을 이용한 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법에 관한 것이다.This relates to electronic devices that provide services using edge computing and methods of operating the electronic devices.

엣지 컴퓨팅은 중앙 집중 서버가 아닌 분산된 소형 서버를 통해 실시간으로 데이터를 처리하는 기술이다. 엣지 컴퓨팅은, 중앙 서버가 모든 데이터를 처리하는 클라우드 컴퓨팅과 달리 네트워크 가장 자리에서 데이터를 처리하는 것을 의미할 수 있다.Edge computing is a technology that processes data in real time through small distributed servers rather than centralized servers. Edge computing can mean processing data at the edge of the network, unlike cloud computing where a central server processes all data.

이러한 엣지 컴퓨팅은 실시간으로 대응해야 하는 자율 주행, 스마트 팩토리 등 다양한 기술 분야에 적용되고 있다.Such edge computing is being applied to various technological fields such as autonomous driving and smart factories that require real-time response.

매장 내부를 실시간으로 모니터링 함으로써, 방문자의 이상 행동을 실시간으로 검출하고자 한다.By monitoring the inside of the store in real time, we want to detect abnormal behavior of visitors in real time.

매장 내에 설치된 전자 장치를 통해 이상 행동을 하는 방문자를 신속하게 검출하고자 한다.We want to quickly detect visitors behaving abnormally through electronic devices installed within the store.

일측에 따르면, 카메라를 통해 매장의 내부를 촬영하여 모니터링 영상을 획득하는 단계; 상기 모니터링 영상 및 이상 행동 검출 모델에 기초하여, 방문자의 이상 행동이 포함된 이상 영상을 검출하는 단계; 상기 이상 영상을 상기 매장의 관리자의 전자 장치로 전송하는 단계; 및 상기 이상 영상이 검출됨에 따라, 상기 매장 내에서 경고 정보를 출력하는 단계를 포함하는, 전자 장치의 동작 방법이 제공된다.According to one side, obtaining a monitoring image by photographing the interior of the store through a camera; Detecting an abnormal video containing abnormal behavior of a visitor based on the monitoring image and the abnormal behavior detection model; transmitting the abnormal video to an electronic device of the store manager; and outputting warning information within the store as the abnormal image is detected.

다른 일측에 따르면, 카메라; 통신 장치; 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 상기 프로세서는, 상기 명령어들을 실행함으로써, 카메라를 통해 매장의 내부를 촬영하여 모니터링 영상을 획득하고, 상기 모니터링 영상 및 이상 행동 검출 모델에 기초하여, 방문자의 이상 행동이 포함된 이상 영상을 검출하고, 상기 이상 영상을 상기 매장의 관리자의 전자 장치로 전송하고, 상기 이상 영상이 검출됨에 따라, 상기 매장 내에서 경고 정보를 출력하는, 전자 장치가 제공된다.According to one side, the camera; communication device; processor; and a memory storing instructions executable by the processor, wherein the processor, by executing the instructions, acquires a monitoring image by photographing the interior of the store through a camera, and uses the monitoring image and an abnormal behavior detection model to Based on this, an electronic device detects an abnormal image containing abnormal behavior of a visitor, transmits the abnormal image to the electronic device of the manager of the store, and outputs warning information within the store as the abnormal image is detected. A device is provided.

매장 내부를 실시간으로 모니터링 함으로써, 방문자의 이상 행동을 실시간으로 검출할 수 있다.By monitoring the inside of the store in real time, abnormal behavior of visitors can be detected in real time.

매장 내에 설치된 전자 장치를 통해 이상 행동을 하는 방문자를 신속하게 검출할 수 있다.Electronic devices installed within the store can quickly detect visitors behaving abnormally.

본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 일실시예에 따라, 매장 내 전자 장치를 이용하여 매장을 방문한 방문자의 행동을 모니터링 하고, 이상 행동을 검출하는 동작을 설명하기 위한 개념도이다.
도 2는 일실시예에 따라, 매장 내부의 모니터링을 통해 방문자의 이상 행동을 검출하는 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 3은 일실시예에 따라, 이상 영상을 검출하는 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 4는 일실시예에 따라, 후보 영상을 검증하는 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 5는 일실시예에 따라, 이상 행동 검출 모델을 업데이트 하는 과정을 설명하기 위한 도면이다.
도 6은 일실시예에 따라, 매장을 모니터링 한 결과에 기초하여 통계 데이터를 생성하고, 통계 데이터를 제공하는 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 7은 일실시예에 따라, 전자 장치의 구성을 도시한 블록도이다.The invention may be readily understood by combination of the following detailed description and accompanying drawings, where reference numerals refer to structural elements.
1 is a conceptual diagram illustrating the operation of monitoring the behavior of visitors to a store and detecting abnormal behavior using an electronic device within the store, according to an embodiment.
Figure 2 is a flowchart showing a method of operating an electronic device that detects abnormal behavior of a visitor through monitoring inside a store, according to an embodiment.
Figure 3 is a flowchart showing a method of operating an electronic device that detects an abnormal image, according to an embodiment.
Figure 4 is a flowchart showing a method of operating an electronic device that verifies a candidate image, according to an embodiment.
FIG. 5 is a diagram illustrating a process for updating an abnormal behavior detection model, according to an embodiment.
FIG. 6 is a flowchart illustrating a method of operating an electronic device that generates and provides statistical data based on results of monitoring a store, according to an embodiment.
Figure 7 is a block diagram showing the configuration of an electronic device, according to an embodiment.

이하에서는 도면을 참조하여 다양한 실시예들을 상세히 설명한다. 이하에서 설명되는 실시예들은 여러 가지 상이한 형태로 변형되어 실시될 수도 있다. 실시예들의 특징을 보다 명확히 설명하기 위하여 이하의 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에게 널리 알려져 있는 사항들에 관해서 자세한 설명은 생략한다.Hereinafter, various embodiments will be described in detail with reference to the drawings. The embodiments described below may be modified and implemented in various different forms. In order to more clearly explain the characteristics of the embodiments, detailed descriptions of matters widely known to those skilled in the art to which the following embodiments belong will be omitted.

한편, 본 명세서에서 어떤 구성이 다른 구성과 "연결"되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐 아니라, '그 중간에 다른 구성을 사이에 두고 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성이 다른 구성을 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한, 그 외 다른 구성을 제외하는 것이 아니라 다른 구성들 더 포함할 수도 있다는 것을 의미한다.Meanwhile, in this specification, when a configuration is said to be “connected” to another configuration, this includes not only the case of being “directly connected,” but also the case of being “connected with another configuration in between.” In addition, when a configuration “includes” another configuration, this means that other configurations may be further included rather than excluding other configurations, unless specifically stated to the contrary.

또한, 본 명세서에서 사용되는 '제 1' 또는 '제 2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. Additionally, terms including ordinal numbers such as 'first' or 'second' used in this specification may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another.

본 명세서 전체에서, "전자 장치"는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), PC, 데스크 탑, 가전기기, 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.Throughout this specification, “electronic devices” include mobile phones, smart phones, laptop computers, PCs, desktops, home appliances, tablet PCs, e-book terminals, digital broadcasting terminals, and personal digital assistants (PDAs). ), PMP (Portable Multimedia Player), navigation, MP3 player, digital camera, etc., but is not limited to these.

도 1은 일실시예에 따라, 매장 내 전자 장치(10)를 이용하여 매장을 방문한 방문자의 행동을 모니터링 하고, 이상 행동을 검출하는 동작을 설명하기 위한 개념도이다.FIG. 1 is a conceptual diagram illustrating an operation of monitoring the behavior of a visitor to a store and detecting abnormal behavior using an electronic device 10 within the store, according to an embodiment.

도 1을 참고하면, 전자 장치(10)는 매장의 내부를 모니터링 할 수 있다. 매장의 내부를 모니터링 함으로써, 전자 장치(10)는 매장에 방문한 방문자의 이상 행동을 검출할 수 있다. 이 경우, 전자 장치(10)는 매장 내부에 설치될 수 있다. 전자 장치(10)에는 카메라가 내장되거나 카메라가 연결되어 있어, 전자 장치(10)는 실시간으로 매장 내를 촬영할 수 있다.Referring to FIG. 1, the electronic device 10 can monitor the interior of the store. By monitoring the interior of the store, the electronic device 10 can detect abnormal behavior of visitors to the store. In this case, the electronic device 10 may be installed inside the store. The electronic device 10 has a built-in camera or is connected to a camera, so the electronic device 10 can capture the inside of the store in real time.

한편, 전자 장치(10)에서 획득된 모니터링 영상 내에 방문자의 이상 행동이 있는지 판단하기 위해, 전자 장치(10)에서 서버(20)로 모니터링 영상을 전송하고, 분석 결과를 제공받게 되면, 실시간으로 매장을 모니터링 하는 데에 어려움이 있을 수 있다. 예를 들면, 전자 장치(10)와 서버(20) 간에 네트워크 연결, 대기 시간, 대역폭 등에 제한이 있다면, 서버(20)로 모니터링 영상 분석을 요청하지 않고, 전자 장치(10)에서 모니터링 영상을 직접 분석을 수행함으로써, 빠른 처리 및 맞춤 서비스를 제공할 수 있다.Meanwhile, in order to determine whether there is any abnormal behavior of a visitor in the monitoring video acquired by the electronic device 10, the monitoring video is transmitted from the electronic device 10 to the server 20, and when the analysis result is provided, the store stores in real time. There may be difficulties in monitoring. For example, if there are limitations in network connection, waiting time, bandwidth, etc. between the electronic device 10 and the server 20, the monitoring image can be viewed directly from the electronic device 10 without requesting monitoring image analysis from the server 20. By performing analysis, we can provide fast processing and customized services.

전자 장치(10)는, 전자 장치(10)에서 분석하기 용이하지 않은 영상에 대해 서버(20)로 상세 분석을 요청할 수 있다. 서버(20)는 요청된 영상에 대해 분석을 수행하고, 분석 결과를 전자 장치(10)로 피드백 정보로 전송할 수 있다. 또한, 서버(20)는 분석 결과를 관리자의 전자 장치(30)로 확인을 요청할 수 있다. 관리자의 전자 장치(30)는 서버(20)의 분석 결과에 대한 피드백 정보를 서버(20)로 전송할 수 있다.The electronic device 10 may request detailed analysis from the server 20 for images that are not easy to analyze with the electronic device 10. The server 20 may perform analysis on the requested image and transmit the analysis result to the electronic device 10 as feedback information. Additionally, the server 20 may request confirmation of the analysis result from the manager's electronic device 30. The manager's electronic device 30 may transmit feedback information about the analysis results of the server 20 to the server 20 .

전자 장치(10)는, 모니터링 결과 정보를 관리자의 전자 장치(30)로 전송할 수 있다. 전자 장치(10)는 모니터링 결과 정보에 대한 피드백 정보를 관리자의 전자 장치(30)로부터 수신할 수 있다.The electronic device 10 may transmit monitoring result information to the manager's electronic device 30. The electronic device 10 may receive feedback information about the monitoring result information from the manager's electronic device 30.

도 2는 일실시예에 따라, 매장 내부의 모니터링을 통해 방문자의 이상 행동을 검출하는 전자 장치(10)의 동작 방법을 나타낸 흐름도이다.FIG. 2 is a flowchart showing a method of operating an electronic device 10 that detects abnormal behavior of a visitor through monitoring inside a store, according to an embodiment.

도 2를 참고하면, 단계 S210에서, 전자 장치(10)는 카메라를 통해 매장의 내부를 촬영하여 모니터링 영상을 획득할 수 있다. 전자 장치(10) 내의 카메라는, 실시간으로 매장의 내부를 촬영할 수 있다.Referring to FIG. 2 , in step S210, the electronic device 10 may acquire a monitoring image by photographing the interior of the store using a camera. The camera in the electronic device 10 can photograph the interior of the store in real time.

단계 S220에서, 전자 장치(10)는 모니터링 영상 및 이상 행동 검출 모델에 기초하여, 방문자의 이상 행동이 포함된 이상 영상을 검출할 수 있다. 전자 장치(10)는 서버(20)로부터 이상 행동 검출 모델을 다운로드 받을 수 있다. 이상 행동 검출 모델은, 영상 내에서 미리 설정된 이상 행동을 검출하는 모델일 수 있다. 즉, 이상 행동 검출 모델은, 영상을 입력 데이터로 입력 받고, 영상 내에서 미리 설정된 이상 행동에 대응하는 방문자의 영상을 출력 데이터로 출력할 수 있다.In step S220, the electronic device 10 may detect an abnormal image containing the visitor's abnormal behavior based on the monitoring image and the abnormal behavior detection model. The electronic device 10 may download an abnormal behavior detection model from the server 20. The abnormal behavior detection model may be a model that detects preset abnormal behavior in a video. In other words, the abnormal behavior detection model can receive a video as input data and output a video of a visitor corresponding to a preset abnormal behavior in the video as output data.

여기서, 이상 행동 검출 모델은, 전자 장치(10) 내에서 획득된 모니터링 영상을 학습함으로써, 업데이트 될 수 있다. 또한, 전자 장치(10)는 서버(20)로부터 주기적으로 이상 행동 검출 모델의 업데이트 버전을 획득할 수 있다.Here, the abnormal behavior detection model can be updated by learning the monitoring image acquired within the electronic device 10. Additionally, the electronic device 10 may periodically obtain an updated version of the abnormal behavior detection model from the server 20.

전자 장치(10)는, 이상 행동 검출 모델에 기초하여, 이상 행동으로 예측되는 후보 영상을 검출하고, 후보 영상의 검증을 통해 후보 영상을 이상 영상으로 결정할 수 있다. 후보 영상을 검출하고, 이상 영상을 결정하는 과정은 도 3에서 설명한다.The electronic device 10 may detect a candidate image predicted to be abnormal behavior based on an abnormal behavior detection model and determine the candidate image as an abnormal image through verification of the candidate image. The process of detecting candidate images and determining abnormal images is explained in FIG. 3.

단계 S230에서, 전자 장치(10)는 이상 영상을 매장의 관리자의 전자 장치(30)로 전송할 수 있다. 전자 장치(10)는 이상 영상이 검출되었음을 알리는 알림 정보를 관리자의 전자 장치(30)로 전송할 수 있다. 전자 장치(10)는, 이상 영상에 대응하는 이상 행동의 유형 정보, 이상 행동에 대한 조치 정보를 관리자의 전자 장치(30)로 전송할 수 있다.In step S230, the electronic device 10 may transmit the abnormal image to the store manager's electronic device 30. The electronic device 10 may transmit notification information indicating that an abnormal image has been detected to the manager's electronic device 30. The electronic device 10 may transmit information on the type of abnormal behavior corresponding to the abnormal image and information on measures to be taken regarding the abnormal behavior to the electronic device 30 of the manager.

단계 S240에서, 전자 장치(10)는 이상 영상이 검출됨에 따라, 매장 내에서 경고 정보를 출력할 수 있다. 예를 들면, 전자 장치(10)는 이상 영상에 대응하는 경고 정보를 출력할 수 있다. 구체적으로, 이상 영상에 포함된 이상 행동이 매장 내에 누워있는 행위이면, 전자 장치(10)는 매장 내에 눕기는 금지되어 있음을 알리는 경고 정보를 출력할 수 있다.In step S240, the electronic device 10 may output warning information within the store as an abnormal image is detected. For example, the electronic device 10 may output warning information corresponding to an abnormal image. Specifically, if the abnormal behavior included in the abnormal image is lying down in the store, the electronic device 10 may output warning information indicating that lying down in the store is prohibited.

예를 들면, 전자 장치(10)는 이상 영상 및 매장을 방문 중인 방문자의 수에 기초하여, 이상 행동에 대응하는 제1 경고 정보를 출력할 수 있다. 구체적으로, 매장에 방문 중인 방문자가 이상 행동을 하는 방문자만 있는 경우, 전자 장치(10)는 이상 행동의 금지 및 법적 조치의 경고를 알리는 경고 정보를 출력할 수 있다. 반면에, 매장에 방문 중인 방문자가 미리 설정된 수를 초과하면, 전자 장치(10)는 이상 행동의 금지 및 주의를 주는 경고 정보를 출력할 수 있다. For example, the electronic device 10 may output first warning information corresponding to abnormal behavior based on the abnormal image and the number of visitors visiting the store. Specifically, when the only visitors visiting the store are those who engage in abnormal behavior, the electronic device 10 may output warning information notifying the prohibition of abnormal behavior and warning of legal action. On the other hand, if the number of visitors to the store exceeds a preset number, the electronic device 10 may output warning information to prohibit abnormal behavior and provide caution.

또한, 전자 장치(10)는 이상 영상에 대한 대응조치의 옵션을 관리자의 전자 장치(30)로 전송할 수 있다.Additionally, the electronic device 10 may transmit options for countermeasures against abnormal images to the manager's electronic device 30.

도 3은 일실시예에 따라, 이상 영상을 검출하는 전자 장치(10)의 동작 방법을 나타낸 흐름도이다.FIG. 3 is a flowchart showing a method of operating the electronic device 10 for detecting an abnormal image, according to an embodiment.

도 3을 참고하면, 단계 S310에서, 전자 장치(10)는 모니터링 영상을 이상 행동 검출 모델의 입력 데이터로 획득할 수 있다. 예를 들면, 전자 장치(10)는 모니터링 영상 내에서 중복되는 영상을 제거한 후에 전처리된 모니터링 영상을 이상 행동 검출 모델의 입력 데이터로 획득할 수 있다.Referring to FIG. 3, in step S310, the electronic device 10 may acquire a monitoring image as input data for an abnormal behavior detection model. For example, the electronic device 10 may remove overlapping images from the monitoring image and then obtain the preprocessed monitoring image as input data for an abnormal behavior detection model.

단계 S320에서, 전자 장치(10)는 이상 행동 검출 모델에 기초하여, 미리 설정된 이상 행동을 나타내는 참조 영상에 대응하는 후보 영상을 검출할 수 있다.In step S320, the electronic device 10 may detect a candidate image corresponding to a reference image representing a preset abnormal behavior based on the abnormal behavior detection model.

예를 들면, 미리 설정된 이상 행동은, 매장 내에서 눕는 행동, 매장 내의 시설을 부수는 행동, 매장 내의 시설에 올라가는 행동, 매장 내에서 말다툼하는 행동, 매장 내에서 물건을 훔치는 행동, 매장 내에서 신체를 노출하는 행동, 및 매장 내에서 소란을 피우는 행동 중 적어도 하나의 행동을 포함할 수 있고, 상기 예시에 제한되지 않는다.For example, preset abnormal behaviors include lying down in the store, destroying facilities in the store, climbing on facilities in the store, fighting in the store, stealing items in the store, and physically touching the store. It may include at least one of the following actions: exposing the user, and making a fuss in the store, and is not limited to the above example.

예를 들면, 참조 영상은, 미리 설정된 이상 행동을 나타내는 영상이다. 또한, 이상 행동으로 판단할 수 있는 이상 행동의 기준을 충족시키는 영상은 참조 영상으로 될 수 있다.For example, a reference image is an image showing preset abnormal behavior. Additionally, a video that meets the criteria for abnormal behavior that can be judged as abnormal behavior can be used as a reference video.

예를 들면, 이상 행동 검출 모델은, 이상 행동을 나타내는 참조 영상을 학습하고, 학습 결과에 기초하여, 입력된 영상이 이상 행동을 나타내는 영상인지 검출하는 학습 모델일 수 있다. 이상 행동 검출 모델은, 서버(20)로부터 미리 다운로드 될 수 있고, 주기적으로 업데이트 될 수 있다.For example, the abnormal behavior detection model may be a learning model that learns a reference image showing abnormal behavior and detects whether the input image is an image showing abnormal behavior based on the learning results. The abnormal behavior detection model may be downloaded in advance from the server 20 and may be updated periodically.

단계 S330에서, 전자 장치(10)는 참조 영상에 대한 후보 영상의 매칭 레벨에 기초하여, 후보 영상을 검증할 수 있다. 예를 들면, 매칭 레벨은, 후보 영상이 참조 영상에 매칭되는 정도를 나타낼 수 있다. 따라서, 매칭 레벨이 높을수록, 후보 영상은 참조 영상과 유사한 것으로 판단될 수 있다. In step S330, the electronic device 10 may verify the candidate image based on the matching level of the candidate image with respect to the reference image. For example, the matching level may indicate the degree to which a candidate image matches a reference image. Therefore, the higher the matching level, the more similar the candidate image may be to the reference image.

매칭 레벨이 높으면, 후보 영상이 참조 영상과 유사한 것으로 판단될 수 있기 때문에, 전자 장치(10)는, 후보 영상을 바로 이상 영상으로 검출할 수 있다. 반면에, 매칭 레벨이 높지 않으면, 후보 영상이 이상 영상에 해당되는지에 대한 검증이 요구되기 때문에, 전자 장치(10)는, 서버(20) 또는 관리자의 관리 장치에 기초하여 후보 영상을 검증할 수 있다. 후보 영상의 매칭 레벨에 기초하여, 후보 영상을 검증하는 과정은 도 4에서 설명한다.If the matching level is high, the candidate image may be determined to be similar to the reference image, so the electronic device 10 can immediately detect the candidate image as an abnormal image. On the other hand, if the matching level is not high, since verification is required as to whether the candidate image corresponds to an abnormal image, the electronic device 10 may verify the candidate image based on the server 20 or the manager's management device. there is. The process of verifying the candidate image based on the matching level of the candidate image is explained in FIG. 4.

단계 S340에서, 전자 장치(10)는 후보 영상이 검증되면, 후보 영상을 이상 영상으로 검출할 수 있다. 전자 장치(10)는 후보 영상을 이상 영상으로 결정하고, 이상 영상을 관리자의 전자 장치(30)로 전송할 수 있다. 또한, 전자 장치(10)는, 방문자의 이상 행동을 알리는 알림 정보를 관리자의 전자 장치(30)로 전송할 수 있다.In step S340, if the candidate image is verified, the electronic device 10 may detect the candidate image as an abnormal image. The electronic device 10 may determine the candidate image as an abnormal image and transmit the abnormal image to the manager's electronic device 30. Additionally, the electronic device 10 may transmit notification information notifying the visitor's abnormal behavior to the manager's electronic device 30.

도 4는 일실시예에 따라, 후보 영상을 검증하는 전자 장치(10)의 동작 방법을 나타낸 흐름도이다.FIG. 4 is a flowchart showing a method of operating the electronic device 10 for verifying a candidate image, according to an embodiment.

도 4를 참고하면, 단계 S410에서, 전자 장치(10)는 참조 영상에 대한 후보 영상의 매칭 레벨을 획득할 수 있다. 단계 S420에서, 전자 장치(10)는 후보 영상의 매칭 레벨이 로우 레벨인지 확인할 수 있다. 예를 들면, 후보 영상의 매칭 레벨이 로우 레벨이면, 전자 장치(10)는 단계 S421에 따라 서버(20)를 통해 후보 영상의 검증을 수행할 수 있다. 반면에, 후보 영상의 매칭 레벨이 하이 레벨이면, 전자 장치(10)는 서버(20)를 통하지 않고, 단계 S430에 따라, 후보 영상을 이상 영상으로 검증할 수 있다. 즉, 전자 장치(10)에서 검출된 후보 영상을 서버(20)로 전송하지 않고도, 전자 장치(10)에서 실시간으로 이상 행동을 모니터링 할 수 있는 효과가 있다.Referring to FIG. 4 , in step S410, the electronic device 10 may obtain the matching level of the candidate image with respect to the reference image. In step S420, the electronic device 10 may check whether the matching level of the candidate image is low level. For example, if the matching level of the candidate image is low level, the electronic device 10 may perform verification of the candidate image through the server 20 in step S421. On the other hand, if the matching level of the candidate image is high level, the electronic device 10 can verify the candidate image as an abnormal image in step S430 without going through the server 20. In other words, there is an effect that abnormal behavior can be monitored in real time on the electronic device 10 without transmitting the candidate image detected by the electronic device 10 to the server 20.

단계 S421에서, 전자 장치(10)는 서버(20)로 후보 영상의 검증을 요청할 수 있다. 서버(20)는 후보 영상 내에 방문자의 이상 행동이 포함되어 있는지 확인할 수 있다. 서버(20)는, 전자 장치(10)로 전송한 이상 행동 검출 모델보다 상위 버전의 모델을 이용하여 후보 영상이 이상 영상인지를 판별할 수 있다. 단계 S424에서, 서버(20)는 판별된 결과를 피드백 정보로 전자 장치(10)로 전송할 수 있다. 또한, 단계 S422에서, 서버(20)는 후보 영상의 검증 결과를 관리자의 전자 장치(30)로 전송하고, 검증 결과의 확인을 요청할 수 있다.In step S421, the electronic device 10 may request verification of the candidate image from the server 20. The server 20 can check whether the candidate video contains abnormal behavior of the visitor. The server 20 may determine whether the candidate image is an abnormal image using a higher version model than the abnormal behavior detection model transmitted to the electronic device 10. In step S424, the server 20 may transmit the determined result to the electronic device 10 as feedback information. Additionally, in step S422, the server 20 may transmit the verification result of the candidate image to the manager's electronic device 30 and request confirmation of the verification result.

단계 S423에서, 관리자의 전자 장치(30)는 후보 영상에 대한 피드백 정보를 요청하기 위한 화면을 표시할 수 있다. 예를 들면, 관리자의 전자 장치(30)는, 후보 영상 내의 방문자의 행위가 이상 행동인지 확인을 요청하는 메시지를 표시할 수 있다. 관리자의 전자 장치(30)는, 이상 행동인지 여부를 선택하는 아이콘을 표시할 수 있다. 또한, 관리자의 전자 장치(30)는, 후보 영상 내의 행동을 이상 행동으로 등록하는 아이콘을 표시할 수도 있다. 예를 들면, 관리자의 전자 장치(30)는, 후보 영상 내의 방문자의 행위가 이상 행동임을 맞음을 나타내는 아이콘을 선택하는 입력을 수신할 수 있다. 즉, 관리자의 전자 장치(30)는 후보 영상에 대한 피드백 정보를 수신하고, 피드백 정보를 서버(20)로 전송할 수 있다.In step S423, the manager's electronic device 30 may display a screen for requesting feedback information about the candidate image. For example, the manager's electronic device 30 may display a message requesting confirmation whether the visitor's behavior in the candidate video is abnormal behavior. The manager's electronic device 30 may display an icon to select whether the behavior is abnormal. Additionally, the manager's electronic device 30 may display an icon that registers the behavior in the candidate video as abnormal behavior. For example, the manager's electronic device 30 may receive an input for selecting an icon indicating that the visitor's behavior in the candidate video is abnormal behavior. That is, the manager's electronic device 30 may receive feedback information about the candidate image and transmit the feedback information to the server 20.

단계 S424에서, 서버(20)는 후보 영상에 대한 피드백 정보를 직접 획득하거나, 관리자의 전자 장치(30)로부터 획득할 수 있다. 서버(20)는 피드백 정보를 전자 장치(10)로 전송할 수 있다.In step S424, the server 20 may obtain feedback information about the candidate image directly or from the manager's electronic device 30. The server 20 may transmit feedback information to the electronic device 10.

단계 S430에서, 전자 장치(10)는 피드백 정보에 기초하여 후보 영상을 검증할 수 있다. 예를 들면, 후보 영상이 이상 영상인 것으로 검증이 완료되면, 전자 장치(10)는 후보 영상을 이상 영상을 결정하고, 이상 영상의 검출에 따른 다음 프로세스를 수행할 수 있다. 반면에, 후보 영상이 이상 영상이 아닌 것으로 검증이 완료되면, 전자 장치(10)는 후보 영상을 정상 영상인 것으로 결정할 수 있다.In step S430, the electronic device 10 may verify the candidate image based on the feedback information. For example, when verification is completed that the candidate image is an abnormal image, the electronic device 10 may determine the candidate image as an abnormal image and perform the next process according to the detection of the abnormal image. On the other hand, when verification is completed that the candidate image is not an abnormal image, the electronic device 10 may determine that the candidate image is a normal image.

한편, 전자 장치(10)는, 후보 영상을 검증한 결과를 학습 데이터로 이용할 수 있다. 전자 장치(10)는 후보 영상과 후보 영상이 이상 영상인지를 나타내는 정보를 학습하고, 학습 결과에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다.Meanwhile, the electronic device 10 may use the results of verifying the candidate image as learning data. The electronic device 10 may learn a candidate image and information indicating whether the candidate image is an abnormal image, and update the abnormal behavior detection model based on the learning result.

도 5는 일실시예에 따라, 이상 행동 검출 모델을 업데이트 하는 과정을 설명하기 위한 도면이다.FIG. 5 is a diagram illustrating a process for updating an abnormal behavior detection model, according to an embodiment.

단계 S510에서, 서버(20)는 전자 장치(10)로 이상 행동 검출 모델을 전송할 수 있다. 전자 장치(10)는 이상 행동 검출 모델을 수신하고, 이상 행동 검출 모델을 이용하여 매장 내를 실시간으로 모니터링 할 수 있다.In step S510, the server 20 may transmit an abnormal behavior detection model to the electronic device 10. The electronic device 10 can receive an abnormal behavior detection model and monitor the store in real time using the abnormal behavior detection model.

단계 S520에서, 관리자의 전자 장치(30)는 매장 내의 전자 장치(10)로 이상 행동에 대한 참조 정보를 전송할 수 있다. 전자 장치(10)는, 관리자의 전자 장치(30)에서 입력된 참조 정보에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다.In step S520, the manager's electronic device 30 may transmit reference information about abnormal behavior to the electronic device 10 within the store. The electronic device 10 may update the abnormal behavior detection model based on reference information input from the manager's electronic device 30.

단계 S530에서, 전자 장치(10)는 이상 행동에 대한 참조 정보를 획득할 수 있다. 예를 들면, 참조 정보는 이상 행동의 유형, 및 이상 행동과 유사한 행동으로 판단될 수 있는 행동 중 적어도 하나의 행동을 포함할 수 있다.In step S530, the electronic device 10 may obtain reference information about abnormal behavior. For example, the reference information may include a type of abnormal behavior and at least one behavior that can be determined to be similar to the abnormal behavior.

단계 S540에서, 전자 장치(10)는 참조 정보에 기초하여, 참조 영상을 생성할 수 있다. 전자 장치(10)는, 매장 내의 구조 및 참조 정보에 기초하여, 매장 내에서 이상 행동으로 판단될 수 있는 참조 영상을 생성할 수 있다. 참조 영상은 매장 내에서 촬영된 영상으로부터 획득되거나, 가상으로 생성된 영상으로부터 획득될 수 있다.In step S540, the electronic device 10 may generate a reference image based on reference information. The electronic device 10 may generate a reference image that can be judged as abnormal behavior within the store based on the structure and reference information within the store. The reference image may be obtained from an image captured within the store or may be obtained from a virtually generated image.

단계 S550에서, 전자 장치(10)는 참조 영상을 학습한 결과에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다. 전자 장치(10)는, 관리자가 입력한 참조 정보에 기초하여, 이상 행동 검출 모델을 업데이트 함으로써, 매장에 적합한 이상 행동 검출 모델을 제공할 수 있다.In step S550, the electronic device 10 may update the abnormal behavior detection model based on the result of learning the reference image. The electronic device 10 may provide an abnormal behavior detection model suitable for the store by updating the abnormal behavior detection model based on reference information input by the manager.

도 6은 일실시예에 따라, 매장을 모니터링 한 결과에 기초하여 통계 데이터를 생성하고, 통계 데이터를 제공하는 전자 장치(10)의 동작 방법을 나타낸 흐름도이다.FIG. 6 is a flowchart showing a method of operating the electronic device 10 that generates and provides statistical data based on the results of monitoring a store, according to an embodiment.

도 6을 참고하면, 단계 S610에서, 전자 장치(10)는 매장을 모니터링 한 결과에 기초하여, 미리 설정된 이상 행동에 대한 통계 데이터를 생성할 수 있다.Referring to FIG. 6 , in step S610, the electronic device 10 may generate statistical data on preset abnormal behavior based on the results of monitoring the store.

예를 들면, 전자 장치(10)는, 미리 설정된 주기 동안에 발생된 적어도 하나의 이상 행동의 유형 및 적어도 하나의 이상 행동의 발생 시기에 대한 통계 데이터를 생성할 수 있다.For example, the electronic device 10 may generate statistical data about the type of at least one abnormal behavior that occurred during a preset period and the time when the at least one abnormal behavior occurred.

또한, 전자 장치(10)는 적어도 하나의 이상 행동이 발생되지 않은 시간에 대응하는 매장 내의 상태 정보를 분석한 분석 결과를 획득할 수 있다. 전자 장치(10)는 이상 행동이 발생된 시간의 매장의 상태 정보와 이상 행동이 발생되지 않은 시간의 매장의 상태 정보를 비교하고, 비교 결과에 기초하여 이상 행동이 발생되는 원인 또는 환경에 대한 정보를 획득할 수 있다.Additionally, the electronic device 10 may obtain an analysis result of analyzing status information in the store corresponding to a time when at least one abnormal behavior did not occur. The electronic device 10 compares the state information of the store at the time when the abnormal behavior occurred with the state information of the store at the time when the abnormal behavior did not occur, and provides information about the cause or environment in which the abnormal behavior occurred based on the comparison result. can be obtained.

단계 S620에서, 전자 장치(10)는 통계 데이터를 관리자의 전자 장치(30)로 전송할 수 있다.In step S620, the electronic device 10 may transmit statistical data to the manager's electronic device 30.

도 7은 일실시예에 따라, 전자 장치(10)의 구성을 도시한 블록도이다.FIG. 7 is a block diagram showing the configuration of the electronic device 10, according to one embodiment.

도 7을 참고하면, 전자 장치(10)는, 카메라(710), 통신 장치(720), 메모리(730) 및 프로세서(740)를 포함할 수 있다. 전자 장치(10)는 도 7에 도시된 구성 요소보다 많은 구성 요소를 포함할 수 있다. 또한, 전자 장치(10)는 도 7에 도시된 구성 요소보다 적은 구성 요소를 포함할 수 있다.Referring to FIG. 7 , the electronic device 10 may include a camera 710, a communication device 720, a memory 730, and a processor 740. The electronic device 10 may include more components than those shown in FIG. 7 . Additionally, the electronic device 10 may include fewer components than those shown in FIG. 7 .

카메라(710)는 소정 객체를 촬영함으로써, 이미지 또는 동영상을 획득할 수 있다. 카메라(710)는 실시간으로 소정 공간을 촬영할 수 있다. 예를 들면, 카메라(710)는 매장 내를 실시간으로 촬영함으로써, 모니터링 영상을 획득할 수 있다.The camera 710 can obtain an image or video by photographing a predetermined object. The camera 710 can photograph a predetermined space in real time. For example, the camera 710 can obtain monitoring images by filming the inside of the store in real time.

통신 장치(720)는, 외부 장치와 통신을 수행할 수 있다. 통신 장치(720)는 와이파이 칩, 블루투스 칩, NFC 칩, 및 무선통신 칩 중 적어도 하나를 포함할 수 있다. 프로세서(740)는 통신 장치(720)를 이용하여 각종 외부 장치와 통신을 수행할 수 있다.The communication device 720 can communicate with an external device. The communication device 720 may include at least one of a Wi-Fi chip, a Bluetooth chip, an NFC chip, and a wireless communication chip. The processor 740 can communicate with various external devices using the communication device 720.

메모리(730)는 전자 장치(10)에서 실행되는 복수의 응용 프로그램 또는 애플리케이션, 전자 장치(10)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다.The memory 730 may store a plurality of applications or applications running on the electronic device 10, data for operating the electronic device 10, and commands.

프로세서(740)는 전자 장치(10)의 전체적인 동작을 제어하며, CPU 등과 같은 적어도 하나의 프로세서를 포함할 수 있다.The processor 740 controls the overall operation of the electronic device 10 and may include at least one processor such as a CPU.

프로세서(740)는 카메라(710)를 통해 매장의 내부를 촬영하여 모니터링 영상을 획득할 수 있다.The processor 740 may obtain a monitoring image by photographing the interior of the store through the camera 710.

프로세서(740)는 모니터링 영상 및 이상 행동 검출 모델에 기초하여, 방문자의 이상 행동이 포함된 이상 영상을 검출할 수 있다. 프로세서(740)는 서버(20)로부터 이상 행동 검출 모델을 다운로드 받을 수 있다. 이상 행동 검출 모델은, 영상 내에서 미리 설정된 이상 행동을 검출하는 모델일 수 있다.The processor 740 may detect an abnormal image containing the visitor's abnormal behavior based on the monitoring image and the abnormal behavior detection model. The processor 740 may download the abnormal behavior detection model from the server 20. The abnormal behavior detection model may be a model that detects preset abnormal behavior in a video.

프로세서(740)는, 이상 행동 검출 모델에 기초하여, 이상 행동으로 예측되는 후보 영상을 검출하고, 후보 영상의 검증을 통해 후보 영상을 이상 영상으로 결정할 수 있다. The processor 740 may detect a candidate image predicted to be abnormal behavior based on an abnormal behavior detection model and determine the candidate image as an abnormal image through verification of the candidate image.

구체적으로, 프로세서(740)는 모니터링 영상을 이상 행동 검출 모델의 입력 데이터로 획득할 수 있다. 예를 들면, 프로세서(740)는 모니터링 영상 내에서 중복되는 영상을 제거한 후에 전처리된 모니터링 영상을 이상 행동 검출 모델의 입력 데이터로 획득할 수 있다.Specifically, the processor 740 may acquire the monitoring image as input data for an abnormal behavior detection model. For example, the processor 740 may remove overlapping images from the monitoring image and then obtain the preprocessed monitoring image as input data for an abnormal behavior detection model.

프로세서(740)는 이상 행동 검출 모델에 기초하여, 미리 설정된 이상 행동을 나타내는 참조 영상에 대응하는 후보 영상을 검출할 수 있다.The processor 740 may detect a candidate image corresponding to a reference image representing a preset abnormal behavior based on the abnormal behavior detection model.

예를 들면, 이상 행동 검출 모델은, 이상 행동을 나타내는 참조 영상을 학습하고, 학습 결과에 기초하여, 입력된 영상이 이상 행동을 나타내는 영상인지 검출하는 학습 모델일 수 있다.For example, the abnormal behavior detection model may be a learning model that learns a reference image showing abnormal behavior and detects whether the input image is an image showing abnormal behavior based on the learning results.

예를 들면, 이상 행동 검출 모델은, 전자기기 내에 전용 어플리케이션을 설치하여 하드웨어 프로세스(CPU, GPU, 메모리 등)를 통하여 분석할 수 있다. 또한, 상기 전용 어플리케이션을 설치하지 않아도 다양한 전자기기의 호환성을 높이기 위해 웹브라우저에서 웹 어플리케이션을 실행하여 하드웨어 프로세서를 통하여 이상 행동을 감지할 수도 있다.For example, the abnormal behavior detection model can be analyzed through hardware processes (CPU, GPU, memory, etc.) by installing a dedicated application in the electronic device. In addition, to increase compatibility with various electronic devices, even without installing the dedicated application, you can run the web application in a web browser and detect abnormal behavior through the hardware processor.

프로세서(740)는 참조 영상에 대한 후보 영상의 매칭 레벨에 기초하여, 후보 영상을 검증할 수 있다. 예를 들면, 매칭 레벨은, 후보 영상이 참조 영상에 매칭되는 정도를 나타낼 수 있다. 따라서, 매칭 레벨이 높을수록, 후보 영상은 참조 영상과 유사한 것으로 판단될 수 있다. The processor 740 may verify the candidate image based on the matching level of the candidate image with respect to the reference image. For example, the matching level may indicate the degree to which a candidate image matches a reference image. Therefore, the higher the matching level, the more similar the candidate image may be to the reference image.

구체적으로, 후보 영상의 매칭 레벨이 로우 레벨이면, 프로세서(740)는 서버(20)로 후보 영상의 검증을 요청할 수 있다. 서버(20)는 후보 영상 내에 방문자의 이상 행동이 포함되어 있는지 확인할 수 있다. 서버(20)는, 전자 장치(10)로 전송한 이상 행동 검출 모델보다 상위 버전의 모델을 이용하여 후보 영상이 이상 영상인지를 판별할 수 있다. 프로세서(740)는, 서버(20)를 통해 후보 영상의 검증을 수행할 수 있다. 반면에, 후보 영상의 매칭 레벨이 하이 레벨이면, 전자 장치(10)는 서버(20)를 통하지 않고, 후보 영상을 이상 영상으로 검증할 수 있다. 즉, 전자 장치(10)에서 검출된 후보 영상을 서버(20)로 전송하지 않고도, 전자 장치(10)에서 실시간으로 이상 행동을 모니터링 할 수 있다.Specifically, if the matching level of the candidate image is low level, the processor 740 may request verification of the candidate image from the server 20. The server 20 can check whether the candidate video contains abnormal behavior of the visitor. The server 20 may determine whether the candidate image is an abnormal image using a higher version model than the abnormal behavior detection model transmitted to the electronic device 10. The processor 740 may perform verification of the candidate image through the server 20. On the other hand, if the matching level of the candidate image is high level, the electronic device 10 can verify the candidate image as an abnormal image without going through the server 20. That is, abnormal behavior can be monitored in real time on the electronic device 10 without transmitting the candidate image detected by the electronic device 10 to the server 20.

프로세서(740)는, 서버(20) 또는 관리자의 전자 장치(30)로부터 획득된 피드백 정보에 기초하여, 후보 영상을 검증할 수 있다. 예를 들면, 후보 영상이 이상 영상인 것으로 검증이 완료되면, 프로세서(740)는 후보 영상을 이상 영상을 결정할 수 있다. 반면에, 후보 영상이 이상 영상이 아닌 것으로 검증이 완료되면, 프로세서(740)는 후보 영상을 정상 영상인 것으로 결정할 수 있다.The processor 740 may verify the candidate image based on feedback information obtained from the server 20 or the manager's electronic device 30. For example, when verification is completed that the candidate image is an abnormal image, the processor 740 may determine the candidate image to be an abnormal image. On the other hand, if verification is completed that the candidate image is not an abnormal image, the processor 740 may determine that the candidate image is a normal image.

한편, 프로세서(740)는, 후보 영상을 검증한 결과를 학습 데이터로 이용할 수 있다. 프로세서(740)는 후보 영상과 후보 영상이 이상 영상인지를 나타내는 정보를 학습하고, 학습 결과에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다.Meanwhile, the processor 740 may use the results of verifying the candidate images as learning data. The processor 740 may learn a candidate image and information indicating whether the candidate image is an abnormal image, and update the abnormal behavior detection model based on the learning result.

또한, 프로세서(740)는, 관리자의 전자 장치(30)에서 입력된 참조 정보에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다. 구체적으로, 프로세서(740)는 이상 행동에 대한 참조 정보를 획득할 수 있다. 예를 들면, 참조 정보는 이상 행동의 유형, 및 이상 행동과 유사한 행동으로 판단될 수 있는 행동 중 적어도 하나의 행동을 포함할 수 있다.Additionally, the processor 740 may update the abnormal behavior detection model based on reference information input from the manager's electronic device 30. Specifically, the processor 740 may obtain reference information about abnormal behavior. For example, the reference information may include a type of abnormal behavior and at least one behavior that can be determined to be similar to the abnormal behavior.

프로세서(740)는 참조 정보에 기초하여, 참조 영상을 생성할 수 있다. 프로세서(740)는, 매장 내의 구조 및 참조 정보에 기초하여, 매장 내에서 이상 행동으로 판단될 수 있는 참조 영상을 생성할 수 있다. 참조 영상은 매장 내에서 촬영된 영상으로부터 획득되거나, 가상으로 생성된 영상으로부터 획득될 수 있다.The processor 740 may generate a reference image based on reference information. The processor 740 may generate a reference image that can be judged as abnormal behavior within the store based on the structure and reference information within the store. The reference image may be obtained from an image captured within the store or may be obtained from a virtually generated image.

프로세서(740)는 참조 영상을 학습한 결과에 기초하여, 이상 행동 검출 모델을 업데이트 할 수 있다. 프로세서(740)는, 관리자가 입력한 참조 정보에 기초하여, 이상 행동 검출 모델을 업데이트 함으로써, 매장에 적합한 이상 행동 검출 모델을 제공할 수 있다.The processor 740 may update the abnormal behavior detection model based on the results of learning the reference image. The processor 740 may provide an abnormal behavior detection model suitable for the store by updating the abnormal behavior detection model based on reference information input by the manager.

프로세서(740)는 후보 영상이 검증되면, 후보 영상을 이상 영상으로 결정하고, 이상 영상을 관리자의 전자 장치(30)로 전송할 수 있다. 또한, 프로세서(740)는, 통신 장치(720)를 통해, 방문자의 이상 행동을 알리는 알림 정보를 관리자의 전자 장치(30)로 전송할 수 있다.When the candidate image is verified, the processor 740 may determine the candidate image as an abnormal image and transmit the abnormal image to the manager's electronic device 30. Additionally, the processor 740 may transmit notification information notifying the visitor's abnormal behavior to the manager's electronic device 30 through the communication device 720.

또한, 프로세서(740)는, 통신 장치(720)를 통해, 이상 영상에 대응하는 이상 행동의 유형 정보, 이상 행동에 대한 조치 정보를 관리자의 전자 장치(30)로 전송할 수 있다.Additionally, the processor 740 may transmit information on the type of abnormal behavior corresponding to the abnormal image and information on measures to be taken regarding the abnormal behavior to the manager's electronic device 30 through the communication device 720 .

프로세서(740)는 이상 영상이 검출됨에 따라, 매장 내에서 경고 정보를 출력할 수 있다. 예를 들면, 프로세서(740)는 이상 영상에 대응하는 경고 정보를 출력할 수 있다. 구체적으로, 이상 영상에 포함된 이상 행동이 매장 내에 누워있는 행위이면, 전자 장치(10)는 매장 내에 눕기는 금지되어 있음을 알리는 경고 정보를 출력할 수 있다.As an abnormal image is detected, the processor 740 may output warning information within the store. For example, the processor 740 may output warning information corresponding to an abnormal image. Specifically, if the abnormal behavior included in the abnormal image is lying down in the store, the electronic device 10 may output warning information indicating that lying down in the store is prohibited.

예를 들면, 프로세서(740)는 이상 영상 및 매장을 방문 중인 방문자의 수에 기초하여, 이상 행동에 대응하는 제1 경고 정보를 출력할 수 있다. 또한, 프로세서(740)는 통신 장치(720)를 통해, 이상 영상에 대한 대응조치의 옵션을 관리자의 전자 장치(30)로 전송할 수 있다.For example, the processor 740 may output first warning information corresponding to abnormal behavior based on the abnormal video and the number of visitors visiting the store. Additionally, the processor 740 may transmit options for countermeasures against abnormal images to the manager's electronic device 30 through the communication device 720.

상술한 전자 장치 및 서버의 동작 방법은 컴퓨터 또는 프로세서에 의하여 실행 가능한 명령어 또는 데이터를 저장하는 컴퓨터 판독 가능 저장매체의 형태로 구현될 수 있다. 이와 같은 컴퓨터 판독 가능 저장매체는 ROM, RAM, 하드 디스크, 솔리드-스테이트 디스크(SSD), 그리고 명령어 또는 소프트웨어, 관련 데이터, 데이터 파일, 및 데이터 구조들을 저장할 수 있다.The above-described method of operating the electronic device and server may be implemented in the form of a computer-readable storage medium that stores instructions or data executable by a computer or processor. Such computer-readable storage media may include ROM, RAM, hard disk, solid-state disk (SSD), and store instructions or software, related data, data files, and data structures.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with limited examples and drawings, various modifications and variations can be made by those skilled in the art from the above description. For example, the described techniques are performed in a different order than the described method, and/or components of the described system, structure, device, circuit, etc. are combined or combined in a different form than the described method, or other components are used. Alternatively, appropriate results may be achieved even if substituted or substituted by an equivalent.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 청구범위 뿐 아니라 이 청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the claims described below as well as equivalents to these claims.

Claims

In a method of operating an electronic device,
Obtaining a monitoring image by photographing the interior of the store using a camera;
Detecting an abnormal video containing abnormal behavior of a visitor based on the monitoring image and the abnormal behavior detection model;
transmitting the abnormal video to an electronic device of the store manager; and
An operating method comprising the step of outputting warning information within the store as the abnormal image is detected.

According to paragraph 1,
The step of detecting the abnormal image is,
Obtaining the monitoring image as input data for the abnormal behavior detection model;
Detecting a candidate image corresponding to a reference image representing a preset abnormal behavior based on the abnormal behavior detection model;
Verifying the candidate image based on a matching level of the candidate image with respect to the reference image; and
When the candidate image is verified, an operating method comprising detecting the candidate image as the abnormal image.

According to paragraph 2,
The step of verifying the candidate image based on the matching level of the candidate image with the reference image includes:
If the matching level of the candidate image is a low level, receiving feedback information of the candidate image from a server or the manager's electronic device, and verifying the candidate image based on the received feedback information, an operating method comprising: .

According to paragraph 3,
An operating method further comprising updating the abnormal behavior detection model based on a result of verifying the candidate image.

According to paragraph 1,
As the abnormal image is detected, the step of outputting warning information within the store includes:
outputting first warning information corresponding to abnormal behavior based on the abnormal video and the number of visitors visiting the store; and
An operating method comprising transmitting an option for a response to the abnormal image to the electronic device of the manager.

According to paragraph 1,
Receiving reference information on preset abnormal behavior from the manager's electronic device;
generating a reference image for the preset abnormal behavior based on the reference information;
An operating method further comprising updating the abnormal behavior detection model based on a result of learning the reference image.

According to paragraph 1,
Generating statistical data on preset abnormal behavior based on the results of monitoring the store;
A method of operation further comprising transmitting the statistical data to the manager's electronic device.

In clause 7,
The step of generating the statistical data is,
generating the statistical data about the type of at least one abnormal behavior that occurred during a preset period and the time of occurrence of the at least one abnormal behavior;
An operating method comprising obtaining an analysis result of analyzing status information in the store corresponding to a time when the at least one abnormal behavior does not occur.

camera; communication device;
processor; and
and a memory storing instructions executable by the processor, wherein the processor executes the instructions,
Obtain monitoring video by filming the interior of the store through a camera,
Based on the monitoring video and the abnormal behavior detection model, detect an abnormal video containing the visitor's abnormal behavior,
Transmitting the abnormal video to the electronic device of the manager of the store,
An electronic device that outputs warning information within the store as the abnormal image is detected.

According to clause 9,
The processor, by executing the instructions,
Obtaining the monitoring image as input data for the abnormal behavior detection model,
Based on the abnormal behavior detection model, detect a candidate image corresponding to a reference image representing a preset abnormal behavior,
Verify the candidate image based on the matching level of the candidate image to the reference image,
When the candidate image is verified, the electronic device detects the candidate image as the abnormal image.