[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

WO2020189953A1 - 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법 - Google Patents

인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법 Download PDF

Info

Publication number
WO2020189953A1
WO2020189953A1 PCT/KR2020/003391 KR2020003391W WO2020189953A1 WO 2020189953 A1 WO2020189953 A1 WO 2020189953A1 KR 2020003391 W KR2020003391 W KR 2020003391W WO 2020189953 A1 WO2020189953 A1 WO 2020189953A1
Authority
WO
WIPO (PCT)
Prior art keywords
artificial intelligence
camera
image
cameras
normal
Prior art date
Application number
PCT/KR2020/003391
Other languages
English (en)
French (fr)
Inventor
김현호
최진혁
김대봉
변재운
이상욱
김준식
정경전
김은영
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200029565A external-priority patent/KR102664027B1/ko
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to EP20772993.0A priority Critical patent/EP3944628A4/en
Publication of WO2020189953A1 publication Critical patent/WO2020189953A1/ko
Priority to US17/475,801 priority patent/US11979660B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654—Details concerning communication with a camera
    • G08B13/19656—Network used to communicate with a camera, e.g. WAN, LAN, Internet

Definitions

  • the present invention relates to a camera capable of capturing an image and an operation method thereof, and more particularly, to a camera that analyzes an image based on artificial intelligence, and an operation method thereof.
  • cameras communicate with external equipment such as host devices and user terminals, but cameras also communicate with each other by a peer to peer (P2P) method. You may. Nevertheless, in the past, cameras have mainly been methods of providing services by communicating with external equipment. In this case, since communication between the cameras is not generally performed, each of the cameras can operate individually.
  • P2P peer to peer
  • Artificial intelligence technology is composed of deep learning (machine learning) and elemental technologies using deep learning.
  • Deep learning is an algorithm that classifies/learns the features of input data by itself
  • element technology is a technology that simulates functions such as cognition and judgment of the human brain using deep learning, and is used for visual understanding, reasoning/prediction and knowledge expression.
  • Visual understanding is a technology that recognizes and processes objects like human vision, and may include object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image improvement.
  • Inference/prediction is a technique that logically infers and predicts information by determining information, and may include knowledge/probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and may include knowledge construction (data generation/classification), knowledge management (data utilization), and the like.
  • Embodiments of the present invention relate to an artificial intelligence camera capable of efficiently expanding an image analysis range based on artificial intelligence, and a method of operating the same.
  • each of the artificial intelligence cameras is an artificial intelligence processor configured to perform image analysis using a deep learning method. Including, but the operation method, by exchanging registration information with other artificial intelligence cameras through the network, forming a cluster for the image analysis together with the other artificial intelligence cameras; Sharing registration information of the normal cameras with the other artificial intelligence cameras so that the normal cameras can be accessed through the network; When one of the normal cameras is assigned, accessing the assigned normal camera and receiving an image captured by the assigned normal camera; Analyzing the received image using the artificial intelligence processor; And transmitting the result information according to the analysis of the received image to an external device through the network together with the assigned normal camera identifier.
  • the operation method includes the steps of receiving registration information of an additional artificial intelligence camera; And accessing the additional artificial intelligence camera according to the received registration information to add the additional artificial intelligence camera to the cluster.
  • the configuring of the cluster includes determining any one of the artificial intelligence cameras as the master node of the cluster by communicating with the other artificial intelligence camera, wherein the assigned normal camera responds to a command from the master node. Can be determined accordingly.
  • the receiving of the captured image may include receiving an event alarm signal generated by the assigned normal camera; And requesting to provide the captured image to the assigned normal camera in response to the event alarm signal.
  • the step of configuring the cluster includes determining any one of the artificial intelligence cameras as the master node of the cluster by communicating with the other artificial intelligence camera, wherein the event alarm signal may be received through the master node. have.
  • the receiving of the photographed image may include changing a setting of the allocated normal camera to a predetermined setting value in response to the event alarm signal before requesting the provision of the photographed image to the allocated normal camera. It may further include.
  • the allocated normal camera In the step of receiving the image captured by the allocated normal camera, the allocated normal camera according to whether the probability according to deep learning is greater than or equal to a threshold value when analyzing the received image using the artificial intelligence processor
  • the length of the image received from may be variably adjusted.
  • the operation method includes communicating status messages with the other artificial intelligence camera; When the other artificial intelligence camera is determined to be abnormal based on the status messages, accessing another normal camera allocated to the other artificial intelligence camera and additionally receiving an image captured by the other normal camera; Analyzing the additionally received image using the artificial intelligence processor; And transmitting result information according to the analysis of the additionally received image to the external device through the network together with the identifier of the other normal camera.
  • the artificial intelligence camera further includes an image sensor, the operation method comprising: capturing an image through the image sensor; And analyzing the captured image using the artificial intelligence processor.
  • Transmitting to the external device includes transmitting the captured image, first meta data, and second meta data to the external device, wherein the first meta data is applied to the analysis of the captured image.
  • the result information may be included, and the second metadata may include the result information according to the analysis of the received image and the identifier of the assigned normal camera.
  • the configuring of the cluster may include receiving the registration information of the other artificial intelligence camera from a user terminal; And configuring the cluster by performing communication with the other artificial intelligence camera using the received registration information.
  • the sharing of the registration information of the normal cameras with the other artificial intelligence cameras may include: receiving registration information of the normal cameras from a user terminal; And providing the received registration information to the other artificial intelligence camera.
  • a camera includes an optical system; A first processor configured to process an image generated according to light received through the optical system; A second processor that operates in response to the control of the first processor and is configured to analyze the processed image based on a deep learning method; And a network interface providing communication through a network, wherein the first processor exchanges registration information with an external artificial intelligence camera through the network, thereby configuring a cluster for image analysis together with the external artificial intelligence camera. And, so that the normal cameras can be accessed through the network, registration information of the normal cameras is shared with the external artificial intelligence camera, and when one of the normal cameras is assigned, the assigned normal camera is accessed. Receives an image photographed by the assigned normal camera, commands the second processor to analyze the received image, and provides result information according to the analysis of the received image together with an identifier of the assigned normal camera. It is configured to transmit to an external device through the network.
  • the first processor may be configured to access the additional artificial intelligence camera according to the received registration information and add the additional artificial intelligence camera to the cluster.
  • the first processor is configured to communicate with the external artificial intelligence camera to determine any one of the cluster cameras as the master node of the cluster, and the assigned normal camera may be determined according to a command from the master node. .
  • the first processor may be configured to change the setting of the assigned normal camera to a predetermined setting value before requesting the provision of the captured image to the assigned normal camera.
  • the first processor is configured to variably adjust the length of the image received from the assigned normal camera according to whether the probability according to deep learning exceeds a threshold value when analyzing the received image by the second processor. Can be.
  • an artificial intelligence camera capable of efficiently expanding an image analysis range based on artificial intelligence and a method of operating the same are provided.
  • FIG. 1 is a block diagram showing an image capturing system according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an embodiment of any one of the artificial intelligence cameras of FIG. 1.
  • FIG. 3 is a block diagram illustrating an embodiment of the main processor of FIG. 2.
  • FIG. 4 is a block diagram illustrating an embodiment of the artificial intelligence processor of FIG. 2.
  • FIG. 5 is a diagram conceptually showing an embodiment of a format of output data from an artificial intelligence camera.
  • FIG. 6 is a flow chart showing a method of analyzing an image captured by an artificial intelligence camera.
  • FIG. 7 is a flowchart illustrating a method of operating an artificial intelligence camera for configuring a cluster capable of interacting with normal cameras according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an embodiment of step S210 of FIG. 7.
  • step S220 of FIG. 7 is a flow chart showing an embodiment of step S220 of FIG. 7.
  • 10 is a table showing cluster information that is stored and shared in artificial intelligence cameras after a cluster is formed.
  • 11 is a table showing normal camera information stored and shared in artificial intelligence cameras after a cluster is formed.
  • FIG. 12 is a flowchart illustrating an embodiment of a method of adding an artificial intelligence camera to a cluster capable of interacting with normal cameras.
  • FIG. 13 is a flowchart illustrating a method of analyzing an image of a normal camera in an artificial intelligence camera included in a cluster according to an embodiment of the present invention.
  • step S420 of FIG. 12 is a flowchart showing an embodiment of step S420 of FIG. 12.
  • 15 is a flowchart illustrating a method of analyzing an image of a normal camera in an artificial intelligence camera included in a cluster according to another embodiment of the present invention.
  • At least any one of X, Y, and Z and “at least any one selected from the group consisting of X, Y, and Z” means X one, Y one, Z one, or two of X, Y, and Z, or Any combination beyond that (eg, XYZ, XYY, YZ, ZZ) can be interpreted.
  • “and/or” includes all combinations of one or more of the constituents.
  • FIG. 1 is a block diagram showing an image capturing system according to an embodiment of the present invention.
  • the imaging system may include a plurality of devices, servers, and/or software components that operate to perform methods according to the embodiments described herein.
  • the devices and servers shown in FIG. 1 may be deployed in different ways, and operations and services provided by such devices and/or servers may be combined or separated to perform the embodiments described herein. And may be performed by a greater or lesser number of devices and servers.
  • One or more devices and/or servers may be run by the same or different entities, eg companies.
  • an image capturing system 100 includes a network 50, a user terminal 110, a plurality of artificial intelligence cameras 121 to 123, and first to nth normal cameras 131. ⁇ 13n), and an image management server 140.
  • the network 50 may include at least one of a public network, at least one private network, a wired network, a wireless network, another suitable type of network, and combinations thereof.
  • Each of the components in the image capturing system 100 may include at least one of a wired communication function and a wireless communication function, and accordingly, may communicate with each other through the network 50.
  • the user terminal 110 may communicate with a plurality of artificial intelligence cameras 121 to 123, first to nth normal cameras 131 to 13n, and an image management server 140 through the network 50. .
  • the user terminal 110 may receive an image being photographed from each of the plurality of artificial intelligence cameras 121 to 123 and the first to nth normal cameras 131 to 13n in real time, and display the received image. have.
  • the user terminal 110 may access the image management server 140, receive images stored in the image management server 140, and display the received images.
  • the images stored in the image management server 140 may be images captured by the plurality of artificial intelligence cameras 121 to 123 and the first to nth normal cameras 131 to 13n.
  • the image management server 140 further stores metadata that may include various types of information, such as motion detection, face detection, intrusion detection, gun sound detection, object/pattern information, and similarity information of objects, in association with an image.
  • metadata may include various types of information, such as motion detection, face detection, intrusion detection, gun sound detection, object/pattern information, and similarity information of objects, in association with an image.
  • embodiments of the present invention are not limited thereto.
  • an image and metadata associated with the image may be stored in different databases.
  • Meta data can be provided by artificial intelligence cameras.
  • the user terminal 110 receives meta data from the image management server 140, displays information indicated by the received meta data, and transmits the image from the image management server 140 in response to a user input for selecting the meta data. It can receive and display the received image.
  • the user terminal 110 includes a computer device, wherein the computer device includes a plurality of artificial intelligence cameras 121 to 123 connected to the network 50, and first to nth normal cameras 131 to 13n. , And application applications for accessing components such as the image management server 140, receiving an image therefrom, and displaying the received image.
  • a plurality of artificial intelligence cameras 121 to 123 may be provided to the image capturing system 100.
  • Each of the first to third artificial intelligence cameras 121 to 123 includes at least one artificial intelligence processor configured to perform image analysis based on artificial intelligence.
  • Each of the first to third artificial intelligence cameras 121 to 123 captures an image, analyzes the captured image through an artificial intelligence processor, and provides the captured image and the image analysis result to the image management server 140.
  • each of the first to third artificial intelligence cameras may record audio, analyze the recorded audio through the artificial intelligence processor, and provide the recorded audio and audio analysis results to the image management server 140.
  • embodiments of the present invention will be described focusing on operations for image analysis. However, this is for convenience of explanation, and the technical idea of the present invention may be applied to audio analysis.
  • Each of the first to third artificial intelligence cameras 121 to 123 receives an image from at least one of the first to nth normal cameras 131 to 13n, analyzes the received image through an artificial intelligence processor, The image analysis result may be provided to the image management server 140.
  • the normal camera may be a non-AI camera.
  • the normal camera may include a processor configured to perform conventional event detection algorithms such as motion detection, face detection, and sound detection, not artificial intelligence, and On the other hand, it may not include an artificial intelligence processor.
  • the first to third artificial intelligence cameras 121 to 123 form a cluster for image analysis (CLST) by exchanging registration information with each other, and each normal camera is set to the artificial intelligence cameras 121 to 123 in the cluster CLST.
  • the registration information may include information for accessing the camera, such as a uniform resource locator (URL) address, an internet protocol (IP) address, a port number, and a camera login account of the artificial intelligence camera.
  • URL uniform resource locator
  • IP internet protocol
  • each artificial intelligence camera may be received from the user terminal 110 by any one of the first to third artificial intelligence cameras 121 to 123, and the first to third artificial intelligence cameras 121 to 123 ) Can be shared by In embodiments, the first to third artificial intelligence cameras 121 to 123 may periodically synchronize their registration information.
  • Whether a normal camera is allocated to each of the first to third artificial intelligence cameras 121 to 123 may be determined according to various methods. For example, the first to third artificial intelligence cameras 121 to 123 may inform each other of their available resources, and allocation to each normal camera may be performed with reference to the available resources. For example, the first to third artificial intelligence cameras 121 to 123 communicate with each other to determine an artificial intelligence camera to function as a master node, and the master node may perform a task scheduling function. The master node may allocate each normal camera to any one of the first to third artificial intelligence cameras 121 to 123 by referring to the available resources of each of the first to third artificial intelligence cameras 121 to 123. .
  • each normal camera It can be allocated to any one of the first to third artificial intelligence cameras 121 to 123, for example, by referring to an available resource, and therefore, for images of the first to nth normal cameras 131 to 13n.
  • the analysis may be efficiently performed using the first to third artificial intelligence cameras 121 to 123 without providing a server including a separate artificial intelligence function. Accordingly, even without a server including a separate artificial intelligence function, image analysis based on artificial intelligence is performed not only with images captured by the first to nth artificial intelligence cameras 121 to 123, but also the first to nth normal cameras. It may be extended to images captured by the s 131 to 13n. Accordingly, an artificial intelligence camera capable of efficiently expanding the range of image analysis based on artificial intelligence, and an image capturing system including the same can be provided.
  • FIG. 2 is a block diagram showing an embodiment of any one of the artificial intelligence cameras of FIG. 1.
  • 3 is a block diagram illustrating an embodiment of the main processor of FIG. 2.
  • 4 is a block diagram illustrating an embodiment of the artificial intelligence processor of FIG. 2.
  • the artificial intelligence camera 200 includes an optical system 205, an image sensor 210, a RAM 220 (Random Access Memory: RAM), an EEPROM (230, Electrically Erasable and Programmable Read Only Memory), and a storage ( 240), a main processor 250, a network interface 260, and an artificial intelligence (AI) processor 270.
  • an optical system 205 an image sensor 210
  • a RAM 220 Random Access Memory: RAM
  • an EEPROM 230, Electrically Erasable and Programmable Read Only Memory
  • storage 240
  • main processor 250 main processor
  • network interface 260 a network interface 260
  • AI artificial intelligence
  • the optical system 205 optically processes light from a subject.
  • the image sensor 210 may operate in response to the control of the main processor 250.
  • the image sensor 210 is configured to convert an optical signal received through the lens 205 into an electrical signal, and digitize the converted electrical signal to generate an image.
  • the image sensor 210 may include an analog-to-digital converter configured to convert an analog image signal into digital image data.
  • the RAM 220 is connected to the main processor 250.
  • the RAM 220 may temporarily store an image processed by the main processor 250.
  • the RAM 220 can be used as a buffer memory.
  • the RAM 220 may be used as a working memory of the main processor 250.
  • the Electrically Erasable and Programmable Read Only Memory (EEPROM) 230 may store program codes and/or instructions required for the operation of the main processor 250.
  • the storage 240 may store configuration data required for operations of the main processor 250. In addition, the storage 240 may further store program codes and/or instructions to be executed by the main processor 250. These program codes and/or instructions may be loaded into the RAM 220 from the storage 240 and executed by the main processor 250. At least some of the operations of the main processor 250 to be described below may be performed by executing these program codes and/or instructions by the main processor 250.
  • the storage 240 may include a nonvolatile storage medium such as a flash memory.
  • the main processor 250 controls all operations of the artificial intelligence camera 200.
  • the main processor 250 may communicate with components connected to the network 50 (refer to FIG. 1) through the network interface 260.
  • the main processor 250 is configured to properly process the image received from the image sensor 210, and may transmit the processed image to the user terminal 110 through the network interface 260 in a live-view.
  • the main processor 250 may upload the processed image to the image management server 140 through the network interface 260.
  • the main processor 250 may receive audio data received through a microphone (not shown), properly process the received audio data, and transmit the processed audio data to an external device through the network interface 260.
  • audio data and image data may constitute multimedia data.
  • the main processor 250 includes a core processor 251, a data formatter 252, a data converter 253, a resizer 254, an MPEG (Moving Picture Experts Group) encoder 255, and JPEG (Joint Photographic Experts Group) encoder 256.
  • a core processor 251 a data formatter 252
  • a data converter 253 a data converter 253
  • a resizer 254 an MPEG (Moving Picture Experts Group) encoder 255
  • JPEG Joint Photographic Experts Group
  • the core processor 251 controls all operations of the artificial intelligence camera 200 (refer to FIG. 2 ).
  • the core processor 251 controls the data formatter 252, the data converter 253, the resizer 254, the MPEG encoder 255, and the JPEG encoder 256.
  • the data formatter 252 stores an image from the image sensor 210 (refer to FIG. 2) in the RAM 220, and the data conversion unit 253 is red (R), green (G), and blue (B).
  • the format image data is converted into image data in the luminance (Y) and color difference (Cb, Cr) format, and the resizer 254 may convert the resolution of the image data.
  • the MPEG encoder 255 is a video encoder and compresses video data
  • the JPEG encoder 256 is a still video encoder and can compress still video data.
  • the main processor 250 is configured to process an image received from the image sensor 210.
  • components for image processing such as data formatter 252, data converter 253, resizer 254, MPEG encoder 255, and JPEG encoder 256 are hardware, software, and firmware, respectively. , And may be implemented through a combination thereof, may be combined with each other or separated into more components.
  • the software is the storage 240 of FIG. It may be stored in a computer-readable storage medium such as, and executed by the core processor 251.
  • at least some of the components for image processing such as data formatter 252, data converter 253, resizer 254, MPEG encoder 255, and JPEG encoder 256 It can be implemented through one dedicated processor such as a unit.
  • the main processor 250 may command the artificial intelligence processor 270 to analyze the processed image.
  • the artificial intelligence processor 270 is configured to analyze the processed image based on the artificial intelligence method.
  • the video analysis result is temporarily stored in the RAM 220, for example, and the main processor 250 transmits the video analysis result to the user terminal 110 or the video management server 140 together with the corresponding video through the network interface 260. Can be transmitted.
  • the artificial intelligence processor 270 may include a data learning unit 271 and a data analysis unit 272.
  • the data learning unit 271 may include a deep learning framework, and accordingly, may perform a neural network algorithm such as a convolutional neural network (CNN), and a vision algorithm such as Scale Invariant Feature Transform (SIFT).
  • the data learning unit 271 may learn various image analysis criteria, such as object/pattern recognition and similarity inspection of objects.
  • the data learning unit 271 may transcribe and inferencing criteria regarding which data to use for image analysis.
  • the data learning unit 271 may learn a criterion for image analysis by acquiring data to be used for training and applying the acquired data to a data analysis model.
  • the data analysis unit 272 may analyze an input image in response to a request from the main processor 250 (see FIG. 2 ).
  • the data analysis unit 272 may perform image analysis using the learned data recognition model.
  • the data analysis unit 272 may acquire data according to criteria set by learning, perform image analysis by using a data analysis model using the acquired data as an input value, and output result information according to the analysis. . Also, the result information of the image analysis may be used to update the data analysis model.
  • the data learning unit 271 and the data analysis unit 272 may be implemented through hardware, software, firmware, and combinations thereof, respectively, and may be combined with each other or separated into more components. At least one of the data learning unit 271 and the data analysis unit 272 may be implemented in the form of a dedicated hardware chip for artificial intelligence, or may be implemented through a general-purpose processor or a graphics processor. When at least one of the data learning unit 271 and the data analysis unit 272 is implemented as software, the software may be stored in a computer-readable storage medium such as the storage 240 of FIG. 2, and the general purpose processor or It can be executed by a processor such as a dedicated graphics processor.
  • the data learning unit 271 and the data analysis unit 272 may be mounted on one electronic device, or may be mounted on separate electronic devices, respectively.
  • the data learning unit 271 may be included in an external device, and the data analysis unit 272 may be included in the artificial intelligence camera 200 (refer to FIG. 2 ).
  • the data learning unit 271 and the data analysis unit 272 may communicate by wire or wirelessly, and the data learning unit 271 may provide the constructed model information to the data analysis unit 272,
  • the data input to the data analysis unit 272 may be provided to the data learning unit 271 as additional learning data.
  • the main processor 250 configures a cluster (CLST, see FIG. 1) for image analysis by exchanging registration information with other artificial intelligence cameras, and the first to nth normal cameras ( Registration information of the first to n-th normal cameras 131 to 13n may be shared with other artificial intelligence cameras so that access to the 131 to 13n) may be performed. Communication with other artificial intelligence cameras and the first to nth normal cameras 131 to 13n is performed through the network interface 260. When any one of the first to nth normal cameras 131 to 13n is assigned, the main processor 250 may control the artificial intelligence processor 270 to analyze an image captured by the assigned normal camera. .
  • FIG. 5 is a diagram conceptually showing an embodiment of a format of output data from an artificial intelligence camera.
  • the main processor 250 receives output data DOUT including video (VD), audio (AD), first metadata (META1), and second metadata (META2). It may be transmitted to the user terminal 110 or the image management server 140 through the network interface 260.
  • the video VD and the audio AD are generated by the main processor 250 as described with reference to FIG. 2.
  • the first metadata META1 may include analysis result information of the artificial intelligence processor 270 on the video (VD) and/or the audio (AD).
  • the second metadata META2 may include analysis result information of the artificial intelligence processor 270 for the image and/or audio received from the normal camera.
  • the second meta data META2 may further include an identifier of a corresponding normal camera.
  • the identifier may include various types of data that can identify the normal camera, such as an ID and an IP address of the normal camera. Accordingly, the user terminal 110 or the image management server 140 that receives the output data DOUT can determine that the second meta data META2 included in the output data DOUT corresponds to a certain normal camera. have.
  • main processor 250 More details related to the operations of the main processor 250 are described below.
  • FIG. 6 is a flow chart showing a method of analyzing an image captured by an artificial intelligence camera.
  • step S110 an image is captured through the image sensor 210.
  • step S120 the captured image is analyzed using the artificial intelligence processor 270.
  • the main processor 250 may process the image captured through the image sensor 210 and command the artificial intelligence processor 270 to analyze the processed image.
  • the main processor 250 stores the captured image, audio, and result information according to the analysis of the image, the image VD field, the audio AD field, and the first meta data META1 of the output data DOUT shown in FIG. 5. ) Can be included in each field.
  • FIG. 7 is a flowchart illustrating a method of operating an artificial intelligence camera for configuring a cluster capable of interacting with normal cameras according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating an embodiment of step S210 of FIG. 7.
  • 9 is a flow chart showing an embodiment of step S220 of FIG. 7.
  • the artificial intelligence camera 200 exchanges registration information with other artificial intelligence cameras to form a cluster for image analysis together with other artificial intelligence cameras.
  • the first to third artificial intelligence cameras 121 to 123 can communicate with each other through the network 50 as described with reference to FIG. 1, and each artificial intelligence camera transmits registration information to another artificial intelligence camera. And, by receiving registration information from other artificial intelligence cameras, a cluster CLST including the artificial intelligence cameras 121 to 123 may be created.
  • Registration information of each artificial intelligence camera may be provided from a user through the user terminal 110.
  • the artificial intelligence camera 200 receives registration information of another artificial intelligence camera from the user terminal 110 (S211), and communicates with the artificial intelligence camera corresponding to the received registration information.
  • a cluster can be formed with an intelligent camera. For example, when the user terminal 110 accesses the first artificial intelligence camera 121 and provides registration information of the second and third artificial intelligence cameras 122 and 123, the first artificial intelligence camera 121 As each of the second and third artificial intelligence cameras 122 and 123 is accessed using the provided registration information, the first to third artificial intelligence cameras 121 to 123 can share each other's registration information. have. Accordingly, a cluster CLST including the first to third artificial intelligence cameras 121 to 123 may be generated.
  • the first to third artificial intelligence cameras 121 to 123 of the cluster CLST communicate with each other to perform negotiation to determine any one of them as a master node. Accordingly, one of the first to third artificial intelligence cameras 121 to 123 may function as a master node, and the remaining artificial intelligence cameras may function as an agent node.
  • the master node sets each of the first to nth normal cameras 131 to 13n to perform image analysis using a deep learning method on the images of the first to nth normal cameras 131 to 13n. It can be assigned to any one of the third artificial intelligence cameras 121 to 123.
  • the artificial intelligence camera 200 shares registration information of the first to nth normal cameras 131 to 13n with other artificial intelligence cameras. Accordingly, each of the first to third artificial intelligence cameras 121 to 123 can access the first to nth normal cameras 131 to 13n through the network 50.
  • the artificial intelligence camera 200 may provide registration information of the normal camera to another artificial intelligence camera, and may also receive registration information of the normal camera from another artificial intelligence camera.
  • the registration information may include information for accessing the camera, such as a uniform resource locator (URL) address, an internet protocol (IP) address, a port number, and a camera login account of the normal camera.
  • URL uniform resource locator
  • IP internet protocol
  • Registration information of the normal camera may be provided from a user through the user terminal 110. Registration information of the first to nth normal cameras 131 to 13n may be shared with the first to third artificial intelligence cameras 121 to 123 according to various methods. 9, the artificial intelligence camera 200 receives the registration information of the first to nth normal cameras 131 to 13n from the user terminal 110 (S221), and the received registration information to another artificial intelligence. You can provide it to the camera. For example, when the user terminal 110 provides the registration information of the first to nth normal cameras 131 to 13n to the first artificial intelligence camera 121, the first artificial intelligence camera 121 is provided Information may be provided to the second and third artificial intelligence cameras 122 and 123.
  • 10 is a table showing cluster information that is stored and shared in artificial intelligence cameras after a cluster is formed.
  • the first to third artificial intelligence cameras 121 to 123 in the cluster CLST may store and share the cluster information CLSTIF.
  • the cluster information CLSTIF is an IP address corresponding to each of the identifiers AICAM1, AICAM2, and AICAM3 of the first to third artificial intelligence cameras 121 to 123, based on artificial intelligence. It may include the amount of use of the artificial intelligence processor and the amount of the main processor according to the processing of the tasks.
  • the cluster information CLSTIF is collected by a master node among the first to third artificial intelligence cameras 121 to 123 and may be shared with all of the first to third artificial intelligence cameras 121 to 123. Referring to the usage of the artificial intelligence processor and the usage of the main processor in the cluster information CLSTIF, the master node sets each of the first to nth normal cameras 131 to 13n to the first to third artificial intelligence cameras 121 to 123).
  • the user may access at least a part of the cluster information CLSTIF by accessing any one of the first to third artificial intelligence cameras 121 to 123 of the cluster CLST through the user terminal 110.
  • FIG. 11 is a table showing normal camera information stored and shared in artificial intelligence cameras after a cluster is formed. In FIG. 11, it is illustrated that five normal cameras are provided to an image capturing system for convenience of description.
  • the first to third artificial intelligence cameras 121 to 123 in the cluster CLST may store and share normal camera information NRMCAMIF.
  • the normal camera information NRMCAMIF includes an IP address and a detection event type corresponding to each of the identifiers NRMCAM1 to NRMCAM5 of the first to fifth normal cameras 131 to 135.
  • the normal camera may include a processor configured to perform image analysis based on at least one of conventional event detection algorithms other than artificial intelligence, and the normal camera information (NRMCAMIF) may include event detection employed in the normal camera. More information about the event type of the algorithm can be stored.
  • the detection event type may include motion detection, face detection, and sound detection.
  • FIG. 12 is a flowchart illustrating an embodiment of a method of adding an artificial intelligence camera to a cluster capable of interacting with normal cameras.
  • the artificial intelligence camera 200 may receive registration information of the additional artificial intelligence camera from the user terminal 110.
  • the artificial intelligence camera 200 accesses the additional artificial intelligence camera according to the received registration information and adds the corresponding artificial intelligence camera to the cluster CLST.
  • the received registration information may be shared with artificial intelligence cameras in the cluster CLST including the artificial intelligence camera 200. For example, if the registration information of the additional artificial intelligence camera input by the user is provided to the first artificial intelligence camera 121 through the user terminal 110, the first artificial intelligence camera 121 provides the provided registration information. It can be transmitted to the second and third artificial intelligence cameras (122, 123).
  • Each of the first to third artificial intelligence cameras 121 to 123 accesses an additional artificial intelligence camera according to the provided registration information, and the first to third artificial intelligence cameras 121 to 123 and the additional artificial intelligence camera You can share your registration information. Accordingly, the artificial intelligence camera may be added to the cluster CLST.
  • the artificial intelligence camera 200 may share registration information of each normal camera with the added artificial intelligence camera.
  • the first to third artificial intelligence cameras 121 to 123 may share normal camera information (NRMCAMIF, see FIG. 11) to an additional artificial intelligence camera.
  • the resources of the cluster can be relatively easily expanded, and therefore, through the addition of an artificial intelligence camera that can take an image by itself, without providing or expanding a server including a separate artificial intelligence function.
  • an artificial intelligence camera that can take an image by itself, without providing or expanding a server including a separate artificial intelligence function.
  • FIG. 13 is a flowchart illustrating a method of analyzing an image of a normal camera in an artificial intelligence camera included in a cluster according to an embodiment of the present invention.
  • any one of the first to nth normal cameras 131 to 13n may be allocated to the artificial intelligence camera 200.
  • the allocation may be performed by the master node among the first to third artificial intelligence cameras 121 to 123 in the cluster CLST.
  • the artificial intelligence camera 200 may be a master node or an agent node.
  • step S420 is performed.
  • step S420 the artificial intelligence camera 200 accesses the assigned normal camera and receives an image captured by the assigned normal camera.
  • step S430 the artificial intelligence camera 200 analyzes the received image using the artificial intelligence processor 270.
  • step S440 the artificial intelligence camera 200 transmits the result information according to the analysis of the image to the image management server 140 together with the identifier of the assigned normal camera.
  • the artificial intelligence camera 200 may include the result information according to the analysis of the image and the identifier of the normal camera in the second meta data META2 field of the output data DOUT shown in FIG. 5.
  • each normal camera is composed of artificial intelligence cameras 121 ⁇ 123), for example, can be allocated by referring to available resources, and therefore, analysis of images of the first to nth normal cameras 131 to 13n is performed by a server including a separate artificial intelligence function. It can be efficiently performed using the previously provided artificial intelligence cameras (121 to 123) without providing. Accordingly, even without a server including a separate artificial intelligence function, image analysis based on artificial intelligence is performed not only with images captured by the first to nth artificial intelligence cameras 121 to 123, but also the first to nth normal cameras. It may be extended to images captured by the s 131 to 13n. Accordingly, an image analysis method capable of efficiently expanding the range of image analysis based on artificial intelligence may be provided.
  • step S420 of FIG. 12 is a flowchart showing an embodiment of step S420 of FIG. 12.
  • step S421 the artificial intelligence camera 200 may receive an event alarm signal from any one of the allocated normal cameras 131 to 131.
  • step S422 may be performed.
  • the normal camera may be configured to perform conventional event detection algorithms such as motion detection, face detection, and sound detection, not artificial intelligence, and may generate an event alarm signal in response to detection of the event.
  • the artificial intelligence camera 200 may request the normal camera to provide an event alarm signal in response to detection of an event in response to the allocation of the normal camera, and the normal camera may request the artificial intelligence camera 200 to provide an event. It can provide an alarm signal.
  • the master node may request the normal camera to provide an event alarm signal in response to detection of an event, and the normal camera may provide the event alarm signal to the master node. In this manner, when the artificial intelligence camera 200 is a master node, it may receive an event alarm signal from the normal camera. When the artificial intelligence camera 200 is an agent node, an event alarm signal may be received through the master node.
  • the normal camera When the normal camera detects an event, it can enter a special mode that supports image analysis through artificial intelligence (or deep learning). For example, the normal camera may change internal set values with preset values. Since the detection of an event means that image analysis through artificial intelligence is necessary, the set values can be changed to preset values suitable for image analysis through artificial intelligence. An image suitable for image analysis through artificial intelligence and an image transmitted to the image management server 140 to be provided to a user through a display may be different. When a normal camera is set to shoot an image suitable for image analysis through artificial intelligence, a user viewing an image received through the image management server 140 may feel uncomfortable. For this reason, the normal camera may be normally set to shoot an image suitable for being provided to a user.
  • the artificial intelligence camera 200 when the artificial intelligence camera 200 performs image analysis by receiving an image suitable to be provided to a user, it is required to perform pre-processing on the image to be suitable for image analysis. A lot of noise may occur in the image during the pre-processing process, and it may take a lot of time. For this reason, the setting values of the normal camera are changed to values suitable for image analysis through artificial intelligence, and the artificial intelligence camera 200 may receive an image captured under the corresponding setting from the normal camera. Accordingly, the artificial intelligence camera 200 may not perform pre-processing on the image or perform image analysis quickly and accurately through a reduced pre-processing process.
  • setting values such as sharpness or exposure are adjusted to suit the artificial intelligence camera 200, so that the image quality of the normal camera is suitable for artificial intelligence (or deep learning).
  • the normal camera may change set values in response to a set value control request from the artificial intelligence camera 200 and may change set values in response to detection of an event. Alternatively, setting values may be changed in response to the control of the image management server 140.
  • the entry of the normal camera to the special mode may be performed before step S422.
  • the normal camera can change internal set values with special mode values only while capturing frames necessary for image analysis through artificial intelligence, and then restore the set values back to the previous set values.
  • the artificial intelligence camera 200 may control the normal camera to restore set values when the image analysis of the artificial intelligence camera 200 is finished.
  • step S422 in response to the event alarm signal, the artificial intelligence camera 200 requests the normal camera to provide the captured image.
  • the artificial intelligence camera 200 may receive an image from the normal camera and analyze the received image using the artificial intelligence processor 270.
  • the artificial intelligence camera 200 may receive an image by accessing the assigned normal camera at all times and analyze the received image.
  • the artificial intelligence camera 200 determines the length of the image received from the normal camera through steps S422 and S423 according to whether the probability of deep learning (or artificial intelligence) exceeds the threshold. It can be controlled variably.
  • the artificial intelligence processor 270 may output probabilities according to deep learning, together with image analysis through deep learning, for example, and may mean that the image analysis is completed when the probability is greater than or equal to a threshold. If the probability according to deep learning exceeds the threshold value, additional image analysis is not required, so the artificial intelligence camera 200 and/or the main processor 250 are used from the normal camera according to whether the probability according to deep learning becomes higher than the threshold value.
  • the length of the received video can be variably adjusted.
  • the artificial intelligence camera 200 may receive an image of a relatively short length or an image of a relatively long length depending on whether the probability according to deep learning exceeds a threshold. For example, if an additional image is required, the artificial intelligence camera 200 may additionally request and receive an image. In this case, the length of the additional image and the number of times to request an additional image are variable according to the probability according to deep learning. Can be adjusted.
  • an additional still image may be requested depending on whether the probability of deep learning is greater than or equal to a threshold, and the artificial intelligence camera 200 may request a dynamic image from the normal camera.
  • the artificial intelligence camera 200 may request to stop transmitting the dynamic video according to whether the probability according to deep learning becomes more than a threshold.
  • the artificial intelligence camera 200 may variably control the length of the image received from the normal camera according to whether the probability according to the deep learning exceeds the threshold value. Accordingly, the time to change or restore the setting values of the normal camera may be accelerated.
  • 15 is a flowchart illustrating a method of analyzing an image of a normal camera in an artificial intelligence camera included in a cluster according to another embodiment of the present invention.
  • the artificial intelligence camera 200 transmits and receives status messages with other artificial intelligence cameras to determine abnormality among the artificial intelligence cameras 121 to 123 in the cluster CLST. It determines whether there is an artificial intelligence camera.
  • the artificial intelligence cameras 121 to 123 may periodically exchange status messages.
  • step S520 the artificial intelligence camera 200 performs step S530 when the artificial intelligence camera in the cluster (CLST) is abnormal.
  • the artificial intelligence camera 200 is a master node of the cluster CLST.
  • Step S530 may be performed by the master node.
  • the artificial intelligence camera 200 may allocate a normal camera that has been assigned to an abnormal artificial intelligence camera to another artificial intelligence camera.
  • the master node allocates the corresponding normal camera to any one of the first to third artificial intelligence cameras 121 to 123 by referring to the amount of the artificial intelligence processor and the amount of the main processor in the cluster information (CLSTIF, see FIG. 10). can do.
  • CLSTIF cluster information
  • step S540 the artificial intelligence camera 200 receives an image by accessing the assigned normal camera.
  • step S550 the artificial intelligence camera 200 analyzes the received image using the artificial intelligence processor 270.
  • step S560 the artificial intelligence camera 200 transmits the result information according to the analysis of the image to the image management server 140 together with the identifier of the normal camera.
  • abnormal resources in the cluster CLST can be relatively easily excluded from the cluster CLST, and therefore, image analysis based on artificial intelligence can be stably performed on the image of the normal camera.
  • image analysis based on artificial intelligence can be stably performed on the image of the normal camera.
  • the time during which image analysis based on artificial intelligence is not provided for a normal camera may be reduced or minimized.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)

Abstract

네트워크를 통해 서로 통신할 수 있는 인공지능 카메라들 중 어느 하나의 동작 방법에 있어서, 인공지능 카메라들 각각은 딥 러닝 방식을 이용한 영상 분석을 수행하도록 구성되는 인공지능 프로세서를 포함하되, 동작 방법은, 네트워크를 통해 다른 인공지능 카메라와 서로 등록 정보를 교환함으로써 다른 인공지능 카메라와 함께 영상 분석을 위한 클러스터를 구성하는 단계, 네트워크를 통해 노멀 카메라들에 액세스할 수 있도록 노멀 카메라들의 등록 정보를 다른 인공지능 카메라와 공유하는 단계, 노멀 카메라들 중 하나를 할당받을 때, 할당된 노멀 카메라에 액세스하여 할당된 노멀 카메라에 의해 촬영된 영상을 수신하는 단계, 인공지능 프로세서를 이용하여 수신된 영상을 분석하는 단계, 그리고 수신된 영상의 분석에 따른 결과 정보를 할당된 노멀 카메라의 식별자와 함께 네트워크를 통해 외부 장치로 전송하는 단계를 포함한다.

Description

인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
본 발명은 영상을 촬영할 수 있는 카메라 및 그것의 동작 방법에 관한 것으로, 좀 더 구체적으로는 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법에 관한 것이다.
통신 네트워크를 통하여 외부 장비와 연결된 카메라들을 포함하는 영상 촬영 시스템에서, 카메라들은 호스트 장치 및 사용자 단말기와 같은 외부 장비와 통신을 수행하지만, 카메라들도 서로 P2P(peer to peer) 방식에 의하여 통신을 수행할 수도 있다. 그럼에도 불구하고, 종래에는 카메라들은 외부 장비와 통신하여 서비스를 제공하는 방식들이 주를 이루었다. 이러한 경우, 카메라들 사이의 통신은 일반적으로 수행되지 않아 카메라들 각각은 개별적으로 동작할 수 있다.
한편, 인공지능 기능을 포함하는 카메라가 개발되고 있다. 인공지능 기술은 딥 러닝(기계학습) 및 딥 러닝을 활용한 요소 기술들로 구성된다. 딥 러닝은 입력 데이터의 특징들을 스스로 분류/학습하는 알고리즘이며, 요소 기술은 딥 러닝을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 시각적 이해, 추론/예측, 지식 표현 등의 기술들을 포함할 수 있다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함할 수 있다. 추론/예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함할 수 있다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함할 수 있다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 실시 예들은 인공지능에 기반한 영상 분석 범위를 효율적으로 확장시킬 수 있는 인공지능 카메라 및 그것의 동작 방법에 관한 것이다.
본 발명의 실시 예에 따른 네트워크를 통해 서로 통신할 수 있는 인공지능 카메라들 중 어느 하나의 동작 방법에 있어서, 상기 인공지능 카메라들 각각은 딥 러닝 방식을 이용한 영상 분석을 수행하도록 구성되는 인공지능 프로세서를 포함하되, 상기 동작 방법은, 상기 네트워크를 통해 다른 인공지능 카메라와 서로 등록 정보를 교환함으로써, 상기 다른 인공지능 카메라와 함께 상기 영상 분석을 위한 클러스터를 구성하는 단계; 상기 네트워크를 통해 노멀 카메라들에 액세스할 수 있도록, 상기 노멀 카메라들의 등록 정보를 상기 다른 인공지능 카메라와 공유하는 단계; 상기 노멀 카메라들 중 하나를 할당받을 때, 상기 할당된 노멀 카메라에 액세스하여 상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하는 단계; 상기 인공지능 프로세서를 이용하여 상기 수신된 영상을 분석하는 단계; 및 상기 수신된 영상의 상기 분석에 따른 결과 정보를 상기 할당된 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 외부 장치로 전송하는 단계를 포함한다.
상기 동작 방법은 추가적인 인공지능 카메라의 등록 정보를 수신하는 단계; 및 상기 수신된 등록 정보에 따라 상기 추가적인 인공지능 카메라에 액세스하여 상기 추가적인 인공지능 카메라를 상기 클러스터에 추가하는 단계를 더 포함할 수 있다.
상기 클러스터를 구성하는 단계는 상기 다른 인공지능 카메라와 통신하여 상기 인공지능 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하는 단계를 포함하되, 상기 할당된 노멀 카메라는 상기 마스터 노드로부터의 커맨드에 따라 결정될 수 있다.
상기 촬영된 영상을 수신하는 단계는, 상기 할당된 노멀 카메라에서 생성된 이벤트 알람 신호를 수신하는 단계; 및 상기 이벤트 알람 신호에 응답하여 상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하는 단계를 포함할 수 있다.
상기 클러스터를 구성하는 단계는 상기 다른 인공지능 카메라와 통신하여 상기 인공지능 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하는 단계를 포함하되, 상기 이벤트 알람 신호는 상기 마스터 노드를 통해 수신될 수 있다.
상기 촬영된 영상을 수신하는 단계는, 상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하기 전에, 상기 이벤트 알람 신호에 응답하여 상기 할당된 노멀 카메라의 설정을 소정의 설정값으로 변경하는 단계를 더 포함할 수 있다.
상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하는 단계에서, 상기 인공지능 프로세서를 이용하여 상기 수신된 영상을 분석할 때 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라, 상기 할당된 노멀 카메라로부터 수신하는 상기 영상의 길이는 가변적으로 조절될 수 있다.
상기 동작 방법은 상기 다른 인공지능 카메라와 상태 메시지들을 통신하는 단계; 상기 상태 메시지들에 근거하여 상기 다른 인공지능 카메라가 비정상으로 판별될 때, 상기 다른 인공지능 카메라에 할당된 다른 노멀 카메라에 액세스하여 상기 다른 노멀 카메라에 의해 촬영된 영상을 추가적으로 수신하는 단계; 상기 인공지능 프로세서를 이용하여 상기 추가적으로 수신된 영상을 분석하는 단계; 및 상기 추가적으로 수신된 영상의 상기 분석에 따른 결과 정보를 상기 다른 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 상기 외부 장치로 전송하는 단계를 더 포함할 수 있다.
상기 인공지능 카메라는 이미지 센서를 더 포함하되, 상기 동작 방법은 상기 이미지 센서를 통해 영상을 촬영하는 단계; 및 상기 인공지능 프로세서를 이용하여 상기 촬영된 영상을 분석하는 단계를 더 포함할 수 있다.
상기 외부 장치로 전송하는 단계는, 상기 촬영된 영상, 제 1 메타 데이터, 및 제 2 메타 데이터를 상기 외부 장치로 전송하는 단계를 포함하되, 상기 제 1 메타 데이터는 상기 촬영된 영상의 상기 분석에 따른 결과 정보를 포함하고, 상기 제 2 메타 데이터는 상기 수신된 영상의 상기 분석에 따른 상기 결과 정보를 및 상기 할당된 노멀 카메라의 상기 식별자를 포함할 수 있다.
상기 클러스터를 구성하는 단계는, 사용자 단말기로부터 상기 다른 인공지능 카메라의 상기 등록 정보를 수신하는 단계; 및 상기 수신된 등록 정보를 이용하여 상기 다른 인공지능 카메라와 통신을 수행함으로써 상기 클러스터를 구성하는 단계를 포함할 수 있다.
상기 노멀 카메라들의 등록 정보를 상기 다른 인공지능 카메라와 공유하는 단계는, 사용자 단말기로부터 상기 노멀 카메라들의 등록 정보를 수신하는 단계; 및 상기 수신된 등록 정보를 상기 다른 인공지능 카메라에 제공하는 단계를 포함할 수 있다.
본 발명의 다른 일면은 카메라에 관한 것이다. 본 발명의 실시 예에 따른 카메라는, 광학계; 상기 광학계를 통해 수신되는 빛에 따라 생성된 영상을 처리하도록 구성되는 제 1 프로세서; 상기 제 1 프로세서의 제어에 응답하여 동작하되, 딥 러닝 방식에 기반하여 상기 처리된 영상을 분석하도록 구성되는 제 2 프로세서; 및 네트워크를 통한 통신을 제공하는 네트워크 인터페이스를 포함하되, 상기 제 1 프로세서는, 상기 네트워크를 통해 외부 인공지능 카메라와 서로 등록 정보를 교환함으로써, 상기 외부 인공지능 카메라와 함께 영상 분석을 위한 클러스터를 구성하고, 상기 네트워크를 통해 노멀 카메라들에 액세스할 수 있도록, 상기 노멀 카메라들의 등록 정보를 상기 외부 인공지능 카메라와 공유하고, 상기 노멀 카메라들 중 하나를 할당받을 때, 상기 할당된 노멀 카메라에 액세스하여 상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하고, 상기 제 2 프로세서에 상기 수신된 영상을 분석하도록 커맨드하고, 상기 수신된 영상의 상기 분석에 따른 결과 정보를 상기 할당된 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 외부 장치로 전송하도록 구성된다.
상기 제 1 프로세서는 추가적인 인공지능 카메라의 등록 정보가 수신될 때, 상기 수신된 등록 정보에 따라 상기 추가적인 인공지능 카메라에 액세스하여 상기 추가적인 인공지능 카메라를 상기 클러스터에 추가하도록 구성될 수 있다.
상기 제 1 프로세서는 상기 외부 인공지능 카메라와 통신하여 상기 클러스터의 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하도록 구성되고, 상기 할당된 노멀 카메라는 상기 마스터 노드로부터의 커맨드에 따라 결정될 수 있다.
상기 제 1 프로세서는 상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하기 전에, 상기 할당된 노멀 카메라의 설정을 소정의 설정값으로 변경하도록 구성될 수 있다.
상기 제 1 프로세서는 상기 제 2 프로세서에서 상기 수신된 영상을 분석할 때 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라, 상기 할당된 노멀 카메라로부터 수신하는 상기 영상의 길이를 가변적으로 조절하도록 구성될 수 있다.
본 발명의 실시 예들에 따르면, 인공지능에 기반한 영상 분석 범위를 효율적으로 확장시킬 수 있는 인공지능 카메라 및 그것의 동작 방법이 제공된다.
도 1은 본 발명의 실시 예에 따른 영상 촬영 시스템을 보여주는 블록도이다.
도 2는 도 1의 인공지능 카메라들 중 어느 하나의 실시 예를 보여주는 블록도이다.
도 3은 도 2의 메인 프로세서의 실시 예를 보여주는 블록도이다.
도 4는 도 2의 인공지능 프로세서의 실시 예를 보여주는 블록도이다.
도 5는 인공지능 카메라의 출력 데이터의 포멧의 실시 예를 개념적으로 보여주는 도면이다.
도 6은 인공지능 카메라에 의해 촬영된 영상을 분석하는 방법을 보여주는 순서도이다.
도 7은 본 발명의 실시 예에 따른 노멀 카메라들과 인터랙션할 수 있는 클러스터를 구성하기 위한 인공지능 카메라의 동작 방법을 보여주는 순서도이다.
도 8은 도 7의 S210단계의 실시 예를 보여주는 순서도이다.
도 9는 도 7의 S220단계의 실시 예를 보여주는 순서도이다.
도 10은 클러스터를 구성한 후 인공지능 카메라들에 저장 및 공유되는 클러스터 정보를 보여주는 테이블이다.
도 11은 클러스터를 구성한 후 인공지능 카메라들에 저장 및 공유되는 노멀 카메라 정보를 보여주는 테이블이다.
도 12는 노멀 카메라들과 인터랙션할 수 있는 클러스터에 인공지능 카메라를 추가하는 방법의 실시 예를 보여주는 순서도이다.
도 13은 본 발명의 실시 예에 따른 클러스터에 포함된 인공지능 카메라에서 노멀 카메라의 영상을 분석하는 방법을 보여주는 순서도이다.
도 14는 도 12의 S420단계의 실시 예를 보여주는 순서도이다.
도 15는 본 발명의 다른 실시 예에 따른 클러스터에 포함된 인공지능 카메라에서 노멀 카메라의 영상을 분석하는 방법을 보여주는 순서도이다.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 모호하지 않도록 하기 위해 생략될 것이라는 것을 유의하여야 한다. 또한 본 발명은 여기에서 설명되는 실시 예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 여기에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 여기에서 사용된 용어는 특정한 실시예들을 설명하기 위한 것이며 본 발명을 한정하기 위한 것이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 해석될 수 있다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
도 1은 본 발명의 실시 예에 따른 영상 촬영 시스템을 보여주는 블록도이다.
영상 촬영 시스템은 여기에 설명된 실시 예들에 따른 방법들을 수행하도록 동작하는 복수의 장치들, 서버들, 및/또는 소프트웨어 구성 요소들을 포함할 수 있다. 도 1에 도시된 장치들 및 서버들은 다른 방식으로 배치될 수 있고, 그러한 장치들 및/또는 서버들에 의해 제공되는 동작들 및 서비스들은 여기에 설명된 실시 예들을 수행하기 위해 결합되거나 분리될 수 있으며, 더 많은 수 혹은 더 적은 수의 장치들 및 서버들에 의해 수행될 수도 있다. 하나 또는 그 이상의 장치들 및/또는 서버들은 동일한 혹은 다른 독립체들(entities), 예를 들면 기업들에 의해 구동될 수 있다.
도 1을 참조하면, 영상 촬영 시스템(100)은 네트워크(50), 사용자 단말기(110), 복수의 인공지능(artificial intelligence) 카메라들(121~123), 제 1 내지 제 n 노멀 카메라들(131~13n), 및 영상 관리 서버(140)를 포함할 수 있다.
네트워크(50)는 공용 네트워크(public network), 적어도 하나의 사설 네트워크(private network), 유선 네트워크, 무선 네트워크, 다른 적절한 타입의 네트워크, 및 그것들의 조합들 중 적어도 하나를 포함할 수 있다. 영상 촬영 시스템(100) 내 구성 요소들 각각은 유선 통신 기능 및 무선 통신 기능 중 적어도 하나를 포함할 수 있으며, 그에 따라 네트워크(50)를 통해 상호 간 통신할 수 있다.
사용자 단말기(110)는 네트워크(50)를 통해 복수의 인공지능 카메라들(121~123), 제 1 내지 제 n 노멀 카메라들(131~13n), 및 영상 관리 서버(140)와 통신할 수 있다. 사용자 단말기(110)는 복수의 인공지능 카메라들(121~123) 및 제 1 내지 제 n 노멀 카메라들(131~13n) 각각으로부터 촬영되고 있는 영상을 실시간으로 수신하고, 수신된 영상을 디스플레이할 수 있다. 또한, 사용자 단말기(110)는 영상 관리 서버(140)에 액세스하여, 영상 관리 서버(140)에 저장된 영상들을 수신하고, 수신된 영상들을 디스플레이할 수 있다. 이때, 영상 관리 서버(140)에 저장된 영상들은 복수의 인공지능 카메라들(121~123) 및 제 1 내지 제 n 노멀 카메라들(131~13n)에 의해 촬영된 영상들일 수 있다.
영상 관리 서버(140)는 영상과 연관하여 움직임 감지, 얼굴 감지, 침입 감지, 총 소리 감지, 오브젝트/패턴 정보, 오브젝트들의 유사도 정보 등 다양한 타입들을 정보를 포함할 수 있는 메타 데이터를 더 저장한다. 그러나, 본 발명의 실시 예들은 여기에 한정되지 않는다. 예를 들면, 영상 및 영상과 연관된 메타 데이터는 서로 다른 데이터베이스들에 저장될 수 있다.
메타 데이터는 인공지능 카메라에 의해 제공될 수 있다. 사용자 단말기(110)는 영상 관리 서버(140)로부터 메타 데이터를 수신하고, 수신된 메타 데이터가 나타내는 정보를 디스플레이하고, 메타 데이터를 선택하는 사용자 입력에 응답하여 영상 관리 서버(140)로부터 해당 영상을 수신하고, 수신된 영상을 디스플레이할 수 있다.
실시 예들에서, 사용자 단말기(110)는 컴퓨터 장치를 포함하되, 컴퓨터 장치는 네트워크(50)에 연결된 복수의 인공지능 카메라들(121~123), 제 1 내지 제 n 노멀 카메라들(131~13n), 및 영상 관리 서버(140)와 같은 구성 요소에 액세스하고, 그로부터 영상을 수신하고, 수신된 영상을 디스플레이하기 위한 응용 애플리케이션들을 포함할 수 있다.
복수의 인공지능 카메라들(121~123)이 영상 촬영 시스템(100)에 제공될 수 있다. 도 1에서, 3개의 인공지능 카메라들(121~123)이 제공되는 것으로 예시되어 있다. 제 1 내지 제 3 인공지능 카메라들(121~123) 각각은 인공지능에 기반하여 영상 분석을 수행하도록 구성되는 적어도 하나의 인공지능 프로세서를 포함한다. 제 1 내지 제 3 인공지능 카메라들(121~123) 각각은 영상을 촬영하고, 촬영된 영상을 인공지능 프로세서를 통해 분석하고, 촬영된 영상 및 영상 분석 결과를 영상 관리 서버(140)에 제공할 수 있다. 또한, 제 1 내지 제 3 인공지능 카메라들 각각은 오디오를 녹음하고, 인공지능 프로세서를 통해 녹음된 오디오를 분석하고, 녹음된 오디오 및 오디오 분석 결과를 영상 관리 서버(140)에 제공할 수 있다. 이하, 설명의 편의를 위해 영상 분석을 위한 동작들을 중심으로 본 발명의 실시 예들이 설명된다. 그러나, 이는 설명의 편의를 위한 것으로, 본 발명의 기술적 사상은 오디오 분석에도 적용될 수 있다.
제 1 내지 제 3 인공지능 카메라들(121~123) 각각은 제 1 내지 제 n 노멀 카메라들(131~13n) 중 적어도 하나로부터 영상을 수신하고, 수신된 영상을 인공지능 프로세서를 통해 분석하고, 영상 분석 결과를 영상 관리 서버(140)에 제공할 수 있다. 이때, 노멀 카메라는 비 인공지능(non-AI) 카메라일 수 있다. 예를 들면, 노멀 카메라는 인공지능이 아닌, 모션 감지(motion detection), 얼굴 감지(face detection), 소리 감지(sound detection)와 같은 종래의 이벤트 감지 알고리즘들을 수행하도록 구성되는 프로세서를 포함할 수 있으며, 반면 인공지능 프로세서는 포함하지 않을 수 있다.
제 1 내지 제 3 인공지능 카메라들(121~123)은 서로 등록 정보를 교환함으로써 영상 분석을 위한 클러스터(CLST)를 구성하고, 각 노멀 카메라를 클러스터(CLST) 내 인공지능 카메라들(121~123) 중 어느 하나에 할당할 수 있다. 이때, 등록 정보는 인공지능 카메라의 URL(uniform resource locator) 어드레스, IP(internet protocol) 어드레스, 포트(port) 번호, 카메라 로그인 계정과 같은 카메라에 액세스하기 위한 정보를 포함할 수 있다. 각 인공지능 카메라의 등록 정보는 사용자 단말기(110)로부터 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 수신될 수 있으며, 제 1 내지 제 3 인공지능 카메라들(121~123)에 의해 공유될 수 있다. 실시 예들에서, 제 1 내지 제 3 인공지능 카메라들(121~123)은 그것들의 등록 정보를 주기적으로 동기화할 수 있다.
제 1 내지 제 3 인공지능 카메라들(121~123) 각각에 어떤 노멀 카메라를 할당할지 여부는 다양한 방식들에 따라 결정될 수 있다. 예를 들면, 제 1 내지 제 3 인공지능 카메라들(121~123)은 서로에게 자신의 가용 자원을 알리고, 그러한 가용 자원을 참조하여 각 노멀 카메라에 대한 할당이 수행될 수 있다. 예를 들면, 제 1 내지 제 3 인공지능 카메라들(121~123)은 서로 통신하여 마스터 노드로서 기능할 인공지능 카메라를 결정하고, 마스터 노드는 테스크 스케줄링의 기능을 수행할 수 있다. 마스터 노드는 제 1 내지 제 3 인공지능 카메라들(121~123) 각각의 가용 자원을 참조하여 각 노멀 카메라를 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 할당할 수 있다.
이와 같이, 제 1 내지 제 3 인공지능 카메라들(121~123)을 포함하는 클러스터(CLST)를 구성하여 제 1 내지 제 n 노멀 카메라들(131~13n)의 영상들을 분석함으로써, 각 노멀 카메라는 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 예를 들면 가용 자원을 참조함으로써 할당될 수 있고, 따라서 제 1 내지 제 n 노멀 카메라들(131~13n)의 영상들에 대한 분석은 별도의 인공지능 기능을 포함하는 서버를 제공하지 않고도 제 1 내지 제 3 인공지능 카메라들(121~123)을 이용하여 효율적으로 수행될 수 있다. 이에 따라, 별도의 인공지능 기능을 포함하는 서버 없이도, 인공지능에 기반한 영상 분석은 제 1 내지 제 n 인공지능 카메라들(121~123)에 의해 촬영되는 영상들뿐만 아니라 제 1 내지 제 n 노멀 카메라들(131~13n)에 의해 촬영되는 영상들에까지 확장될 수 있다. 따라서, 인공지능에 기반한 영상 분석의 범위를 효율적으로 확장시킬 수 있는 인공지능 카메라 및 그것을 포함하는 영상 촬영 시스템이 제공될 수 있다.
도 2는 도 1의 인공지능 카메라들 중 어느 하나의 실시 예를 보여주는 블록도이다. 도 3은 도 2의 메인 프로세서의 실시 예를 보여주는 블록도이다. 도 4는 도 2의 인공지능 프로세서의 실시 예를 보여주는 블록도이다.
도 2를 참조하면, 인공지능 카메라(200)는 광학계(205), 이미지 센서(210), 램(220, Random Access Memory: RAM), EEPROM(230, Electrically Erasable and Programmable Read Only Memory), 스토리지(240), 메인 프로세서(250), 네트워크 인터페이스(260), 및 인공지능(artificial intelligence: AI) 프로세서(270)를 포함할 수 있다.
광학계(205)는 피사체로부터의 빛을 광학적으로 처리한다.
이미지 센서(210)는 메인 프로세서(250)의 제어에 응답하여 동작할 수 있다. 이미지 센서(210)는 렌즈(205)를 통해 수신된 광학 신호를 전기 신호로 변환하고, 변환된 전기 신호를 디지털화하여 영상을 생성하도록 구성된다. 예를 들면, 이미지 센서(210)는 아날로그 영상 신호를 디지털 영상 데이터로 변환하도록 구성되는 아날로그 디지털 컨버터를 포함할 수 있다.
램(220)은 메인 프로세서(250)와 연결된다. 램(220)은 메인 프로세서(250)에 의해 처리된 영상을 일시적으로 저장할 수 있다. 램(220)은 버퍼 메모리로서 사용될 수 있다. 램(220)은 메인 프로세서(250)의 워킹 메모리로서 사용될 수 있다. EEPROM(Electrically Erasable and Programmable Read Only Memory, 230)은 메인 프로세서(250)의 동작에 필요한 프로그램 코드들 및/또는 명령어들을 저장할 수 있다. 스토리지(240)는 메인 프로세서(250)의 동작들에 필요한 설정 데이터를 저장할 수 있다. 또한, 스토리지(240)는 메인 프로세서(250)에 의해 실행될 프로그램 코드들 및/또는 명령어들을 더 저장할 수 있다. 이러한 프로그램 코드들 및/또는 명령어들은 스토리지(240)로부터 램(220)에 로딩되고, 메인 프로세서(250)에 의해 실행될 수 있다. 아래에서 설명될 메인 프로세서(250)의 동작들 중 적어도 일부는 메인 프로세서(250)에 의해 이러한 프로그램 코드들 및/또는 명령어들을 실행함으로써 수행될 수 있다. 실시 예들에서, 스토리지(240)는 플래시 메모리와 같은 불휘발성 저장 매체를 포함할 수 있다.
메인 프로세서(250)는 인공지능 카메라(200)의 제반 동작을 제어한다. 메인 프로세서(250)는 네트워크 인터페이스(260)를 통해 네트워크(50, 도 1 참조)에 연결된 구성 요소들과 통신할 수 있다. 메인 프로세서(250)는 이미지 센서(210)로부터 수신된 영상을 적절히 처리하도록 구성되며, 처리된 영상을 네트워크 인터페이스(260)를 통해 사용자 단말기(110)에 라이브-뷰로 전송할 수 있다. 또한, 메인 프로세서(250)는 처리된 영상을 네트워크 인터페이스(260)를 통해 영상 관리 서버(140)에 업로드할 수 있다. 나아가, 메인 프로세서(250)는 마이크로폰(미도시)을 통해 수신되는 오디오 데이터를 수신하고, 수신된 오디오 데이터를 적절히 처리하고, 처리된 오디오 데이터를 네트워크 인터페이스(260)를 통해 외부 장비로 전송할 수 있다. 이러한 경우, 오디오 데이터 및 영상 데이터는 멀티미디어 데이터를 구성할 수 있다.
도 3을 참조하면, 메인 프로세서(250)는 코어 프로세서(251), 데이터 포메터(252), 데이터 변환기(253), 리사이저(254), MPEG(Moving Picture Experts Group) 인코더(255), 및 JPEG(Joint Photographic Experts Group) 인코더(256)를 포함한다.
코어 프로세서(251)는 인공지능 카메라(200, 도 2 참조)의 제반 동작을 제어한다. 또한, 코어 프로세서(251)는 데이터 포매터(252), 데이터 변환기(253), 리사이저(254), MPEG 인코더(255), 및 JPEG 인코더(256)를 제어한다. 데이터 포메터(252)는 이미지 센서(210, 도 2 참조)로부터의 영상을 램(220)에 저장하며, 데이터 변환부(253)는 적색(R), 녹색(G), 및 청색(B) 형식의 영상 데이터를 휘도(Y) 및 색차(Cb, Cr) 형식의 영상 데이터로 변환하며, 리사이저(254)는 영상 데이터의 해상도를 변환할 수 있다. MPEG 인코더(255)는 동영상 인코더로서 동영상 데이터를 압축하며, JPEG 인코더(256)는 정지 영상 인코더로서 정지 영상 데이터를 압축할 수 있다. 이와 같이, 메인 프로세서(250)는 이미지 센서(210)로부터 수신된 영상을 처리하도록 구성된다.
실시 예들에서, 데이터 포메터(252), 데이터 변환기(253), 리사이저(254), MPEG 인코더(255), 및 JPEG 인코더(256)와 같은 영상 처리를 위한 구성 요소들은 각각 하드웨어, 소프트웨어, 펌웨어, 및 그것들의 조합을 통해 구현될 수 있으며, 서로 결합되거나 더 많은 구성 요소들로 분리될 수 있다. 데이터 포메터(252), 데이터 변환기(253), 리사이저(254), MPEG 인코더(255), 및 JPEG 인코더(256) 중 적어도 하나가 소프트웨어로 구현되는 경우, 소프트웨어는 도 2의 스토리지(240)와 같은 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있으며, 코어 프로세서(251)에 의해 실행될 수 있다. 또한, 데이터 포메터(252), 데이터 변환기(253), 리사이저(254), MPEG 인코더(255), 및 JPEG 인코더(256)와 같은 와 같은 영상 처리를 위한 구성 요소들 중 적어도 일부는 이미지 프로세싱 유닛과 같은 하나의 전용 프로세서를 통해 구현될 수 있다.
다시 도 2를 참조하면, 메인 프로세서(250)는 처리된 영상을 분석하도록 인공지능 프로세서(270)에 커맨드할 수 있다. 인공지능 프로세서(270)는 인공지능 방식에 기반하여 처리된 영상을 분석하도록 구성된다. 영상 분석 결과는 예를 들면 램(220)에 임시 저장되며, 메인 프로세서(250)는 영상 분석 결과를 해당 영상과 함께 네트워크 인터페이스(260)를 통해 사용자 단말기(110) 혹은 영상 관리 서버(140)에 전송할 수 있다.
도 4를 참조하면, 인공지능 프로세서(270)는 데이터 학습부(271) 및 데이터 분석부(272)를 포함할 수 있다. 데이터 학습부(271)는 딥 러닝 프레임워크를 포함할 수 있으며, 이에 따라 CNN(Convolutional neural network)과 같은 신경망 알고리즘, SIFT(Scale Invariant Feature Transform)와 같은 비전 알고리즘을 수행할 수 있다. 데이터 학습부(271)는 오브젝트/패턴 인지, 오브젝트들의 유사도 검사 등의 다양한 영상 분석 기준들을 학습할 수 있다. 데이터 학습부(271)는 영상 분석을 위하여 어떤 데이터를 이용할지에 관한 기준들을 학습(traning)하고 추론(inferencing)할 수 있다. 데이터 학습부(271)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 데이터 분석 모델에 적용함으로써, 영상 분석을 위한 기준을 학습해 나갈 수 있다.
데이터 분석부(272)는 메인 프로세서(250, 도 2 참조)의 요청에 응답하여 입력된 영상에 대한 분석을 수행할 수 있다. 데이터 분석부(272)는 학습된 데이터 인식 모델을 이용하여 영상 분석을 수행할 수 있다. 데이터 분석부(272)는 학습에 의해 설정된 기준들에 따라 데이터를 획득하고, 획득된 데이터를 입력 값으로 하는 데이터 분석 모델을 이용함으로써 영상 분석을 수행하고, 분석에 따른 결과 정보를 출력할 수 있다. 또한, 영상 분석의 결과 정보는 데이터 분석 모델을 업데이트하는데 이용될 수 있다.
데이터 학습부(271) 및 데이터 분석부(272)는 각각 하드웨어, 소프트웨어, 펌웨어, 및 그것들의 조합을 통해 구현될 수 있으며, 서로 결합되거나 더 많은 구성 요소들로 분리될 수 있다. 데이터 학습부(271) 및 데이터 분석부(272) 중 적어도 하나는 인공지능을 위한 전용 하드웨어 칩 형태로 구현되거나, 범용 프로세서 또는 그래픽 전용 프로세서를 통해 구현될 수 있다. 데이터 학습부(271) 및 데이터 분석부(272) 중 적어도 하나가 소프트웨어로 구현되는 경우, 소프트웨어는 도 2의 스토리지(240)와 같은 컴퓨터로 판독 가능한 저장 매체에 저장될 수 있으며, 상기 범용 프로세서 또는 그래픽 전용 프로세서와 같은 프로세서에 의해 실행될 수 있다.
데이터 학습부(271) 및 데이터 분석부(272)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들면, 데이터 학습부(271)는 외부 장치에 포함되고, 데이터 분석부(272)는 인공지능 카메라(200, 도 2 참조)에 포함될 수 있다. 이러한 경우, 데이터 학습부(271) 및 데이터 분석부(272)는 유선 또는 무선으로 통신할 수 있으며, 데이터 학습부(271)는 구축한 모델 정보를 데이터 분석부(272)로 제공할 수도 있고, 데이터 분석부(272)로 입력된 데이터는 추가 학습 데이터로서 데이터 학습부(271)로 제공될 수도 있다.
다시 도 2를 참조하면, 메인 프로세서(250)는 다른 인공지능 카메라들과 서로 등록 정보를 교환함으로써 영상 분석을 위한 클러스터(CLST, 도 1 참조)를 구성하고, 제 1 내지 제 n 노멀 카메라들(131~13n)에 액세스할 수 있도록 제 1 내지 제 n 노멀 카메라들(131~13n)의 등록 정보를 다른 인공지능 카메라들과 공유할 수 있다. 다른 인공지능 카메라들 및 제 1 내지 제 n 노멀 카메라들(131~13n)과의 통신들은 네트워크 인터페이스(260)를 통해 수행된다. 메인 프로세서(250)는 제 1 내지 제 n 노멀 카메라들(131~13n) 중 어느 하나를 할당 받을 때, 할당된 노멀 카메라에 의해 촬영된 영상을 분석하도록 인공지능 프로세서(270)를 제어할 수 있다.
도 5는 인공지능 카메라의 출력 데이터의 포멧의 실시 예를 개념적으로 보여주는 도면이다.
도 2 및 도 5를 참조하면, 메인 프로세서(250)는 영상(VD), 오디오(AD), 제 1 메타 데이터(META1), 및 제 2 메타 데이터(META2)를 포함하는 출력 데이터(DOUT)를 네트워크 인터페이스(260)를 통해 사용자 단말기(110) 혹은 영상 관리 서버(140)에 전송할 수 있다. 영상(VD) 및 오디오(AD)는 도 2를 참조하여 설명된 바와 같이 메인 프로세서(250)에 의해 생성된다. 제 1 메타 데이터(META1)는 영상(VD) 및/또는 오디오(AD)에 대한 인공지능 프로세서(270)의 분석 결과 정보를 포함할 수 있다. 제 2 메타 데이터(META2)는 노멀 카메라로부터 수신된 영상 및/또는 오디오에 대한 인공지능 프로세서(270)의 분석 결과 정보를 포함할 수 있다.
제 2 메타 데이터(META2)는 해당 노멀 카메라의 식별자를 더 포함할 수 있다. 식별자는 노멀 카메라의 아이디, IP 어드레스 등 노멀 카메라를 식별할 수 있는 다양한 종류들의 데이터를 포함할 수 있다. 이에 따라, 출력 데이터(DOUT)를 수신하는 사용자 단말기(110) 혹은 영상 관리 서버(140)는 출력 데이터(DOUT)에 포함된 제 2 메타 데이터(META2)가 어떤 노멀 카메라에 대응하는 것임을 판별할 수 있다.
메인 프로세서(250)의 동작들과 관련된 좀 더 상세한 내용이 이하에서 설명된다.
도 6은 인공지능 카메라에 의해 촬영된 영상을 분석하는 방법을 보여주는 순서도이다.
도 2 및 도 6을 참조하면, S110단계에서, 이미지 센서(210)를 통해 영상이 촬영된다. S120단계에서, 촬영된 영상이 인공지능 프로세서(270)를 이용하여 분석된다. 메인 프로세서(250)는 이미지 센서(210)를 통해 촬영된 영상을 처리하고, 처리된 영상을 분석하도록 인공지능 프로세서(270)에 커맨드할 수 있다. 메인 프로세서(250)는 촬영된 영상, 오디오, 영상의 분석에 따른 결과 정보를 도 5에 도시된 출력 데이터(DOUT)의 영상(VD) 필드, 오디오(AD) 필드, 및 제 1 메타 데이터(META1) 필드에 각각 포함시킬 수 있다.
도 7은 본 발명의 실시 예에 따른 노멀 카메라들과 인터랙션할 수 있는 클러스터를 구성하기 위한 인공지능 카메라의 동작 방법을 보여주는 순서도이다. 도 8은 도 7의 S210단계의 실시 예를 보여주는 순서도이다. 도 9는 도 7의 S220단계의 실시 예를 보여주는 순서도이다.
도 1 및 도 2와 함께 도 7을 참조하면, S210단계에서, 인공지능 카메라(200)는 다른 인공지능 카메라와 서로 등록 정보를 교환함으로써 다른 인공지능 카메라와 함께 영상 분석을 위한 클러스터를 구성한다. 제 1 내지 제 3 인공지능 카메라들(121~123)은 도 1을 참조하여 설명된 바와 같이 네트워크(50)를 통해 서로 통신할 수 있으며, 각 인공지능 카메라는 다른 인공지능 카메라에 등록 정보를 전송하고 다른 인공지능 카메라로부터 등록 정보를 수신함으로써 인공지능 카메라들(121~123)을 포함하는 클러스터(CLST)가 생성될 수 있다.
각 인공지능 카메라의 등록 정보는 사용자 단말기(110)를 통해 사용자로부터 제공될 수 있다. 도 8을 참조하면, 인공지능 카메라(200)는 사용자 단말기(110)로부터 다른 인공지능 카메라의 등록 정보를 수신하고(S211), 수신된 등록 정보에 대응하는 인공지능 카메라와 통신을 수행함으로써 해당 인공지능 카메라와 함께 클러스터(CLST)를 구성할 수 있다. 예를 들면, 사용자 단말기(110)가 제 1 인공지능 카메라(121)에 액세스하여 제 2 및 제 3 인공지능 카메라들(122, 123)의 등록 정보를 제공하면, 제 1 인공지능 카메라(121)는 제공된 등록 정보를 이용하여 제 2 및 제 3 인공지능 카메라들(122, 123) 각각에 액세스함에 따라, 제 1 내지 제 3 인공지능 카메라들(121~123)은 서로의 등록 정보를 공유할 수 있다. 이에 따라, 제 1 내지 제 3 인공지능 카메라들(121~123)을 포함하는 클러스터(CLST)가 생성될 수 있다.
클러스터(CLST)의 생성 시에, 클러스터(CLST)의 제 1 내지 제 3 인공지능 카메라들(121~123)은 서로 통신하여 그 중 어느 하나를 마스터 노드로 결정하는 협상을 수행할 수 있다. 이에 따라, 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나는 마스터(master) 노드로서 기능하고, 나머지 인공지능 카메라들은 에이전트(agent) 노드로서 기능할 수 있다. 마스터 노드는 제 1 내지 제 n 노멀 카메라들(131~13n)의 영상들에 대해 딥 러닝 방식을 이용한 영상 분석들을 수행하도록, 제 1 내지 제 n 노멀 카메라들(131~13n) 각각을 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 할당할 수 있다.
다시 도 1, 도 2, 및 도 7을 참조하면, S220단계에서, 인공지능 카메라(200)는 제 1 내지 제 n 노멀 카메라들(131~13n)의 등록 정보를 다른 인공지능 카메라와 공유한다. 이에 따라, 제 1 내지 제 3 인공지능 카메라들(121~123) 각각은 네트워크(50)를 통해 제 1 내지 제 n 노멀 카메라들(131~13n)에 액세스할 수 있게 된다. 예를 들면, 인공지능 카메라(200)는 다른 인공지능 카메라에 노멀 카메라의 등록 정보를 제공할 수 있으며, 또한 다른 인공지능 카메라로부터 노멀 카메라의 등록 정보를 수신할 수 있다. 이때, 등록 정보는 노멀 카메라의 URL(uniform resource locator) 어드레스, IP(internet protocol) 어드레스, 포트(port) 번호, 카메라 로그인 계정과 같은 카메라에 액세스하기 위한 정보를 포함할 수 있다.
노멀 카메라의 등록 정보는 사용자 단말기(110)를 통해 사용자로부터 제공될 수 있다. 다양한 방식들에 따라 제 1 내지 제 n 노멀 카메라들(131~13n)의 등록 정보가 제 1 내지 제 3 인공지능 카메라들(121~123)에 공유될 수 있다. 도 9를 참조하면, 인공지능 카메라(200)는 사용자 단말기(110)로부터 제 1 내지 제 n 노멀 카메라들(131~13n)의 등록 정보를 수신하고(S221), 수신된 등록 정보를 다른 인공지능 카메라에게 제공할 수 있다. 예를 들면, 사용자 단말기(110)가 제 1 인공지능 카메라(121)에 제 1 내지 제 n 노멀 카메라들(131~13n)의 등록 정보를 제공하면, 제 1 인공지능 카메라(121)는 제공된 등록 정보를 제 2 및 제 3 인공지능 카메라들(122, 123)에 제공할 수 있다.
도 10은 클러스터를 구성한 후 인공지능 카메라들에 저장 및 공유되는 클러스터 정보를 보여주는 테이블이다.
클러스터(CLST)가 생성된 후 클러스터(CLST) 내 제 1 내지 제 3 인공지능 카메라들(121~123)은 클러스터 정보(CLSTIF)를 저장 및 공유할 수 있다. 도 1 및 도 10을 참조하면, 클러스터 정보(CLSTIF)는 제 1 내지 제 3 인공지능 카메라들(121~123)의 식별자들(AICAM1, AICAM2, AICAM3) 각각에 대응하는 IP 어드레스, 인공지능에 기반한 테스크들의 처리에 따른 인공지능 프로세서의 사용량, 메인 프로세서의 사용량을 포함할 수 있다.
클러스터 정보(CLSTIF)는 제 1 내지 제 3 인공지능 카메라들(121~123) 중 마스터 노드에 의해 수집되고, 제 1 내지 제 3 인공지능 카메라들(121~123) 전체에 공유될 수 있다. 클러스터 정보(CLSTIF)의 인공지능 프로세서의 사용량 및 메인 프로세서의 사용량을 참조하여, 마스터 노드는 제 1 내지 제 n 노멀 카메라들(131~13n) 각각을 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 할당할 수 있다.
사용자는 사용자 단말기(110)를 통해 클러스터(CLST)의 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 액세스하여 클러스터 정보(CLSTIF)의 적어도 일부를 조회할 수 있다.
도 11은 클러스터를 구성한 후 인공지능 카메라들에 저장 및 공유되는 노멀 카메라 정보를 보여주는 테이블이다. 도 11에서, 설명의 편의를 위해 영상 촬영 시스템에 5개의 노멀 카메라들이 제공되는 것으로 예시된다.
클러스터(CLST) 내 제 1 내지 제 3 인공지능 카메라들(121~123)은 노멀 카메라 정보(NRMCAMIF)를 저장 및 공유할 수 있다. 도 1 및 도 11을 참조하면, 노멀 카메라 정보(NRMCAMIF)는 제 1 내지 제 5 노멀 카메라들(131~135)의 식별자들(NRMCAM1~NRMCAM5) 각각에 대응하는 IP 어드레스 및 감지 이벤트 타입을 포함할 수 있다. 실시 예들에서, 노멀 카메라는 인공지능이 아닌 종래의 이벤트 감지 알고리즘들 중 적어도 하나에 기반한 영상 분석을 수행하도록 구성되는 프로세서를 포함할 수 있으며, 노멀 카메라 정보(NRMCAMIF)는 노멀 카메라에 채용된 이벤트 감지 알고리즘의 이벤트 타입에 대한 정보를 더 저장할 수 있다. 예를 들면, 감지 이벤트 타입은 모션 감지, 얼굴 감지, 소리 감지 등을 포함할 수 있다.
도 12는 노멀 카메라들과 인터랙션할 수 있는 클러스터에 인공지능 카메라를 추가하는 방법의 실시 예를 보여주는 순서도이다.
도 1 및 도 2와 함께 도 12를 참조하면, S310단계에서, 인공지능 카메라(200)는 사용자 단말기(110)로부터 추가적인 인공지능 카메라의 등록 정보를 수신할 수 있다. S320단계에서, 인공지능 카메라(200)는 수신된 등록 정보에 따라 상기 추가적인 인공지능 카메라에 액세스하여 해당 인공지능 카메라를 클러스터(CLST)에 추가한다. 또한, 수신된 등록 정보는 인공지능 카메라(200)를 포함한 클러스터(CLST) 내 인공지능 카메라들에 공유될 수 있다. 예를 들면, 사용자에 의해 입력된 추가적인 인공지능 카메라의 등록 정보가 사용자 단말기(110)를 통해 제 1 인공지능 카메라(121)에 제공되면, 제 1 인공지능 카메라(121)는 제공된 등록 정보를 제 2 및 제 3 인공지능 카메라들(122, 123)에 전송할 수 있다. 제 1 내지 제 3 인공지능 카메라들(121~123) 각각은 제공된 등록 정보에 따라 추가적인 인공지능 카메라에 액세스하고, 제 1 내지 제 3 인공지능 카메라들(121~123) 및 추가적인 인공지능 카메라는 서로의 등록 정보를 공유할 수 있다. 이에 따라, 해당 인공지능 카메라는 클러스터(CLST)에 추가될 수 있다.
S330단계에서, 인공지능 카메라(200)는 추가된 인공지능 카메라에 각 노멀 카메라의 등록 정보를 공유할 수 있다. 예를 들면, 제 1 내지 제 3 인공지능 카메라들(121~123)은 노멀 카메라 정보(NRMCAMIF, 도 11 참조)를 추가적인 인공지능 카메라에 공유할 수 있다.
이와 같이, 클러스터(CLST)의 자원들은 상대적으로 용이하게 확장될 수 있으며, 따라서 별도의 인공지능 기능을 포함하는 서버의 제공 혹은 증설 없이도, 그 자체로 영상을 촬영할 수 있는 인공지능 카메라의 추가를 통해, 영상 촬영에 의한 감시 범위를 넓히면서도 인공지능에 기반한 영상 분석을 지원받을 수 있는 노멀 카메라들의 개수를 확장할 수 있다.
도 13은 본 발명의 실시 예에 따른 클러스터에 포함된 인공지능 카메라에서 노멀 카메라의 영상을 분석하는 방법을 보여주는 순서도이다.
도 1 및 도 2와 함께 도 13을 참조하면, S410단계에서, 인공지능 카메라(200)에 제 1 내지 제 n 노멀 카메라들(131~13n) 중 어느 하나가 할당될 수 있다. 위에서 설명된 바와 같이, 할당은 클러스터(CLST) 내 제 1 내지 제 3 인공지능 카메라들(121~123) 중 마스터 노드에 의해 수행될 수 있다. 이때, 인공지능 카메라(200)는 마스터 노드일 수 있고, 에이전트 노드일 수도 있다. 노멀 카메라가 할당될 때, S420단계가 수행된다.
S420단계에서, 인공지능 카메라(200)는 할당된 노멀 카메라에 액세스하여 할당된 노멀 카메라에 의해 촬영된 영상을 수신한다.
S430단계에서, 인공지능 카메라(200)는 인공지능 프로세서(270)를 이용하여 수신된 영상을 분석한다.
S440단계에서, 인공지능 카메라(200)는 영상의 분석에 따른 결과 정보를 할당된 노멀 카메라의 식별자와 함께 영상 관리 서버(140)로 전송한다. 인공지능 카메라(200)는 영상의 분석에 따른 결과 정보 및 노멀 카메라의 식별자를 도 5에 도시된 출력 데이터(DOUT)의 제 2 메타 데이터(META2) 필드에 포함시킬 수 있다.
이와 같이, 인공지능 카메라들(121~123)을 포함하는 클러스터(CLST)를 통해 제 1 내지 제 n 노멀 카메라들(131~13n)의 영상들을 분석함으로써, 각 노멀 카메라는 인공지능 카메라들(121~123) 중 어느 하나에 예를 들면 가용 자원을 참조함으로써 할당될 수 있고, 따라서 제 1 내지 제 n 노멀 카메라들(131~13n)의 영상들에 대한 분석은 별도의 인공지능 기능을 포함하는 서버를 제공하지 않고도 기 제공된 인공지능 카메라들(121~123)을 이용하여 효율적으로 수행될 수 있다. 이에 따라, 별도의 인공지능 기능을 포함하는 서버 없이도, 인공지능에 기반한 영상 분석은 제 1 내지 제 n 인공지능 카메라들(121~123)에 의해 촬영되는 영상들뿐만 아니라 제 1 내지 제 n 노멀 카메라들(131~13n)에 의해 촬영되는 영상들에까지 확장될 수 있다. 따라서, 인공지능에 기반한 영상 분석의 범위를 효율적으로 확장시킬 수 있는 영상 분석 방법이 제공될 수 있다.
도 14는 도 12의 S420단계의 실시 예를 보여주는 순서도이다.
도 1 및 도 2와 함께 도 14를 참조하면, S421단계에서, 인공지능 카메라(200)는 할당된 노멀 카메라들(131~131) 중 어느 하나로부터 이벤트 알람 신호를 수신할 수 있다. 이벤트 알람 신호가 수신될 때, S422단계가 수행될 수 있다.
노멀 카메라는 인공지능이 아닌, 모션 감지, 얼굴 감지, 소리 감지와 같은 종래의 이벤트 감지 알고리즘들을 수행하도록 구성될 수 있으며, 이벤트의 감지에 응답하여 이벤트 알람 신호를 생성할 수 있다. 실시 예들에서, 인공지능 카메라(200)는 노멀 카메라의 할당에 응답하여, 이벤트의 감지에 응답하여 이벤트 알람 신호를 제공해줄 것을 노멀 카메라에 요청할 수 있으며, 노멀 카메라는 인공지능 카메라(200)에 이벤트 알람 신호를 제공할 수 있다. 실시 예들에서, 마스터 노드는 이벤트의 감지에 응답하여 이벤트 알람 신호를 제공해줄 것을 노멀 카메라에 요청할 수 있으며, 노멀 카메라는 마스터 노드에 이벤트 알람 신호를 제공할 수 있다. 이러한 방식에서, 인공지능 카메라(200)가 마스터 노드인 경우, 노멀 카메라로부터 이벤트 알람 신호를 수신할 수 있다. 인공지능 카메라(200)가 에이전트 노드인 경우, 마스터 노드를 통해 이벤트 알람 신호를 수신할 수 있다.
노멀 카메라는 이벤트를 감지한 경우, 인공지능(혹은 딥러닝)을 통한 영상 분석을 지원하는 특수 모드로 진입할 수 있다. 예를 들면, 노멀 카메라는 미리 설정된 값들로 내부 설정값들을 변경할 수 있다. 이벤트의 감지는 인공지능을 통한 영상 분석이 필요한 것을 의미하는 바, 인공지능을 통한 영상 분석에 적합하도록 미리 설정된 값들로 설정값들을 변경할 수 있다. 영상 관리 서버(140)로 송신되어 디스플레이를 통해 사용자에게 제공되기에 적합한 영상과 인공지능을 통한 영상 분석에 적합한 영상은 상이할 수 있다. 인공지능을 통한 영상 분석에 적합한 영상을 촬영하도록 노멀 카메라가 설정되어 있는 경우, 영상 관리 서버(140)를 통해 수신되는 영상을 시청하는 사용자는 불편함을 느낄 수 있다. 이러한 이유에서, 노멀 카메라는 평소에는 사용자에게 제공되기에 적합한 영상을 촬영하도록 설정되어 있을 수 있다. 반면, 인공지능 카메라(200)가 사용자에게 제공되기에 적합한 영상을 수신하여 영상 분석을 수행하는 경우, 영상 분석에 적합하도록 영상에 대해 전처리를 수행할 것이 요구된다. 전처리 과정에서 영상에 많은 노이즈들이 발생할 수 있고, 많은 시간이 소요될 수 있다. 이러한 이유에서, 노멀 카메라의 설정값들은 인공지능을 통한 영상 분석에 적합한 값들로 변경되고, 인공지능 카메라(200)는 해당 설정 하에서 촬영된 영상을 노멀 카메라로부터 수신할 수 있다. 이에 따라, 인공지능 카메라(200)는 영상에 대한 전처리을 하지 않거나 줄어든 전처리 과정을 통해 빠르고 정확하게 영상 분석을 수행할 수 있다. 즉, 인공지능 카메라(200)에 적합하게 샤프니스(sharpness) 혹은 노출(exposure) 등의 설정값들이 조절되어, 노멀 카메라의 영상 품질(Image Quality)을 인공지능(혹은 딥러닝)에 적합하도록 할 수 있다. 노멀 카메라는 인공지능 카메라(200)으로부터의 설정값 제어요청에 응답하여 설정값들을 변경할 수 있고, 이벤트의 감지에 응답하여 설정값들을 변경할 수도 있다. 또는, 영상 관리 서버(140)의 제어에 응답하여 설정값들을 변경할 수도 있다. 이러한 노멀 카메라의 특수 모드로의 진입은 S422단계 이전에 수행될 수 있다.
노멀 카메라는 인공지능을 통한 영상 분석에 필요한 프레임들을 촬영하는 동안에만 특수 모드의 값들로 내부 설정값들을 변경하고, 이후 다시 설정값들을 이전 설정값들으로 복원할 수 있다. 또는, 인공지능 카메라(200)는 인공지능 카메라(200)의 영상 분석이 종료될 때 설정값들을 복원하도록 노멀 카메라를 제어할 수 있다.
S422단계에서, 이벤트 알람 신호에 응답하여, 인공지능 카메라(200)는 촬영된 영상의 제공을 노멀 카메라에 요청한다.
S423단계에서, 인공지능 카메라(200)는 노멀 카메라로부터 영상을 수신하고, 인공지능 프로세서(270)를 이용하여 수신된 영상을 분석할 수 있다.
다른 실시 예로서, 인공지능 카메라(200)는 할당된 노멀 카메라에 상시로 액세스하여 영상을 수신하고, 수신된 영상을 분석할 수도 있다.
인공지능 카메라(200)는 노멀 카메라의 영상을 분석할 때, 딥러닝(혹은 인공지능)에 따른 확률이 임계치 이상이 되는지 여부에 따라 S422단계 및 S423단계를 통해 노멀 카메라로부터 수신하는 영상의 길이를 가변적으로 제어할 수 있다. 인공지능 프로세서(270)는 예를 들면 딥러닝을 통한 영상 분석과 함께, 딥러닝에 따른 확률을 출력할 수 있으며, 이러한 확률이 임계치 이상인 경우 영상 분석이 완료된 것을 의미할 수 있다. 딥러닝에 따른 확률이 임계치 이상이 되는 경우 추가적인 영상 분석이 필요하지 않으므로, 인공지능 카메라(200) 및/또는 메인 프로세서(250)는 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 노멀 카메라로부터 수신하는 영상의 길이를 가변적으로 조절할 수 있다. 인공지능 카메라(200)는 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 상대적으로 짧은 길이의 영상을 수신하거나 상대적으로 긴 길이의 영상을 수신할 수 있다. 예를 들면, 인공지능 카메라(200)는 추가적인 영상이 필요한 경우 영상을 추가로 요청하여 수신할 수 있으며, 이러한 경우 추가적인 영상의 길이, 추가적인 영상을 요청하는 횟수 등은 딥러닝에 따른 확률에 따라 가변적으로 조절될 수 있다.
인공지능 카메라(200)가 노멀 카메라로부터 정지 영상을 수신하는 경우, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 추가적인 정지 영상을 요청할 수 있고, 인공지능 카메라(200)가 노멀 카메라로부터 동적 영상을 수신하는 경우, 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 동적 영상을 송신 중단을 요청할 수 있다.
이와 같이, 인공지능 카메라(200)는 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라 노멀 카메라로부터 수신하는 영상의 길이를 가변적으로 제어할 수 있다. 이에 따라, 노멀 카메라의 설정값들을 변경하거나 복원하는 시간도 빨라질 수 있다.
도 15는 본 발명의 다른 실시 예에 따른 클러스터에 포함된 인공지능 카메라에서 노멀 카메라의 영상을 분석하는 방법을 보여주는 순서도이다.
도 1 및 도 2와 함께 도 15를 참조하면, S510단계에서, 인공지능 카메라(200)는 다른 인공지능 카메라와 상태 메시지들을 송수신하여 클러스터(CLST) 내 인공지능 카메라들(121~123) 중 비정상인 인공지능 카메라가 존재하는지 여부를 판별한다. 인공지능 카메라들(121~123)은 주기적으로 상태 메시지들을 교환할 수 있다.
S520단계에서, 인공지능 카메라(200)는 클러스터(CLST) 내 인공지능 카메라가 비정상일 때 S530단계를 수행한다. 이하, 설명의 편의를 위해 인공지능 카메라(200)가 클러스터(CLST)의 마스터 노드라고 가정한다.
S530단계는 마스터 노드에 의해 수행될 수 있다. S530단계에서, 인공지능 카메라(200)는 비정상인 인공지능 카메라에 할당되었던 노멀 카메라를 다른 인공지능 카메라에 할당할 수 있다. 마스터 노드는 클러스터 정보(CLSTIF, 도 10 참조)의 인공지능 프로세서의 사용량 및 메인 프로세서의 사용량을 참조하여, 해당 노멀 카메라를 제 1 내지 제 3 인공지능 카메라들(121~123) 중 어느 하나에 할당할 수 있다. 이하, 설명의 편의를 위해 해당 노멀 카메라가 인공지능 카메라(200)에 할당된다고 가정한다.
S540단계에서, 인공지능 카메라(200)는 할당된 노멀 카메라에 액세스하여 영상을 수신한다. S550단계에서, 인공지능 카메라(200)는 인공지능 프로세서(270)를 이용하여 수신된 영상을 분석한다. S560단계에서, 인공지능 카메라(200)는 영상의 분석에 따른 결과 정보를 해당 노멀 카메라의 식별자와 함께 영상 관리 서버(140)로 전송한다.
이와 같이, 클러스터(CLST) 내 비정상인 자원은 상대적으로 용이하게 클러스터(CLST)로부터 배제될 수 있으며, 따라서 인공지능에 기반한 영상 분석은 노멀 카메라의 영상에 대해 안정적으로 수행될 수 있다. 예를 들면, 인공지능에 기반한 영상 분석이 노멀 카메라에 대해 미제공되는 시간은 감소하거나 최소화될 수 있다.
비록 특정 실시 예들 및 적용 례들이 여기에 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정들 및 변형들이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 네트워크를 통해 서로 통신할 수 있는 인공지능 카메라들 중 어느 하나의 동작 방법에 있어서:
    상기 인공지능 카메라들 각각은 딥 러닝 방식을 이용한 영상 분석을 수행하도록 구성되는 인공지능 프로세서를 포함하되,
    상기 동작 방법은,
    상기 네트워크를 통해 다른 인공지능 카메라와 서로 등록 정보를 교환함으로써, 상기 다른 인공지능 카메라와 함께 상기 영상 분석을 위한 클러스터를 구성하는 단계;
    상기 네트워크를 통해 노멀 카메라들에 액세스할 수 있도록, 상기 노멀 카메라들의 등록 정보를 상기 다른 인공지능 카메라와 공유하는 단계;
    상기 노멀 카메라들 중 하나를 할당받을 때, 상기 할당된 노멀 카메라에 액세스하여 상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하는 단계;
    상기 인공지능 프로세서를 이용하여 상기 수신된 영상을 분석하는 단계; 및
    상기 수신된 영상의 상기 분석에 따른 결과 정보를 상기 할당된 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 외부 장치로 전송하는 단계를 포함하는 동작 방법.
  2. 제 1 항에 있어서,
    추가적인 인공지능 카메라의 등록 정보를 수신하는 단계; 및
    상기 수신된 등록 정보에 따라 상기 추가적인 인공지능 카메라에 액세스하여 상기 추가적인 인공지능 카메라를 상기 클러스터에 추가하는 단계를 더 포함하는 동작 방법.
  3. 제 1 항에 있어서,
    상기 클러스터를 구성하는 단계는 상기 다른 인공지능 카메라와 통신하여 상기 인공지능 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하는 단계를 포함하되,
    상기 할당된 노멀 카메라는 상기 마스터 노드로부터의 커맨드에 따라 결정되는 동작 방법.
  4. 제 1 항에 있어서,
    상기 촬영된 영상을 수신하는 단계는,
    상기 할당된 노멀 카메라에서 생성된 이벤트 알람 신호를 수신하는 단계; 및
    상기 이벤트 알람 신호에 응답하여 상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하는 단계를 포함하는 동작 방법.
  5. 제 4 항에 있어서,
    상기 클러스터를 구성하는 단계는 상기 다른 인공지능 카메라와 통신하여 상기 인공지능 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하는 단계를 포함하되,
    상기 이벤트 알람 신호는 상기 마스터 노드를 통해 수신되는 동작 방법.
  6. 제 4 항에 있어서,
    상기 촬영된 영상을 수신하는 단계는,
    상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하기 전에, 상기 이벤트 알람 신호에 응답하여 상기 할당된 노멀 카메라의 설정을 소정의 설정값으로 변경하는 단계를 더 포함하는 동작 방법.
  7. 제 1 항에 있어서,
    상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하는 단계에서,
    상기 인공지능 프로세서를 이용하여 상기 수신된 영상을 분석할 때 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라, 상기 할당된 노멀 카메라로부터 수신하는 상기 영상의 길이는 가변적으로 조절되는 동작 방법.
  8. 제 1 항에 있어서,
    상기 다른 인공지능 카메라와 상태 메시지들을 통신하는 단계;
    상기 상태 메시지들에 근거하여 상기 다른 인공지능 카메라가 비정상으로 판별될 때, 상기 다른 인공지능 카메라에 할당된 다른 노멀 카메라에 액세스하여 상기 다른 노멀 카메라에 의해 촬영된 영상을 추가적으로 수신하는 단계;
    상기 인공지능 프로세서를 이용하여 상기 추가적으로 수신된 영상을 분석하는 단계; 및
    상기 추가적으로 수신된 영상의 상기 분석에 따른 결과 정보를 상기 다른 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 상기 외부 장치로 전송하는 단계를 더 포함하는 동작 방법.
  9. 제 1 항에 있어서,
    상기 인공지능 카메라는 이미지 센서를 더 포함하되,
    상기 이미지 센서를 통해 영상을 촬영하는 단계; 및
    상기 인공지능 프로세서를 이용하여 상기 촬영된 영상을 분석하는 단계를 더 포함하는 동작 방법.
  10. 제 9 항에 있어서,
    상기 외부 장치로 전송하는 단계는,
    상기 촬영된 영상, 제 1 메타 데이터, 및 제 2 메타 데이터를 상기 외부 장치로 전송하는 단계를 포함하되,
    상기 제 1 메타 데이터는 상기 촬영된 영상의 상기 분석에 따른 결과 정보를 포함하고,
    상기 제 2 메타 데이터는 상기 수신된 영상의 상기 분석에 따른 상기 결과 정보를 및 상기 할당된 노멀 카메라의 상기 식별자를 포함하는 동작 방법.
  11. 제 1 항에 있어서,
    상기 클러스터를 구성하는 단계는,
    사용자 단말기로부터 상기 다른 인공지능 카메라의 상기 등록 정보를 수신하는 단계; 및
    상기 수신된 등록 정보를 이용하여 상기 다른 인공지능 카메라와 통신을 수행함으로써 상기 클러스터를 구성하는 단계를 포함하는 동작 방법.
  12. 제 1 항에 있어서,
    상기 노멀 카메라들의 등록 정보를 상기 다른 인공지능 카메라와 공유하는 단계는,
    사용자 단말기로부터 상기 노멀 카메라들의 등록 정보를 수신하는 단계; 및
    상기 수신된 등록 정보를 상기 다른 인공지능 카메라에 제공하는 단계를 포함하는 동작 방법.
  13. 광학계;
    상기 광학계를 통해 수신되는 빛에 따라 생성된 영상을 처리하도록 구성되는 제 1 프로세서;
    상기 제 1 프로세서의 제어에 응답하여 동작하되, 딥 러닝 방식에 기반하여 상기 처리된 영상을 분석하도록 구성되는 제 2 프로세서; 및
    네트워크를 통한 통신을 제공하는 네트워크 인터페이스를 포함하되,
    상기 제 1 프로세서는,
    상기 네트워크를 통해 외부 인공지능 카메라와 서로 등록 정보를 교환함으로써, 상기 외부 인공지능 카메라와 함께 영상 분석을 위한 클러스터를 구성하고,
    상기 네트워크를 통해 노멀 카메라들에 액세스할 수 있도록, 상기 노멀 카메라들의 등록 정보를 상기 외부 인공지능 카메라와 공유하고,
    상기 노멀 카메라들 중 하나를 할당받을 때, 상기 할당된 노멀 카메라에 액세스하여 상기 할당된 노멀 카메라에 의해 촬영된 영상을 수신하고,
    상기 제 2 프로세서에 상기 수신된 영상을 분석하도록 커맨드하고,
    상기 수신된 영상의 상기 분석에 따른 결과 정보를 상기 할당된 노멀 카메라의 식별자와 함께 상기 네트워크를 통해 외부 장치로 전송하도록 구성되는 카메라.
  14. 제 13 항에 있어서,
    상기 제 1 프로세서는 추가적인 인공지능 카메라의 등록 정보가 수신될 때, 상기 수신된 등록 정보에 따라 상기 추가적인 인공지능 카메라에 액세스하여 상기 추가적인 인공지능 카메라를 상기 클러스터에 추가하도록 구성되는 카메라.
  15. 제 13 항에 있어서,
    상기 제 1 프로세서는 상기 외부 인공지능 카메라와 통신하여 상기 클러스터의 카메라들 중 어느 하나를 상기 클러스터의 마스터 노드로 결정하도록 구성되고,
    상기 할당된 노멀 카메라는 상기 마스터 노드로부터의 커맨드에 따라 결정되는 카메라.
  16. 제 13 항에 있어서,
    상기 제 1 프로세서는 상기 할당된 노멀 카메라에 상기 촬영된 영상의 제공을 요청하기 전에, 상기 할당된 노멀 카메라의 설정을 소정의 설정값으로 변경하도록 구성되는 카메라.
  17. 제 13 항에 있어서,
    상기 제 1 프로세서는 상기 제 2 프로세서에서 상기 수신된 영상을 분석할 때 딥러닝에 따른 확률이 임계치 이상이 되는지 여부에 따라, 상기 할당된 노멀 카메라로부터 수신하는 상기 영상의 길이를 가변적으로 조절하도록 구성되는 카메라.
PCT/KR2020/003391 2019-03-18 2020-03-11 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법 WO2020189953A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20772993.0A EP3944628A4 (en) 2019-03-18 2020-03-11 CAMERA FOR ANALYZING IMAGES BASED ON ARTIFICIAL INTELLIGENCE AND OPERATING METHODS THEREOF
US17/475,801 US11979660B2 (en) 2019-03-18 2021-09-15 Camera analyzing images on basis of artificial intelligence, and operating method therefor

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2019-0030457 2019-03-18
KR20190030457 2019-03-18
KR1020200029565A KR102664027B1 (ko) 2019-03-18 2020-03-10 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
KR10-2020-0029565 2020-03-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/475,801 Continuation US11979660B2 (en) 2019-03-18 2021-09-15 Camera analyzing images on basis of artificial intelligence, and operating method therefor

Publications (1)

Publication Number Publication Date
WO2020189953A1 true WO2020189953A1 (ko) 2020-09-24

Family

ID=72520407

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/003391 WO2020189953A1 (ko) 2019-03-18 2020-03-11 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법

Country Status (3)

Country Link
US (1) US11979660B2 (ko)
EP (1) EP3944628A4 (ko)
WO (1) WO2020189953A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10158867B2 (en) * 2014-06-20 2018-12-18 Qualcomm Incorporated Picture order count reset for multi-layer codecs
US20230222692A1 (en) * 2022-01-07 2023-07-13 Johnson Controls Tyco IP Holdings LLP Systems and methods for sharing analytical resources in a camera network

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
KR100954375B1 (ko) * 2008-05-06 2010-04-26 (주) 티앤엑스시스템즈 지능형 영상 감시 시스템
US20130040576A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Method and apparatus for forming wi-fi p2p group using wi-fi direct
KR101302803B1 (ko) * 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
KR101734320B1 (ko) * 2015-06-25 2017-05-24 (주) 야담 원격으로 복수의 카메라를 제어하는 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11032520B2 (en) * 2013-03-15 2021-06-08 James Carey Self-healing video surveillance system
US20160094773A1 (en) * 2014-09-29 2016-03-31 Apple Inc. Collaborative Image Collection And Processing Using Portable Cameras
KR102596485B1 (ko) * 2016-12-15 2023-11-01 한화비전 주식회사 카메라 등록 장치 및 방법
TW201915818A (zh) * 2017-10-05 2019-04-16 香港商印芯科技股份有限公司 光學識別模組
US11436648B1 (en) * 2018-05-04 2022-09-06 Allstate Insurance Company Processing system having a machine learning engine for providing a surface dimension output
US11645708B2 (en) * 2018-10-31 2023-05-09 International Business Machines Corporation Smart contract compliance monitoring and enforcement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060098729A1 (en) * 2004-11-09 2006-05-11 Lien-Chieh Shen Smart image processing CCTV camera device and method for operating same
KR100954375B1 (ko) * 2008-05-06 2010-04-26 (주) 티앤엑스시스템즈 지능형 영상 감시 시스템
KR101302803B1 (ko) * 2011-05-26 2013-09-02 주식회사 엘지씨엔에스 네트워크 카메라를 이용한 지능형 감시 방법 및 시스템
US20130040576A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Method and apparatus for forming wi-fi p2p group using wi-fi direct
KR101734320B1 (ko) * 2015-06-25 2017-05-24 (주) 야담 원격으로 복수의 카메라를 제어하는 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3944628A4 *

Also Published As

Publication number Publication date
US20220006960A1 (en) 2022-01-06
US11979660B2 (en) 2024-05-07
EP3944628A1 (en) 2022-01-26
EP3944628A4 (en) 2023-02-22

Similar Documents

Publication Publication Date Title
TWI435279B (zh) 監控系統，影像擷取裝置，分析裝置及監控方法
WO2016171341A1 (ko) 클라우드 기반 병리 분석 시스템 및 방법
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2021167374A1 (ko) 영상 검색 장치 및 이를 포함하는 네트워크 감시 카메라 시스템
WO2018174505A1 (en) Methods and apparatus for generating video content
WO2020189953A1 (ko) 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
WO2018084536A1 (ko) 타임 슬라이스 영상 제공 서버, 방법 및 사용자 단말
WO2020111776A1 (en) Electronic device for focus tracking photographing and method thereof
WO2021241804A1 (ko) 다중 플로우 기반 프레임 보간 장치 및 방법
KR102664027B1 (ko) 인공지능에 기반하여 영상을 분석하는 카메라 및 그것의 동작 방법
WO2020085558A1 (ko) 고속분석 영상처리장치 및 그 장치의 구동방법
WO2021225217A1 (ko) 비디오 데이터 통합 분석 및 관리 시스템
US11064156B2 (en) Camera control method, camera, and surveillance system
WO2023080667A1 (ko) Ai 기반 객체인식을 통한 감시카메라 wdr 영상 처리
WO2023219466A1 (en) Methods and systems for enhancing low light frame in a multi camera system
WO2023158205A1 (ko) Ai 기반 객체인식을 통한 감시 카메라 영상의 노이즈 제거
WO2022080680A1 (ko) 인공지능 기반 이미지 인페인팅 방법 및 디바이스
WO2019151808A1 (ko) 이미지 센서를 이용한 이미지 획득 과정에서 생성된 압축 속성을 이용하여 이미지를 압축하는 전자 장치 및 그 동작 방법
WO2019209005A1 (ko) 인공지능 기반 해상도 개선 시스템
WO2020246823A1 (ko) 네트워크 감시 카메라 시스템 및 그 동작 방법
EP4173280A1 (en) Method and electronic device for intelligent camera zoom
WO2019194572A1 (en) Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
WO2024228482A1 (ko) 객체 재인식을 위한 신경망 모델의 적응적 업데이트
WO2019164056A1 (ko) 증강 현실, 가상 현실 또는 혼합 현실 기반 일반물체인식에서 이진 탐색 트리에 기초하여 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스
WO2023277472A1 (ko) 반려 동물의 식별을 위한 객체를 촬영하기 위한 방법 및 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20772993

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020772993

Country of ref document: EP

Effective date: 20211018