KR102424081B1 - Object image classification method based on machine learning and position/environment information - Google Patents
Object image classification method based on machine learning and position/environment information Download PDFInfo
- Publication number
- KR102424081B1 KR102424081B1 KR1020200130819A KR20200130819A KR102424081B1 KR 102424081 B1 KR102424081 B1 KR 102424081B1 KR 1020200130819 A KR1020200130819 A KR 1020200130819A KR 20200130819 A KR20200130819 A KR 20200130819A KR 102424081 B1 KR102424081 B1 KR 102424081B1
- Authority
- KR
- South Korea
- Prior art keywords
- classification
- model
- service
- server
- object image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000010801 machine learning Methods 0.000 title abstract description 7
- 241000251468 Actinopterygii Species 0.000 claims abstract description 81
- 238000013145 classification model Methods 0.000 claims abstract description 60
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 16
- 238000013473 artificial intelligence Methods 0.000 claims description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 16
- 238000001514 detection method Methods 0.000 abstract description 8
- 241001465754 Metazoa Species 0.000 abstract description 2
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000001667 episodic effect Effects 0.000 description 2
- 239000013604 expression vector Substances 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G06K9/6267—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
본 발명의 실시예에 의하면, 어류의 식별, 탐지, 분류 과정에서 어류 영상 데이터의 부족 문제 및 분류 정확도 문제를 해결할 수 있는 방법으로서, 머신 러닝 기반의 학습 및 위치/환경 데이터를 함께 사용하고, 어류 분류 서비스 이용 과정에서 사용자의 개인정보 보호가 가능한 객체 영상 분류 모델이 제공된다. 본 발명의 실시예에 따른 객체 영상 분류 모델은 어류뿐만 아니라 다양한 식물, 동물의 식별, 탐지, 분류 과정에서도 적용될 수 있다.According to an embodiment of the present invention, as a method for solving a problem of insufficient fish image data and a problem of classification accuracy in the process of identification, detection, and classification of fish, machine learning-based learning and location/environment data are used together, and fish In the process of using the classification service, an object image classification model that can protect users' personal information is provided. The object image classification model according to an embodiment of the present invention can be applied not only to fish, but also to identification, detection, and classification of various plants and animals.
Description
본 발명은 객체 영상 분류 방법에 관한 것으로서, 머신 러닝 기반 및 위치/환경 정보 기반의 객체 영상 분류 방법에 관한 것이다.The present invention relates to a method for classifying an object image, and to a method for classifying an object image based on machine learning and location/environment information.
낚시를 하는 인구수가 급증함에 따라 낚시 관련 서비스의 수요가 증가하고 있다. 그중 많은 수의 서비스 이용자는 다양한 종류의 어류로 인해 낚시로 포획한 물고기가 어떤 종류의 물고기인지 모르며, 어떻게 조리하는지 등에 대한 방법을 알지 못한다. As the number of people fishing increases, the demand for fishing-related services is increasing. Among them, many service users do not know what kind of fish they catch due to various types of fish, and do not know how to cook them.
이와 관련하여, 어류 자체를 분류하는 분류 데이터는 데이터베이스화되어 존재하나, 사용자가 낚시로 낚은 물고기를 촬영한 경우 그 촬영한 물고기를 식별 및 분류할 수 있는 적절한 방법이 제안되지 못하고 있다.In this regard, classification data for classifying fish themselves exist as a database, but when a user captures a fish caught by fishing, an appropriate method for identifying and classifying the photographed fish has not been proposed.
종래 기술로서, 한국공개특허 제10-2016-0119997호에 따르면, 영상 처리 장치가 물고기 이미지를 포함하는 소스 영상을 입력받는 단계, 상기 영상 처리 장치가 상기 물고기 이미지에서 분석 영역을 결정하는 단계 및 상기 영상 처리 장치가 상기 분석 영역의 색상 특징, 질감 특징 및 모양 특징 중 적어도 하나를 상기 물고기 이미지의 특징 정보로 추출하는 단계를 포함하는 물고기 영상 특징 정보 추출 방법이 제안되고 있다. 또한 한국공개특허 제10-2018-0032488호에 따르면, 낚시와 같은 어로행위를 통해 수득되는 어류의 종류 및 어류의 길이를 측정할 수 있는 이미지를 이용한 어류 종류 및 체장 측정 방법이 제안되고 있다.As a prior art, according to Korean Patent Application Laid-Open No. 10-2016-0119997, an image processing device receiving a source image including a fish image, the image processing device determining an analysis region in the fish image, and the A method for extracting fish image feature information has been proposed, which includes extracting, by an image processing apparatus, at least one of a color feature, a texture feature, and a shape feature of the analysis region as feature information of the fish image. In addition, according to Korea Patent Application Laid-Open No. 10-2018-0032488, a method for measuring the type and length of a fish using an image capable of measuring the type and length of a fish obtained through a fishing activity such as fishing has been proposed.
그러나 상술한 종래 기술에 의할 때에도, 어류 영상 데이터의 부족의 문제를 해결할 수 있는 방법과 높은 정확도의 분류 결과를 서비스로 제공하기 위한 방법까지는 구체적으로 제안되지 못하고 있는 실정이다.However, even according to the above-described prior art, a method for solving the problem of insufficient fish image data and a method for providing a high-accuracy classification result as a service have not been specifically proposed.
본 발명은 어류의 식별, 탐지, 분류 과정에서 어류 영상 데이터의 부족 문제 및 분류 정확도 문제를 해결할 수 있는 방법으로서, 인공지능 기반의 학습 및 위치/환경 데이터를 함께 사용하고, 어류 분류 서비스 이용 과정에서 사용자의 개인정보 보호가 가능한 신규의 객체 영상 분류 모델을 제공하고자 한다.The present invention is a method that can solve the problem of lack of fish image data and the problem of classification accuracy in the process of identifying, detecting, and classifying fish. We want to provide a new object image classification model that can protect users' personal information.
본 발명의 일 측면에 따르면, 촬영된 객체 영상에 기초하여 객체의 종류를 식별 및 분류하기 위한, 객체 영상 분류에 관한 컴퓨터 구현 방법(Computer implemented method)은, 객체 영상 분류를 요청한 서비스 이용자로부터, 소정 객체가 촬영된 객체 영상을 수신하는 단계; 및 제1 분류 모델에 따른 출력 결과 및 제2 분류 모델에 따른 출력 결과를 영상 분류 통합 모델의 입력으로 하여, 상기 영상 분류 통합 모델에 따른 출력 결과인 영상 분류 결과를 획득하는 단계;를 포함한다.According to an aspect of the present invention, a computer implemented method for object image classification for identifying and classifying the type of object based on the photographed object image is provided from a service user who has requested object image classification, receiving an object image in which the object is photographed; and obtaining an image classification result that is an output result according to the image classification integrated model by using the output result according to the first classification model and the output result according to the second classification model as input to the image classification integrated model.
이때, 상기 제1 분류 모델로는 상기 촬영된 객체 영상을 입력으로 하여 1차 영상 분류 결과를 출력하는 제1 인공지능 학습 모델이 활용되고, 상기 제2 분류 모델로는 상기 촬영된 객체 영상의 촬영 장소 및 촬영 시기 중 적어도 하나와 관련된 환경 특징 정보를 추출하는 환경 특징 추출 모델이 활용된다.In this case, as the first classification model, a first artificial intelligence learning model that outputs a primary image classification result by inputting the photographed object image as an input is used, and as the second classification model, the photographing of the photographed object image is used. An environmental feature extraction model for extracting environmental feature information related to at least one of a location and a photographing time is used.
여기서, 상기 제1 분류 모델로서 제1 인공지능 학습 모델은, 메타 학습(Meta learning)에 의해 훈련된 퓨삿 학습 모델(Few shot learning model) 또는 연합 학습 모델(Federated learning model)이 활용될 수 있다.Here, as the first AI learning model as the first classification model, a Few shot learning model or a federated learning model trained by meta learning may be utilized.
여기서, 상기 제2 분류 모델로서 환경 특징 추출 모델은, 상기 객체 영상의 촬영 장소에 따른 위치 정보, 상기 객체 영상의 촬영 시기에 따른 일시 정보, 날씨 정보, 기온 정보, 수온 정보 중 적어도 하나의 환경 파라미터를 반영하였을 때 해당 객체의 출현 분포 특징에 관한 추출 결과를 출력할 수 있다. 이때, 상기 객체 영상이 물고기 사진인 경우, 상기 제2 분류 모델로서 환경 특징 추출 모델은, 해양수산부 API를 통해서 획득되는 위치 연관의 어종 출현 정보, 기상청 API를 통해서 획득되는 기온 또는 수온 연관의 어종 출현 정보, 상기 DB 서버에 구축된 어종 특성 구축 정보로부터 추론되는 어종 출현 분포 특징 정보를 추출 결과로서 출력할 수 있다.Here, the environmental feature extraction model as the second classification model may include at least one environmental parameter selected from location information according to a photographing location of the object image, date and time information according to a photographing time of the object image, weather information, temperature information, and water temperature information. When reflected, it is possible to output the extraction result about the appearance distribution characteristics of the object. In this case, when the object image is a picture of a fish, the environmental feature extraction model as the second classification model is location-related fish species appearance information obtained through the Ministry of Oceans and Fisheries API, and temperature or water temperature-related fish species appearance obtained through the Korea Meteorological Administration API. Information and the fish species appearance distribution characteristic information inferred from the fish species characteristic construction information built in the DB server may be output as an extraction result.
또한, 상기 영상 분류 통합 모델로는, 상기 1차 영상 분류 결과 및 상기 환경 특징 정보를 입력으로 하여 최종 영상 분류 결과를 출력하는 인공지능 학습 모델로서, 상기 제1 인공지능 학습 모델과 상이한 제2 인공지능 학습 모델이 활용된다. 여기서, 상기 영상 분류 통합 모델로는 얕은 신경망 모델(Shallow neural network model)이 활용될 수 있다.In addition, the image classification integrated model is an artificial intelligence learning model that outputs a final image classification result by inputting the primary image classification result and the environmental feature information as inputs, and a second artificial intelligence learning model different from the first artificial intelligence learning model An intelligent learning model is utilized. Here, a shallow neural network model may be used as the image classification integrated model.
본 발명의 실시예에 의하면, 어류의 식별, 탐지, 분류 과정에서 어류 영상 데이터의 부족 문제 및 분류 정확도 문제를 해결할 수 있는 방법으로서, 머신 러닝 기반의 학습 및 위치/환경 데이터를 함께 사용하고, 어류 분류 서비스 이용 과정에서 사용자의 개인정보 보호가 가능한 객체 영상 분류 모델이 제공될 수 있는 효과가 있다.According to an embodiment of the present invention, as a method for solving a problem of insufficient fish image data and a problem of classification accuracy in the process of identification, detection, and classification of fish, machine learning-based learning and location/environment data are used together, and fish In the process of using the classification service, there is an effect that an object image classification model capable of protecting the user's personal information can be provided.
또한 본 발명의 실시예에 따른 객체 영상 분류 모델은 어류뿐만 아니라 다양한 식물, 동물의 식별, 탐지, 분류 과정에서도 적용될 수 있는 효과가 있다.In addition, the object image classification model according to the embodiment of the present invention has an effect that can be applied to the identification, detection, and classification of various plants and animals as well as fish.
도 1은 본 발명의 객체 영상 분류 방법이 실행되는 일 실시예의 서비스 플로우를 도시한 도면.
도 2는 본 발명의 일 실시예의 객체 영상 분류 방법에 관한 분석 모델을 설명하기 위한 도면.
도 3은 본 발명의 객체 영상 분류 방법이 실행되는 다른 실시예의 서비스 플로우를 도시한 도면.
도 4는 본 발명의 다른 실시예의 객체 영상 분류 방법에 관한 분석 모델을 설명하기 위한 도면.1 is a view showing a service flow according to an embodiment in which the object image classification method of the present invention is executed.
2 is a view for explaining an analysis model related to the object image classification method according to an embodiment of the present invention.
3 is a view showing a service flow of another embodiment in which the object image classification method of the present invention is executed.
4 is a diagram for explaining an analysis model related to an object image classification method according to another embodiment of the present invention.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can apply various transformations and can have various embodiments, specific embodiments are illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.
본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from other components.
또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 본 명세서에서 인공지능 학습 모델이란 머신 러닝 및 딥 러닝을 모두 포괄하는 개념 용어로서 사용한다.In addition, throughout the specification, when an element is referred to as "connected" or "connected" with another element, the one element may be directly connected or directly connected to the other element, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle. In addition, throughout the specification, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated. In addition, in the present specification, artificial intelligence learning model is used as a conceptual term encompassing both machine learning and deep learning.
본 발명은, 촬영된 객체 영상에 기초하여 객체의 종류를 식별 및 분류하기 위한, 객체 영상 분류에 관한 컴퓨터 구현 방법(Computer implemented method)으로서, 객체 영상 분류를 요청한 서비스 이용자로부터, 소정 객체가 촬영된 객체 영상을 수신하는 단계; 및 제1 분류 모델에 따른 출력 결과 및 제2 분류 모델에 따른 출력 결과를 영상 분류 통합 모델의 입력으로 하여, 상기 영상 분류 통합 모델에 따른 출력 결과인 영상 분류 결과를 획득하는 단계;를 포함하는 객체 영상 분류 방법에 관한 것이다.The present invention provides a computer implemented method for object image classification for identifying and classifying the type of object based on the photographed object image. From a service user who requested object image classification, a predetermined object is captured receiving an object image; and obtaining an image classification result that is an output result according to the image classification integrated model by using the output result according to the first classification model and the output result according to the second classification model as input to the image classification integrated model. It relates to an image classification method.
이때, 상기 제1 분류 모델로는 상기 촬영된 객체 영상을 입력으로 하여 1차 영상 분류 결과를 출력하는 제1 인공지능 학습 모델이 활용되고, 상기 제2 분류 모델로는 상기 촬영된 객체 영상의 촬영 장소 및 촬영 시기 중 적어도 하나와 관련된 환경 특징 정보를 추출하는 환경 특징 추출 모델이 활용된다. 또한, 상기 영상 분류 통합 모델로는, 상기 1차 영상 분류 결과 및 상기 환경 특징 정보를 입력으로 하여 최종 영상 분류 결과를 출력하는 머신 러닝 모델로서, 상기 제1 인공지능 학습 모델과 상이한 제2 인공지능 학습 모델이 활용된다.In this case, as the first classification model, a first artificial intelligence learning model that outputs a primary image classification result by inputting the photographed object image as an input is used, and as the second classification model, the photographing of the photographed object image is used. An environmental feature extraction model for extracting environmental feature information related to at least one of a location and a photographing time is used. In addition, the image classification integrated model is a machine learning model that outputs a final image classification result by inputting the primary image classification result and the environmental feature information as inputs, and a second artificial intelligence different from the first artificial intelligence learning model A learning model is used.
상술한 바와 같은 본 발명에 따른 객체 영상 분류 방법은, 그 전체 과정이, 객체 영상 분류를 위한 분석 목적인 분석 서버에 의해 실행될 수도 있고, 동일 목적의 서비스를 제공하기 위한 애플리케이션 프로그램(예를 들어, 사용자(후술할 서비스 이용자) 단말에 설치되는 모바일 앱(App))에 의해 실행될 수도 있다. 또한, 일부 분류 과정은 모바일 앱에서 실행되고 그 외 분류 과정은 분석 서버에 의해 실행될 수도 있다. 즉, 상기 제1 분류 모델, 제2 분류 모델, 영상 분류 통합 모델에 의한 예측(prediction) 과정 전체가 분석 서버 또는 모바일 앱에서 실행될 수도 있지만, 제1 분류 모델 및 제2 분류 모델 중 적어도 하나가 모바일 앱에서 실행되고 영상 분류 통합 모델을 포함하는 그 외의 분류 과정은 분석 서버에 의해서 실행될 수도 있는 것이다.In the object image classification method according to the present invention as described above, the entire process may be executed by an analysis server that is an analysis purpose for object image classification, and an application program (eg, a user (Service user to be described later) It may be executed by a mobile app (App) installed in the terminal. In addition, some classification processes may be executed in the mobile app and other classification processes may be executed by the analysis server. That is, the entire prediction process by the first classification model, the second classification model, and the image classification integrated model may be executed in the analysis server or the mobile app, but at least one of the first classification model and the second classification model is mobile Other classification processes running in the app and including the image classification integration model may be executed by the analysis server.
본 발명에 따른 객체 영상 분류 방법은, 특별한 제한 없이 다양한 객체 영상의 객체 식별, 탐지, 분류에 활용될 수 있다. 다만, 본 명세서에서는 발명 설명의 편의 및 집중을 위해, 사용자가 촬영한 물고기 사진으로부터 해당 물고기의 어종을 분류/판별하는 케이스에 본 발명이 적용되는 경우를 주로 설명하기로 한다.The object image classification method according to the present invention may be used for object identification, detection, and classification of various object images without particular limitation. However, in the present specification, for convenience and concentration of the description of the invention, a case in which the present invention is applied to a case of classifying/identifying a fish species of a corresponding fish from a fish photograph taken by a user will be mainly described.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. 여기서, 도 1은 본 발명의 객체 영상 분류 방법이 실행되는 일 실시예의 서비스 플로우를 도시한 도면이고, 도 2는 본 발명의 일 실시예의 객체 영상 분류 방법에 관한 분석 모델을 설명하기 위한 도면이며, 도 3은 본 발명의 객체 영상 분류 방법이 실행되는 다른 실시예의 서비스 플로우를 도시한 도면이고, 도 4는 본 발명의 다른 실시예의 객체 영상 분류 방법에 관한 분석 모델을 설명하기 위한 도면이다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Here, FIG. 1 is a view showing a service flow of an embodiment in which the object image classification method of the present invention is executed, and FIG. 2 is a diagram for explaining an analysis model related to the object image classification method according to an embodiment of the present invention, 3 is a diagram illustrating a service flow of another embodiment in which the object image classification method of the present invention is executed, and FIG. 4 is a diagram for explaining an analysis model related to the object image classification method according to another embodiment of the present invention.
먼저, 도 1 및 도 2를 참조하여, 본 발명의 제1 실시예를 설명하면 다음과 같다.First, a first embodiment of the present invention will be described with reference to FIGS. 1 and 2 .
도 1에서, 서비스 서버는 객체 영상 분류 서비스를 제공하는 서비스 플랫폼에 해당한다. 또한, 분석 서버는 객체 영상 분류에 따른 실제 분석을 수행하며, 객체 영상 분류를 위한 분류 모델을 검증/업데이트하는 역할을 수행한다.1 , a service server corresponds to a service platform that provides an object image classification service. In addition, the analysis server performs an actual analysis according to object image classification, and serves to verify/update a classification model for object image classification.
도 1의 경우, 서비스 이용자 단말로부터 객체 영상에 관한 분류 요청이 수신되면[S10], 서비스 서버가 분석 서버로 객체 영상 관련 메타 데이터를 전송하고[S11], 이에 따라 분석 서버에 의해 분석된 객체 영상 분류 결과(객체 식별/분류 결과)를 서비스 서버를 통해서 서비스 이용자 단말로 전송[S12, S13]하는 서비스 플로우가 예시되고 있다. 즉, 도 1은 분석 서버에 의해 객체 영상 분류에 관한 모든 분석 과정(후술할 도 2의 분석 과정)이 실행되는 케이스가 예시되고 있다. In the case of FIG. 1, when a classification request regarding an object image is received from the service user terminal [S10], the service server transmits object image-related metadata to the analysis server [S11], and accordingly, the object image analyzed by the analysis server A service flow for transmitting the classification result (object identification/classification result) to the service user terminal through the service server [S12, S13] is exemplified. That is, FIG. 1 exemplifies a case in which all analysis processes related to object image classification (the analysis process of FIG. 2 to be described later) are executed by the analysis server.
다만, 앞서도 설명한 바와 같이, 서비스 설계 방식에 따라, 서비스 이용자 단말에 설치되는 서비스 앱을 통한 분석 또는 해당 서비스 앱과 분석 서버가 연계되는 방식의 분석도 가능할 수 있음은 물론이다. 이와 같은 경우, 분석 서버에 의해 객체 영상 분류 모델이 업데이트되는 경우, 서비스 서버를 통해서 그 업데이트된 분류 모델은 서비스 앱에도 반영되게 된다.However, as described above, according to the service design method, analysis through a service app installed on the service user terminal or analysis of a method in which the service app and the analysis server are linked may be possible, of course. In this case, when the object image classification model is updated by the analysis server, the updated classification model through the service server is also reflected in the service app.
[Few Shot Learning과 GPS(위치) 기반의 어종 탐지와 분류 (도 2)][Few Shot Learning and GPS (Location)-based Fish Species Detection and Classification (Fig. 2)]
도 2의 경우, 제1 분류 모델로서, 퓨샷 학습 모델(Few shot learning model)이 활용된다. Few shot learning은 딥러닝 모델 중에서도 소량의 데이터를 이용하여 객체를 인식(분류)하는 문제를 풀도록 학습된 모델로서, N-way K-shot 문제(여기서, N은 클래스(분류 범주)의 수, K는 클래스별 서포트 데이터(support data)의 수)로 표현될 수 있다. 따라서, Few shot learning의 성능은 클래스의 수인 N과는 반비례 관계를 갖고 서포트 데이터의 수인 K와는 비례 관계를 갖는다.In the case of FIG. 2 , a Few shot learning model is used as the first classification model. Few shot learning is a model trained to solve the problem of recognizing (classifying) objects using a small amount of data among deep learning models. K may be expressed as the number of support data for each class). Therefore, the performance of Few shot learning has an inverse relationship with N, which is the number of classes, and a proportional relationship with K, which is the number of support data.
이때, Few shot learning이 기존의 학습 과정에 사용된 데이터 셋(즉, 서포트 데이터(support data) 및 이의 검증 테스트를 위한 쿼리 데이터(query data)) 이외의 완전히 새롭게 주어진 데이터에서도 잘 작동하도록 만들기 위해서는 메타 학습(Meta learning)에 의해 훈련이 필요하다. 이에 따라 Few shot learning에서는 에피소딕 훈련(Episodic training) 방식으로 Meta learning을 실행한다. 이와 같은 Episodic training을 통해서 모델 스스로 학습 규칙을 도출할 수 있게 함으로써 일반화 성능을 높일 수 있게 된다. 이와 같은 학습(훈련)은 그 학습 솔루션으로서 메트릭(metric) 기반의 메타 학습, 그래프 신경망(graph neural network) 기반의 메타 학습, 그래디언트(gradient) 최적화 기반의 메타 학습 등과 같은 다양한 방식이 이용될 수 있는데, 최종적으로는 예측(분류) 손실(loss)를 줄일 수 있도록 하는(즉, 분류 결과(지표)를 가장 좋게 만들어 주는) 손실 함수의 매개 변수 값(가중치)을 탐색하는 것이다.At this time, in order to make Few shot learning work well with completely newly given data other than the data set used in the existing learning process (that is, support data and query data for its validation test), the meta Training is required by meta-learning. Accordingly, in Few shot learning, meta learning is performed in an episodic training method. Through such episodic training, the generalization performance can be improved by allowing the model to derive learning rules by itself. For such learning (training), various methods such as metric-based meta-learning, graph neural network-based meta-learning, and gradient optimization-based meta-learning can be used as the learning solution. , and finally, to search for the parameter value (weight) of the loss function that can reduce the prediction (classification) loss (that is, make the classification result (indicator) the best).
이를 위해, Few shot learning을 위해 어종 별 10~20장의 사진을 모델에 등록하고, 가지고 있는 데이터에 기반하여 어종을 구별하기 위해 Meta learning을 진행할 수 있다. 이때, Meta learning에서는 국내에서 자주 등장하는 어종(일 예로, 약 23개의 어종)을 포함하여 다수 어종(일 예로, 1000여개의 어종)의 약 2만장 내외의 사진을 학습하도록 함으로써, 메타 학습에 의해 훈련된 퓨삿 학습 모델을 구축할 수 있다.For this purpose, 10 to 20 photos of each fish species are registered in the model for Few shot learning, and meta learning can be performed to distinguish fish species based on the data they have. At this time, in meta learning, by learning about 20,000 photos of multiple fish species (for example, about 1000 fish species), including fish species that frequently appear in Korea (for example, about 23 fish species), by meta-learning A trained Fussat learning model can be built.
본 발명의 일 실시예에서는 상술한 바와 같이 구축된 Few shot learning 모델을 제1 분류 모델로서 이용하여 서비스 이용자가 촬영한 물고기 사진이 어떤 어종의 물고기일지에 관한 1차 영상 분류 결과를 획득한다. 이때, 1차 영상 분류 결과는 표현 벡터(representation vector)로 생성될 수 있으며, 분류 클래스에 따라 representation vector의 크기는 조정될 수 있다. 예를 들어, 1000여종의 어종을 대상으로 할 경우 500 ~ 1000 차원의 벡터(즉, 500 ~ 1000개의 파라미터(매개 변수)에 따라 표현되는 특징 벡터(feature vector))가 생성될 수 있다. 이와 같은 표현 벡터가 생성되면, 해당 벡터가 각각의 분류 클래스 중 어떤 분류 클래스에 속할 가능성이 높은지에 관한 분류 확률이 도출될 수 있게 된다.In an embodiment of the present invention, a first image classification result regarding which type of fish is a fish picture taken by a service user is obtained by using the Few shot learning model constructed as described above as a first classification model. In this case, the primary image classification result may be generated as a representation vector, and the size of the representation vector may be adjusted according to the classification class. For example, when about 1000 fish species are targeted, a vector of 500 to 1000 dimensions (ie, a feature vector expressed according to 500 to 1000 parameters (parameters)) may be generated. When such an expression vector is generated, a classification probability regarding which classification class the corresponding vector belongs to among the respective classification classes can be derived.
그러나 Few shot learning 모델은 어종 별 10~20장의 사진을 모델에 등록하여 이용하는 것이므로, 그 분류 정확도가 떨어질 수 있다. 따라서, 본 발명에서는 이를 보완하기 위해, 촬영된 객체 영상의 촬영 장소 및 촬영 시기 중 적어도 하나와 관련된 환경 특징 정보(지역/시기/날씨 등과 같은 환경 상황 별 어종 분포/출현 특성)를 추출하는 환경 특징 추출 모델을 제2 분류 모델로서 추가 활용한다. 이하, 제2 분류 모델은 설명상 편의를 위해 GPS 기반 추론 모델이라 명명하기로 한다.However, since the Few shot learning model registers and uses 10 to 20 pictures of each fish species in the model, the classification accuracy may be lowered. Therefore, in the present invention, in order to supplement this, environmental characteristics for extracting environmental characteristic information (distribution/appearance characteristics of fish species according to environmental conditions such as region/time/weather) related to at least one of a shooting location and a shooting time of a captured object image The extraction model is further utilized as a second classification model. Hereinafter, the second classification model will be referred to as a GPS-based inference model for convenience of description.
GPS 기반 추론 모델은, 지역 및 기간별 GPS 위치 기준의 물고기 출현 빈도를 이용한다. 해당 출현 빈도 데이터는 예를 들어, 해양수산부의 API 또는/및 자체 구축 DB의 활용을 통해서 획득할 수 있다. 이에 따라, GPS 기반 추론 모델은, 물고기 사진의 촬영 장소에 따른 위치 정보, 물고기 사진의 촬영 시기에 따른 일시 정보, 날씨 정보, 기온 정보, 수온 정보 중 적어도 하나의 환경 파라미터를 반영하였을 때 해당 객체인 물고기의 출현 분포 특징에 관한 추출 결과를 출력한다.The GPS-based inference model uses the frequency of fish appearance based on GPS location by region and period. Corresponding appearance frequency data can be obtained, for example, through the use of the Ministry of Oceans and Fisheries API and/or self-constructed DB. Accordingly, the GPS-based inference model is a corresponding object when at least one environmental parameter of location information according to the photographing location of the fish picture, date and time information according to the photographing time of the fish picture, weather information, temperature information, and water temperature information is reflected. Outputs the extraction results regarding the appearance distribution features of fish.
이때, 어종 특성 구축을 위한 DB 구축 정보로는, 어종 식별정보(속, 계명, 계수형질, 목, 문, 학명, 어, 계통, 생물종, 몸체길이, 생명주기 등), 어종 분포정보(분포지역, 평태, 채집 해역, 군락, 분포지역정보, 서식지, 서식지위도, 서식지경도, 원산지 등), 어종 특징 정보(몸체길이, 생명주기, 산란기 등) 등이 포함될 수 있다.At this time, DB construction information for constructing fish species characteristics includes fish species identification information (genus, genus, character trait, order, phylum, scientific name, fish, lineage, species, body length, life cycle, etc.), fish species distribution information (distribution). Region, pyeongtae, collection sea area, colony, distribution area information, habitat, habitat latitude, habitat longitude, origin, etc.), fish species characteristic information (body length, life cycle, spawning season, etc.) may be included.
상술한 제1 분석 모델에 따른 1차 영상 분류 결과(즉, 표현 벡터에 따른 어종별 분류 확률값) 및 상술한 제2 분석 모델에 따른 GPS 기반의 어종 출현 분포 특징 정보는 영상 분류 통합 모델(도 2의 케이스에서는 Shallow neural network)의 입력 레이어(layer)로 입력되고, 이에 따라 영상 분류 통합 모델에 따른 출력 결과인 최종 분류 결과가 획득된다. 이때, 실시에에 따라, Shallow neural network의 최종 어종 확률값을 최종 출력값으로 하며, 가장 확률이 높은 3개의 어종의 사진과 확률이 서비스 이용자에게 제공(반환)될 수 있다.The first image classification result according to the first analysis model (that is, the classification probability value for each fish species according to the expression vector) and the GPS-based fish species appearance distribution characteristic information according to the second analysis model are the image classification integrated model (FIG. 2). In the case of , it is input to the input layer of the shallow neural network, and thus the final classification result, which is an output result according to the image classification integrated model, is obtained. In this case, depending on implementation, the final fish species probability value of the shallow neural network is used as the final output value, and photos and probabilities of the three fish species with the highest probability may be provided (returned) to the service user.
도 2의 경우, 영상 분류 통합 모델로서 Shallow neural network가 활용되는 경우를 예시하고 있지만, 이외에도 다양한 딥 러닝 모델 또는 SVM(Support vector machine), Light gradient boosting machine의 앙상블 모델, Random forest 등과 같은 다양한 머신 러닝 모델이 대체 활용될 수 있음은 물론이다(도 4도 동일함).In the case of FIG. 2, a case in which a shallow neural network is used as an integrated image classification model is exemplified, but in addition to various deep learning models or SVM (Support vector machine), an ensemble model of a light gradient boosting machine, various machine learning such as random forest, etc. It goes without saying that the model can be used as a substitute ( FIG. 4 is the same).
상술한 바와 같은 방법에 의하면, 인공지능 기반의 학습 모델 및 위치/환경 데이터에 기반한 어종 출현 분포 특징 정보를 함께 이용함으로써, 어류(어종)의 식별, 탐지, 분류 과정에서 어류 영상 데이터의 부족 문제 및 분류 정확도 문제를 해결할 수 있다.According to the method as described above, by using the artificial intelligence-based learning model and the fish species appearance distribution characteristic information based on location/environment data together, the problem of insufficient fish image data in the process of identification, detection, and classification of fish (fish species) and It can solve the classification accuracy problem.
또한 상술한 방법에 의하면, 서비스 서버는, 분류 정확도가 향상된 어종 분류 결과에 기초하여, 해당 어종의 추천 요리, 조리 방법 등과 같은 다양한 정보를 서비스 이용자에게 제공해 줄 수 있다.In addition, according to the above-described method, the service server may provide various information such as a recommended dish and cooking method of the corresponding fish type to the service user based on the result of the fish species classification with improved classification accuracy.
다음으로, 도 3 및 도 4를 참조하여, 본 발명의 제2 실시예를 설명하면 다음과 같다.Next, a second embodiment of the present invention will be described with reference to FIGS. 3 and 4 .
도 3의 경우, 서비스 이용자 단말의 서비스 앱으로부터 객체 영상에 관한 1차 영상 분류 결과가 획득되고 이에 관한 정보가 서비스 서버로 전송되면[S20], 서비스 서버는 분석 서버로 객체 영상 관련 메타 데이터를 전송하고[S22], 이에 따라 분석 서버에 의해 분석된 객체 영상 분류 결과(객체 식별/분류 결과)를 서비스 서버를 통해서 서비스 이용자 단말로 전송[S23, S24]하는 서비스 플로우가 예시되고 있다. 즉, 도 3은 서비스 앱과 분석 서버가 연계하여 객체 영상 분류를 실행하는 케이스가 예시되고 있다. 이때, 서비스 앱으로부터 획득된 1차 영상 분류 결과에 관한 정보는 DB 서버로도 전송되어 저장되며[S21], 이러한 정보는 향후 분석 서버에 의해 객체 영상 분류를 위한 분류 모델을 검증/업데이트하는데 활용된다. 이와 같이 분석 서버에 의해 업데이트된 분류 모델은 서비스 서버를 통해서 서비스 이용자에게 배포된다.In the case of Figure 3, when the primary image classification result about the object image is obtained from the service app of the service user terminal and the information is transmitted to the service server [S20], the service server transmits the object image related metadata to the analysis server and [S22], and accordingly, a service flow of transmitting the object image classification result (object identification / classification result) analyzed by the analysis server to the service user terminal through the service server [S23, S24] is exemplified. That is, FIG. 3 exemplifies a case in which the service app and the analysis server are linked to execute object image classification. At this time, the information on the primary image classification result obtained from the service app is also transmitted and stored in the DB server [S21], and this information is used to verify/update the classification model for object image classification by the future analysis server. . In this way, the classification model updated by the analysis server is distributed to the service user through the service server.
이하, 도 4를 참조하여 본 발명의 제2 실시예를 설명하되, 설명의 편의 및 집중을 위해 앞선 제1 실시예(도 2)의 설명에서와 중복될 수 있는 부분에 관한 설명은 생략하기로 한다.Hereinafter, a second embodiment of the present invention will be described with reference to FIG. 4, but for convenience and concentration of the description, descriptions of parts that may overlap with the description of the first embodiment (FIG. 2) will be omitted. do.
[Federated learning과 GPS(위치) 기반의 어종 탐지와 분류 (도 4)][Federated learning and GPS (location)-based fish species detection and classification (Fig. 4)]
앞서 설명한 도 2에서는 제1 분류 모델로서 Few shot learning 모델을 사용한 반면, 도 4에서는 제1 분류 모델로서 연합 학습 모델(Federated learning model)을 사용하고 있다. In FIG. 2 described above, the Few shot learning model is used as the first classification model, whereas in FIG. 4 , a federated learning model is used as the first classification model.
Federated learning은 사용자 측의 디바이스에서 학습을 하게 한 다음, 학습 정보를 취합해서 모델을 업데이트하는 방식을 채용하므로, 사용자 측 디바이스에 저장된 데이터를 외부로 전송할 필요가 없어 개인정보 보호에 이점이 있다. 따라서, 본 발명의 제2 실시예에서는 개인정보(사용자의 사진, 위치 등) 보호와 학습 데이터 부족을 해결하기 위해 Federated learning 모델을 제1 분류 모델로서 사용한다. 즉, 본 발명의 제2 실시예는, 사용자가 서버로 자신이 촬영한 사진을 업로드하는 것과 자신의 GPS 위치 정보를 제공하는 것을 원하지 않는 경우에 활용되기 적합하다. Federated learning has an advantage in protecting personal information because it does not need to transmit the data stored in the user's device to the outside because it adopts a method of updating the model by collecting the learning information after learning on the user's device. Accordingly, in the second embodiment of the present invention, the federated learning model is used as the first classification model in order to protect personal information (user's photo, location, etc.) and to solve the lack of learning data. That is, the second embodiment of the present invention is suitable for use when the user does not want to upload a picture taken by the user to the server and provide his or her GPS location information.
이에 따라, 도 4에서, 제1 분류 모델(즉, Federated learning model)에 의한 1차 영상 분류는 서비스 이용자 단말에 다운로드 설치된 서비스 앱에 의해 실행된다.Accordingly, in FIG. 4 , the primary image classification by the first classification model (ie, federated learning model) is executed by the service app downloaded and installed in the service user terminal.
이를 위해, 서비스 이용자는, 자신의 단말기에 Federated learning model에 따른 어종 분류 모델을 앱으로 다운로드 받은 후, 그 다운로드된 Federated learning model을 통해서 추론된 물고기 사진에 관한 1차 영상 분류 결과를 서비스 앱의 화면을 통해 확인할 수 있다. 이때, 서비스 이용자가 어떤 물고기인지 아는 경우라면, 어떤 물고기인지를 선택하여 등록할 수도 있다. 즉, 제1 분류 모델의 분류 결과(예측)가 서비스 앱 화면에 보여졌을 때, 서비스 이용자가 어종 선택(정답 선택)을 하여 등록할 수도 있다.To this end, the service user downloads the fish species classification model according to the Federated learning model to his/her terminal as an app, and then displays the primary image classification result for the fish picture inferred through the downloaded Federated learning model on the screen of the service app. can be checked through At this time, if the service user knows what kind of fish it is, he can select and register the fish. That is, when the classification result (prediction) of the first classification model is shown on the service app screen, the service user may select a fish species (select the correct answer) and register it.
상술한 바와 같이 획득된 1차 영상 분류 결과에 관한 메타 데이터(예를 들어, 어종별 분류 확률값, 손실값, Federated learning을 통해 학습된 매개 변수 가중치(weights), 사용자 선택값 등)이 DB 서버로 저장될 수 있다. 이때, 사용자 동의가 있는 경우, GPS 위치 정보와 등록 시간도 DB 서버로 저장될 수 있다.Metadata (eg, classification probability value by fish type, loss value, parameter weights learned through federated learning, user selection value, etc.) about the primary image classification result obtained as described above is transferred to the DB server. can be saved. At this time, if there is user consent, GPS location information and registration time may also be stored in the DB server.
이와 같은 메타 데이터는 향후 분석 서버를 통한 분류 모델 학습 및 업데이트에 활용된다. DB 서버에 저장된 weights는 일정 이상 데이터가 누적되면 일괄 학습되며, 학습 및 검증을 통해 정확도가 향상된 분류 모델은 서비스 서버를 통해 다시 서비스 이용자에게 배포된다.Such metadata will be used for training and updating the classification model through the analysis server in the future. The weights stored in the DB server are collectively learned when more than a certain amount of data is accumulated, and the classification model with improved accuracy through learning and verification is distributed to service users again through the service server.
본 발명의 제2 실시예에서도, 앞서 설명한 제1 실시예에서와 유사하게, 기상청 API를 통해 획득되는 기상 상황, 기온, 수온 등과 같은 외부 환경 요인에 따른 정보와, 자체 구축 DB를 통해 획득되는 어종별 특성 정보에 기반하여 추출되는 물고기 출현 분포 특징 정보를 출력하는 제2 분류 모델(GPS 기반 추론 모델)이 함께 이용된다. 이때, 서비스 이용자가 GPS 위치 정보의 외부 제공에 동의하지 않는 케이스라면 제2 분류 모델에 의한 특징 추출도 서비스 이용자 단말의 서비스 앱에서 처리하게 될 것이나, GPS 위치 정보의 외부 제공에 동의하는 케이스라면 제2 분류 모델에 의한 특징 추출은 서비스 앱이 아닌 분석 서버에서 처리하여도 무방하다.In the second embodiment of the present invention, similarly to the first embodiment described above, information according to external environmental factors such as weather conditions, temperature, water temperature, etc. obtained through the Meteorological Agency API, and fish species obtained through self-constructed DB A second classification model (GPS-based inference model) that outputs fish appearance distribution characteristic information extracted based on star characteristic information is used together. At this time, if the service user does not agree to the external provision of GPS location information, the feature extraction by the second classification model will also be processed in the service app of the service user terminal. 2 The feature extraction by the classification model may be processed in the analysis server rather than the service app.
이후, 제1 분석 모델인 Federated learning model에 따른 1차 영상 분류 결과(즉, 어종별 분류 확률값) 및 제2 분석 모델에 따른 GPS 기반의 어종 출현 분포 특징 정보는 영상 분류 통합 모델(도 4의 케이스에서는 Shallow neural network)의 입력 레이어(layer)로 입력되고, 이에 따라 영상 분류 통합 모델에 따른 출력 결과인 최종 분류 결과가 획득된다. 이때, 실시에에 따라, Shallow neural network의 최종 어종 확률값을 최종 출력값으로 하며, 가장 확률이 높은 3개의 어종의 사진과 확률이 서비스 이용자에게 제공(반환)될 수 있음은 앞서도 설명한 바이다.Then, the first image classification result (ie, classification probability value for each fish species) according to the federated learning model, which is the first analysis model, and the GPS-based fish species appearance distribution characteristic information according to the second analysis model are combined with the image classification model (the case of FIG. 4 ). is input as an input layer of a shallow neural network, and thus a final classification result, which is an output result according to an image classification integrated model, is obtained. At this time, according to the implementation, the final fish species probability value of the shallow neural network is used as the final output value, and it has been previously described that the photos and probabilities of the three fish species with the highest probability can be provided (returned) to the service user.
상술한 바와 같은 방법에 의하면, 어류(어종)의 식별, 탐지, 분류 과정에서, 어류 분류 서비스 이용자의 개인정보 보호가 가능한 객체 영상 분류 모델이 제공될 수 있는 효과가 있다.According to the method as described above, in the process of identifying, detecting, and classifying fish (fish species), there is an effect that an object image classification model capable of protecting personal information of fish classification service users can be provided.
이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.Although the above has been described with reference to the embodiments of the present invention, those of ordinary skill in the art may variously modify the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. and can be changed.
Claims (6)
상기 서비스 이용자 단말을 이용하여 촬영된 객체 영상에 관한 상기 서비스 이용자의 객체 영상 분류 요청이 수신되는 경우, 상기 서비스 앱이, 제1 분류 모델인 인공지능 학습 모델을 이용하여 상기 촬영된 객체 영상을 입력으로 하였을 때의 객체 분류에 관한 1차 영상 분류 결과를 출력 결과로서 획득하는 단계;
상기 서비스 앱으로부터 상기 획득된 1차 영상 분류 결과 및 상기 객체 영상의 촬영 장소 및 촬영 시기에 관한 정보가 상기 서비스 서버를 경유하여 상기 분석 서버로 전달되는 단계;
상기 분석 서버가, 제2 분류 모델인 환경 특징 추출 모델을 이용하여 상기 객체 영상의 촬영 장소 및 촬영 시기에 따른 위치 정보, 일시 정보, 날씨 정보, 기온 정보, 수온 정보 중 적어도 하나의 환경 파라미터를 입력으로 하였을 때의 객체의 출현 분포 특징에 관한 추출 결과를 출력 결과로서 획득하는 단계;
상기 분석 서버가, 영상 분류 통합 모델로서 상기 제1 분류 모델과는 상이한 인공지능 학습 모델을 이용하여, 상기 제1 분류 모델에 따른 출력 결과로서의 상기 1차 영상 분류 결과 및 상기 제2 분류 모델에 따른 출력 결과로서의 상기 객체의 출현 분포 특징에 관한 추출 결과를 각각의 입력으로 하였을 때의 객체 분류에 관한 최종 영상 분류 결과를 획득하고, 상기 객체 분류에 관한 최종 영상 분류 결과를 상기 서비스 서버를 통해서 상기 서비스 앱으로 전송하는 단계;를 포함하고,
상기 분석 서버는,
상기 1차 영상 분류 결과에 따른 결과 데이터가 상기 서비스 서버와 연동되는 DB(Database) 서버로 전송되어 저장되도록 하고, 상기 DB 서버에 누적된 결과 데이터를 이용하여 상기 제1 분류 모델의 재학습을 수행함으로써 분류 모델이 업데이트된 경우, 업데이트된 분류 모델을 상기 서비스 서버를 통해서 상기 서비스 앱으로 재배포함으로써 상기 서비스 앱에서의 상기 제1 분류 모델의 업데이트가 수행되도록 하고,
상기 제2 분류 모델의 입력값으로 이용될 상기 객체 영상의 촬영 장소 및 촬영 시기에 따른 상기 환경 파라미터 및 상기 제2 분류 모델에 따른 출력 결과로서의 상기 객체의 출현 분포 특징에 관한 추출 결과를, 상기 환경 파라미터와 관련된 객체 출현 분포 특징 정보를 기록하고 있는 외부의 정보 서버와의 API(Application program interface)를 통한 연동을 통해서 또는 자체 구축된 상기 DB 서버를 통해서 획득하는 것을 특징으로 하는, 객체 영상 분류 방법.
a service server that is a platform that provides a classification service of object images; a service app installed in a service user terminal used by a service user who uses the object image classification service, and is an application program for using the object image classification service; An analysis server for learning and updating an artificial intelligence learning model for classification of the object image based on the data transmitted from the service server; a computer implemented method for classification of the object image executed through a service system comprising a; As (Computer implemented method),
When the service user's object image classification request with respect to the object image photographed using the service user terminal is received, the service app inputs the photographed object image using an artificial intelligence learning model that is a first classification model obtaining as an output result a primary image classification result related to object classification when ;
transmitting the obtained primary image classification result from the service app and information on a shooting location and shooting time of the object image to the analysis server via the service server;
The analysis server inputs at least one environmental parameter among location information, date and time information, weather information, temperature information, and water temperature information according to the shooting location and shooting time of the object image by using the environmental feature extraction model, which is the second classification model. obtaining, as an output result, an extraction result regarding an appearance distribution characteristic of an object when ;
The analysis server uses an artificial intelligence learning model different from the first classification model as an image classification integrated model, and according to the first image classification result and the second classification model as an output result according to the first classification model A final image classification result regarding object classification is obtained when an extraction result regarding the appearance distribution feature of the object as an output result is input as each input, and the final image classification result regarding the object classification is provided to the service server through the service server. Including; sending to the app;
The analysis server,
The result data according to the first image classification result is transmitted to and stored in a DB (Database) server interworking with the service server, and re-learning of the first classification model is performed using the result data accumulated in the DB server When the classification model is updated by doing so, the update of the first classification model in the service app is performed by redistributing the updated classification model to the service app through the service server,
The environment parameter according to the photographing location and the photographing time of the object image to be used as an input value of the second classification model, and the extraction result regarding the appearance distribution characteristic of the object as an output result according to the second classification model, An object image classification method, characterized in that it is acquired through interworking through an API (Application Program Interface) with an external information server that records object appearance distribution characteristic information related to parameters or through the self-built DB server.
상기 제1 분류 모델로서 인공지능 학습 모델은, 메타 학습(meta learning)에 의해 훈련된 퓨삿 학습 모델(Few shot learning model) 또는 연합 학습 모델(Federated learning model)이 활용되는 것을 특징으로 하는, 객체 영상 분류 방법.
According to claim 1,
As the first classification model, the AI learning model is an object image, characterized in that a Few shot learning model or a federated learning model trained by meta learning is utilized. classification method.
상기 제1 분류 모델로서 연합 학습 모델(Federated learning model)이 활용되는 경우, 상기 제1 분류 모델에 의한 1차 영상 분류는 상기 서비스 이용자 단말에 설치된 서비스 앱에 의해 실행되고,
상기 1차 영상 분류 결과에 따른 메타 데이터는 상기 DB 서버로 전송되어 저장되며, 상기 분석 서버는 상기 DB 서버에 누적된 메타 데이터를 이용하여 제1 분류 모델의 학습을 수행하고 업데이트된 분류 모델을 상기 서비스 서버를 통해서 상기 서비스 이용자에게 배포하는 것을 특징으로 하는, 객체 영상 분류 방법.
According to claim 1,
When a federated learning model is utilized as the first classification model, the primary image classification by the first classification model is executed by a service app installed in the service user terminal,
Meta data according to the primary image classification result is transmitted to and stored in the DB server, and the analysis server performs learning of the first classification model using the metadata accumulated in the DB server and stores the updated classification model. Distributing to the service user through a service server, the object image classification method.
상기 객체 영상이 물고기 사진인 경우,
상기 제2 분류 모델로서 환경 특징 추출 모델은, 해양수산부 API를 통해서 획득되는 위치 연관의 어종 출현 정보, 기상청 API를 통해서 획득되는 기온 또는 수온 연관의 어종 출현 정보, 상기 DB 서버에 구축된 어종 특성 구축 정보로부터 추론되는 어종 출현 분포 특징 정보를 추출 결과로서 출력하는 것을 특징으로 하는, 객체 영상 분류 방법.According to claim 1,
When the object image is a picture of a fish,
The environmental feature extraction model as the second classification model includes location-related fish species appearance information obtained through the Ministry of Oceans and Fisheries API, temperature or water temperature-related fish species appearance information obtained through the Korea Meteorological Administration API, and fish species characteristic construction built in the DB server. An object image classification method, characterized in that the information on the appearance distribution of fish inferred from the information is output as an extraction result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200130819A KR102424081B1 (en) | 2020-10-12 | 2020-10-12 | Object image classification method based on machine learning and position/environment information |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200130819A KR102424081B1 (en) | 2020-10-12 | 2020-10-12 | Object image classification method based on machine learning and position/environment information |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220048085A KR20220048085A (en) | 2022-04-19 |
| KR102424081B1 true KR102424081B1 (en) | 2022-07-25 |
Family
ID=81391706
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200130819A KR102424081B1 (en) | 2020-10-12 | 2020-10-12 | Object image classification method based on machine learning and position/environment information |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102424081B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240032204A (en) | 2022-08-30 | 2024-03-12 | 한국로봇융합연구원 | Apparatus and method for classifying and processing seafood food based on learning model |
| KR102539680B1 (en) * | 2023-01-27 | 2023-06-02 | 주식회사 컴패니언즈 | Method for recognizing of objects from images using artificial intelligence models |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
| KR102129698B1 (en) * | 2019-12-19 | 2020-07-02 | 김맹기 | Automatic fish counting system |
-
2020
- 2020-10-12 KR KR1020200130819A patent/KR102424081B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019200175A (en) * | 2018-05-18 | 2019-11-21 | 古野電気株式会社 | Fish species estimation system, fish species estimation method, and program |
| KR102129698B1 (en) * | 2019-12-19 | 2020-07-02 | 김맹기 | Automatic fish counting system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220048085A (en) | 2022-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Monkman et al. | Using machine vision to estimate fish length from images using regional convolutional neural networks | |
| Moeller et al. | Three novel methods to estimate abundance of unmarked animals using remote cameras | |
| Dujon et al. | Machine learning to detect marine animals in UAV imagery: effect of morphology, spacing, behaviour and habitat | |
| CN112348117B (en) | Scene recognition method, device, computer equipment and storage medium | |
| He et al. | Visual informatics tools for supporting large-scale collaborative wildlife monitoring with citizen scientists | |
| Royle et al. | Density estimation in a wolverine population using spatial capture–recapture models | |
| Gaglio et al. | Dietary studies in birds: testing a non‐invasive method using digital photography in seabirds | |
| US11335087B2 (en) | Method and system for object identification | |
| US20130275894A1 (en) | Method and system for sharing object information | |
| Palencia et al. | Estimating day range from camera‐trap data: the animals’ behaviour as a key parameter | |
| Zheng et al. | Individual identification of wild giant pandas from camera trap photos–a systematic and hierarchical approach | |
| Treilibs et al. | Photographic identification of individuals of a free‐ranging, small terrestrial vertebrate | |
| KR102424081B1 (en) | Object image classification method based on machine learning and position/environment information | |
| Noss et al. | Evaluating jaguar densities with camera traps | |
| CN106030612B (en) | Photo thermal map is provided | |
| Renet et al. | Monitoring amphibian species with complex chromatophore patterns: a non-invasive approach with an evaluation of software effectiveness and reliability | |
| CN116471930A (en) | Intelligent mosquito catcher for classifying mosquitoes | |
| Suriyamongkol et al. | Feasibility of using computer-assisted software for recognizing individual Rio Grande Cooter (Pseudemys gorzugi) | |
| Xie et al. | Recognition of big mammal species in airborne thermal imaging based on YOLO V5 algorithm | |
| Ferreira Amado et al. | Anuran 3D models reveal the relationship between surface area‐to‐volume ratio and climate | |
| Maronde et al. | Spatial capture–recapture with multiple noninvasive marks: An application to camera‐trapping data of the European wildcat (Felis silvestris) using R package multimark | |
| Pancerasa et al. | Reconstruction of long-distance bird migration routes using advanced machine learning techniques on geolocator data | |
| Eguchi | Estimating the proportion of identifiable individuals and group sizes in photographic identification studies | |
| Bertassoni et al. | Giant Anteater population density estimation and viability analysis through motion‐sensitive camera records | |
| US11272320B1 (en) | Mobile electronic device for identifying and recording an animal harvest |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |