KR102111894B1 - A behavior pattern abnormality discrimination system and method for providing the same - Google Patents
A behavior pattern abnormality discrimination system and method for providing the same Download PDFInfo
- Publication number
- KR102111894B1 KR102111894B1 KR1020190159831A KR20190159831A KR102111894B1 KR 102111894 B1 KR102111894 B1 KR 102111894B1 KR 1020190159831 A KR1020190159831 A KR 1020190159831A KR 20190159831 A KR20190159831 A KR 20190159831A KR 102111894 B1 KR102111894 B1 KR 102111894B1
- Authority
- KR
- South Korea
- Prior art keywords
- behavior pattern
- interest
- unit
- image
- behavior
- Prior art date
Links
- 230000005856 abnormality Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000006399 behavior Effects 0.000 claims abstract description 103
- 230000003542 behavioural effect Effects 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 6
- 241000287828 Gallus gallus Species 0.000 claims description 12
- 238000007689 inspection Methods 0.000 claims description 8
- 230000009466 transformation Effects 0.000 claims description 8
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 3
- 230000002093 peripheral effect Effects 0.000 claims 1
- 208000024891 symptom Diseases 0.000 abstract description 11
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 206010064097 avian influenza Diseases 0.000 description 12
- 235000013330 chicken meat Nutrition 0.000 description 10
- 201000010099 disease Diseases 0.000 description 7
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 7
- 238000003754 machining Methods 0.000 description 7
- 208000002979 Influenza in Birds Diseases 0.000 description 6
- 244000144977 poultry Species 0.000 description 6
- 235000013594 poultry meat Nutrition 0.000 description 6
- 230000009471 action Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000271566 Aves Species 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 208000013404 behavioral symptom Diseases 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 241000272517 Anseriformes Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000009885 systemic effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K29/00—Other apparatus for animal husbandry
- A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/14—Fourier, Walsh or analogous domain transformations, e.g. Laplace, Hilbert, Karhunen-Loeve, transforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Environmental Sciences (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Algebra (AREA)
- Image Analysis (AREA)
Abstract
본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템은, 영상센서를 통해 실시간으로 수집되는 영상데이터를 입력 받는 영상수집부; 상기 영상데이터로부터 관심 객체를 검출하기 위하여 영상처리하는 영상처리부; 상기 영상처리된 영상데이터로부터 상기 관심 객체의 행동패턴 특징을 추출하는 행동패턴 추출부; 상기 추출된 행동패턴 특징을 이용하여 상기 관심 객체의 행동패턴을 학습하여 모델링하는 행동패턴 모델링부 및 상기 모델링된 행동패턴을 분석하여 상기 관심 객체의 행동이상 발생 여부를 판단하는 행동이상 판별부를 포함하고, 상기 행동이상 모델링부는 텐서플로우로 학습하여 모델링되고, 상기 행동이상 판별부는, 상기 행동패턴 추출부로부터 행동패턴 특징을 전달받아 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하는 FFT변환부; 상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 하는 딥마인드판별부를 포함하는 행동패턴 이상 징후 판별 시스템을 제공할 수 있다.The behavior pattern abnormality symptom identification system according to an embodiment of the present invention includes: an image collection unit that receives image data collected in real time through an image sensor; An image processing unit that processes an image to detect an object of interest from the image data; A behavior pattern extraction unit for extracting behavior pattern characteristics of the object of interest from the image processed image data; A behavior pattern modeling unit for learning and modeling the behavior pattern of the object of interest by using the extracted behavior pattern feature, and a behavior abnormality determination unit for analyzing the modeled behavior pattern to determine whether an object of interest occurs or not. The behavioral abnormality modeling unit is modeled by learning with tensor flow, and the behavioral abnormality determining unit receives behavioral feature characteristics from the behavioral pattern extraction unit and converts information on the phase and size of the object of interest to image the frequency graph. FFT conversion unit to secure a pattern; It is possible to provide a behavior pattern abnormality symptom discrimination system including a deep mind discrimination unit for real-time deep mind discrimination of a pattern in which the frequency graph is image-informed.
Description
본 발명은 행동패턴 이상 징후 판별 시스템 및 이의 제공방법에 관한 것으로, 구체적으로는 조류인플루엔자를 초기 예방 조치 차원으로 양계장에 영상센서와 텐서플로우를 활용하여 닭들의 행동패턴을 분석하고, 그에 따른 신속한 예방을 통해 조류인플루엔자의 확산을 방지할 수 있는 행동패턴 이상 징후 판별 시스템 및 이의 제공방법에 관한 것이다.The present invention relates to a behavioral pattern abnormality discrimination system and a method for providing the same, specifically, analyzing the behavioral patterns of chickens using an image sensor and a tensor flow in a poultry farm as an initial preventive measure. The present invention relates to a system for discriminating signs of an abnormal behavior pattern and a method of providing the avian influenza.
최근 몇 년 동안 일명 조류독감으로 인한 농가의 피해가 급증하고 있다.In recent years, so-called bird flu has been increasing the damage of farmers.
조류독감의 경우에는 그 전에는 사람에게 전염되는 경우가 없었으나, 최근에 들어 중국에 감염자가 발생하면서 사회에 큰 충격을 주었다.In the case of bird flu, it has not been transmitted to humans before, but recently, an infection has occurred in China, which has greatly impacted society.
이에 따라, 전세계적으로 조류독감에 대한 경계가 심화되었고, 양계 농가들은 폐사를 시켜 전염을 막기 위해 큰 손실을 겪고 있다.As a result, the border against bird flu has intensified around the world, and poultry farmers are suffering a great loss to prevent the spread of the disease.
또한, 조류독감의 경우 조류들에게 있어서 확산률이 높은 질병이며, 닭, 오리, 야생 조류의 배설물을 통해 감염되는 데, 조리된 조류를 먹어서는 걸리지 않지만 사람들은 만일을 대비하여 조류로 조리된 음식을 꺼리게 된다.In addition, in the case of bird flu, it is a disease with a high spread rate among birds, and it is infected through the excrement of chickens, ducks, and wild birds. Will be reluctant.
즉, 통닭집이나 백숙 등을 판매하는 사람들의 생계도 위협받고 있다.In other words, the livelihoods of those who sell whole chicken houses or Baeksuk are also threatened.
상기와 같은 문제가 발생하지 않도록 하기 위해서는 확산이 빠른 조류독감의 초기대응이 중요하다.In order to prevent the above problems from occurring, it is important to respond quickly to the spread of bird flu.
따라서, 조류독감 초기 대응과 관련된 시스템적인 기술개발이 요구되고 있는 실정이다.Therefore, there is a need to develop a systemic technology related to the initial response to bird flu.
상기와 같은 문제를 해결하기 위하여 창안된 본 발명은 조류인플루엔자를 초기 예방 조치 차원으로 양계장에 영상센서와 텐서플로우를 활용하여 닭들의 행동패턴을 분석하고, 그에 따른 신속한 예방을 통해 조류인플루엔자의 확산을 방지할 수 있는 행동패턴 이상 징후 판별 시스템 및 이의 제공방법을 제공하는 데 있다.The present invention was devised to solve the above problems, analyzes the behavioral patterns of chickens using image sensors and tensor flows in poultry farms as a precautionary measure to prevent the spread of avian influenza through rapid prevention. An object of the present invention is to provide a system for discriminating abnormal patterns of behavior patterns and methods for providing the same.
상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템은, 영상센서를 통해 실시간으로 수집되는 영상데이터를 입력 받는 영상수집부; 상기 영상데이터로부터 관심 객체를 검출하기 위하여 영상처리하는 영상처리부; 상기 영상처리된 영상데이터로부터 상기 관심 객체의 행동패턴 특징을 추출하는 행동패턴 추출부; 상기 추출된 행동패턴 특징을 이용하여 상기 관심 객체의 행동패턴을 학습하여 모델링하는 행동패턴 모델링부 및 상기 모델링된 행동패턴을 분석하여 상기 관심 객체의 행동이상 발생 여부를 판단하는 행동이상 판별부를 포함하고, 상기 행동이상 모델링부는 텐서플로우로 학습하여 모델링되는 것을 특징으로 한다.In order to solve the above problems, the behavior pattern abnormality symptom identification system according to an embodiment of the present invention includes: an image collection unit that receives image data collected in real time through an image sensor; An image processing unit that processes an image to detect an object of interest from the image data; A behavior pattern extraction unit for extracting behavior pattern characteristics of the object of interest from the image processed image data; A behavior pattern modeling unit for learning and modeling the behavior pattern of the object of interest by using the extracted behavior pattern feature, and a behavior abnormality determination unit for analyzing the modeled behavior pattern to determine whether an object of interest occurs or not. , The behavioral abnormality modeling unit is characterized by learning and modeling with TensorFlow.
또한, 상기 행동이상 판별부는, 상기 행동패턴 추출부로부터 행동패턴 특징을 전달받아 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하는 FFT변환부; 상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 하는 딥마인드판별부를 포함할 수 있다.In addition, the behavioral abnormality determining unit, FFT transforming unit for receiving a behavioral pattern feature from the behavioral pattern extraction unit to convert the information about the phase and size of the object of interest to obtain a pattern of the frequency graph image information; It may include a deep mind discrimination unit for real-time deep mind discrimination with respect to the pattern in which the frequency graph is image-informed.
또한, 상기 행동패턴 이상 징후 판별 시스템은, 상기 행동이상 판별부의 판단에 따라 행동이상의 발생 감지시 정밀검사 의뢰를 요청하는 정밀검사요청부를 더 포함할 수 있다.In addition, the behavior pattern abnormality discrimination system may further include a precise inspection request unit requesting a detailed inspection request upon detection of an occurrence of the behavior abnormality according to the determination of the behavior abnormality determination unit.
또한, 상기 행동패턴 추출부는 상기 영상데이터를 좌표가 설정된 셀(Cell)단위의 그리드 영역으로 분할하여 구분하고, 분할한 각 영역에서 관심 객체들의 행동패턴 정보를 추출하고, 초당 프레임을 기준으로 움직임 속도와 거리를 산정하는 것을 특징으로 한다.In addition, the behavior pattern extracting unit divides and divides the image data into grid regions in a cell unit in which coordinates are set, extracts behavior pattern information of objects of interest from each divided region, and moves speed based on frames per second. Characterized in that the distance is calculated.
또한, 상기 행동패턴 이상 징후 판별 시스템은, 관리자 단말로 관심 객체의 행동이상 발생 여부에 관한 정보를 전송하는 알림부를 더 포함할 수 있다.In addition, the behavior pattern abnormality discrimination system may further include a notification unit that transmits information regarding whether an object of interest has occurred to the administrator terminal.
행동패턴 이상 징후 판별 시스템 제공방법에 있어서, (a) 영상센서를 통해 실시간으로 촬영하여 영상데이터를 수집하는 단계; (b) 수집된 영상데이터를 영상처리 하여 관심 객체를 검출하는 단계; (c) 상기 검출된 관심 객체의 행동패턴 특징을 검출하는 단계; (d) 상기 검출된 행동패턴 특징을 이용하여 관심 객체의 행동패턴을 모델링하는 단계 및 (e) 상기 모델링된 행동패턴을 분석하여 행동이상 발생 여부를 판단하는 단계를 포함하고, 상기 (d)단계는, 텐서플로우로 학습하여 모델링되는 것을 특징으로 한다.A method for providing a behavioral pattern discrimination system comprising: (a) collecting image data by photographing in real time through an image sensor; (b) detecting the object of interest by image processing the collected image data; (c) detecting a behavior pattern characteristic of the detected object of interest; (d) modeling the behavioral pattern of the object of interest using the detected behavioral pattern feature, and (e) analyzing the modeled behavioral pattern to determine whether a behavioral abnormality has occurred, and (d) step Is characterized by learning and modeling with TensorFlow.
또한, 상기 (e)단계는, 상기 행동패턴 특징으로부터 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하기 위해 FFT변환을 진행하는 단계; 상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 진행하는 단계; 상기 딥마인드 판별을 통해 행동이상 발생 여부에 관한 판별결과를 검출하는 단계를 포함할 수 있다.In addition, the step (e) may include converting information on the phase and size of the object of interest from the behavior pattern feature to perform FFT transformation to secure a pattern of image information of a graph of frequency; Performing a deep mind discrimination in real time with respect to a pattern in which the frequency graph is image-informed; And detecting the result of the determination as to whether or not an behavioral abnormality has occurred through the deep mind discrimination.
또한, 상기 (c)단계는, 상기 영상데이터를 좌표가 설정된 셀(Cell)단위의 그리드 영역으로 분할하여 구분하고, 분할한 각 영역에서 관심 객체들의 행동패턴 정보를 추출하고, 초당 프레임을 기준으로 움직임 속도와 거리를 산정하는 것을 특징으로 한다.In addition, in step (c), the image data is divided into grid regions in a cell unit in which coordinates are set, and the behavior pattern information of the objects of interest is extracted from each divided region, based on frames per second. It is characterized by calculating the movement speed and distance.
또한, 상기 (e)단계 이후에, 행동이상의 발생 감지시 정밀검사 의뢰를 요청하는 단계를 더 포함할 수 있다.In addition, after the step (e), when detecting the occurrence of behavioral abnormalities may further include the step of requesting a request for overhaul.
또한, 상기 행동패턴 이상 징후 판별 시스템 제공방법은, 관리자 단말로 관심 객체의 행동이상 발생 여부에 관한 정보를 전송하는 단계를 더 포함할 수 있다.In addition, the method for providing the behavior pattern abnormality determination system of the behavior pattern may further include transmitting information regarding whether an abnormal behavior of the object of interest has occurred to the administrator terminal.
본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템 및 이의 제공방법은, 조류 인플루엔자의 확산을 미연에 방지할 수 있어 농가나, 조류와 연관된 음식을 판매하는 식당 등에 피해가 감소될 수 있다.The behavior pattern abnormality symptom identification system and method for providing the same according to an embodiment of the present invention can prevent the spread of avian influenza in advance, so damage to a farmhouse, a restaurant selling food associated with the bird, etc. can be reduced.
또한, 인공지능분야가 접목되어 사람이 직접 판별할 필요가 없어 편리하고, 시간적으로나 비용 면에서 합리적일 수 있다.In addition, since the artificial intelligence field is grafted, there is no need for a person to discriminate, and it can be convenient and reasonable in terms of time and cost.
도 1은 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템의 구성을 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템 제공방법을 도시한 흐름도 이다.
도 3은 상기 도 2에 도시된 행동패턴을 분석하여 행동이상 발생 여부를 판단하는 단계를 구체화한 흐름도이다.1 is a block diagram showing the configuration of a behavior pattern abnormality symptom identification system according to an embodiment of the present invention.
2 is a flowchart illustrating a method for providing an abnormality discrimination system for behavior patterns according to an embodiment of the present invention.
FIG. 3 is a flow chart embodying the steps of analyzing the behavior pattern shown in FIG. 2 to determine whether an behavioral abnormality has occurred.
이하, 도면을 참조한 본 발명의 설명은 특정한 실시 형태에 대해 한정되지 않으며, 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있다. 또한, 이하에서 설명하는 내용은 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the description of the present invention with reference to the drawings is not limited to a specific embodiment, and various conversions may be applied and various embodiments may be provided. In addition, it should be understood that the contents described below include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention.
이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.In the following description, terms such as first and second are terms used to describe various components, and are not limited in meaning to themselves, and are used only to distinguish one component from other components.
본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다.The same reference numerals used throughout this specification denote the same components.
본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 이하에서 기재되는 "포함하다", "구비하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로 해석되어야 하며, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression used in the present invention includes the plural expression unless the context clearly indicates otherwise. In addition, terms such as “include”, “have” or “have” described below are intended to indicate that there are features, numbers, steps, operations, components, parts, or combinations thereof described in the specification. It should be interpreted and understood to not preclude the existence or addition possibility of one or more other features, numbers, steps, actions, components, parts or combinations thereof.
여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.Here, repeated descriptions, well-known functions that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art.
이하, 본 발명의 실시 예를 첨부한 도 1 내지 도 3을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 1 to 3.
도 1은 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템의 구성을 도시한 블록도이다.1 is a block diagram showing the configuration of a behavior pattern abnormality symptom identification system according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템 제공방법을 도시한 흐름도 이다.2 is a flowchart illustrating a method of providing an abnormality discrimination system for behavior patterns according to an embodiment of the present invention.
도 3은 상기 도 2에 도시된 행동패턴을 분석하여 행동이상 발생 여부를 판단하는 단계를 구체화한 흐름도이다.FIG. 3 is a flow chart embodying the steps of analyzing the behavior pattern shown in FIG. 2 to determine whether an behavioral abnormality has occurred.
먼저, 도 1을 참조하여 본 발명의 행동패턴 이상 징후 판별 시스템은 영상수집부, 영상처리부, 행동패턴 추출부, 행동패턴 모델링부, 행동이상 판별부로 구성될 수 있다.First, referring to FIG. 1, the behavior pattern anomaly identification system of the present invention may be configured as an image collection unit, an image processing unit, an behavior pattern extraction unit, an behavior pattern modeling unit, and an behavior abnormality determination unit.
구체적으로 각 구성에 대해 설명하면, 영상 수집부는 영상센서를 통해 실시간으로 수집되는 영상데이터를 입력 받을 수 있다.In detail, for each configuration, the image collection unit may receive image data collected in real time through an image sensor.
양계장을 예를 들어 설명하면 영상센서는 양계장 내부에 구비된 CCTV와 같은 감시용 카메라 장치를 말할 수 있다.When the poultry farm is described as an example, the image sensor may refer to a surveillance camera device such as a CCTV provided inside the poultry farm.
즉, 닭들의 행동을 촬영하고, 수집한 영상데이터를 이용하여 행동패턴을 관찰할 수 있는 수단으로 활용될 수 있다.That is, it can be used as a means to photograph behaviors of chickens and observe behavior patterns using collected image data.
다음으로, 영상처리부는 상기 영상데이터로부터 관심 객체를 검출하는 구성이다.Next, the image processing unit is configured to detect an object of interest from the image data.
상기에서 관심 객체는 닭을 예를 들어 설명할 수 있다.In the above, the object of interest may describe chicken as an example.
즉, 조류 인플루엔자에 노출된 닭을 말할 수 있으며, 닭의 영상데이터로부터 영상처리하여 검출할 수 있다.That is, chickens exposed to avian influenza can be referred to, and can be detected by image processing from chicken image data.
여기서, 영상처리부는 일정 단위 시간 동안 입력된 영상데이터를 이용하여 고정된 화각과 위치를 유지한 영상정보입력장치를 이용해 획득된 영상정보의 프레임간의 수학적 연산에 의한 정적 화상 정보와 동적 화상 정보를 분리하는 방식을 통해 구분된 영상정보로부터 주위 모델링을 수행하고, 상기 주위 모델링을 통해 학습된 주위 모델을 이용하여 관심 객체를 검출하는 방식으로 영상처리를 진행할 수 있다.Here, the image processing unit separates static image information and dynamic image information by a mathematical operation between frames of image information obtained using an image information input device that maintains a fixed angle of view and position using image data input for a certain unit time. The image processing may be performed by performing ambient modeling from the separated image information through a method and detecting an object of interest using the ambient model learned through the ambient modeling.
다음으로, 행동패턴 추출부는 영상처리부로부터 영상처리된 영상데이터로부터 상기 관심 객체의 행동패턴 특징을 추출할 수 있다.Next, the behavior pattern extracting unit may extract a behavior pattern feature of the object of interest from image data processed by the image processing unit.
구체적으로 설명하면, 행동패턴 추출부는 영상데이터를 좌표가 설정된 셀(Cell)단위의 그리드 영역으로 분할하여 구분하고, 분할한 각 영역에서 관심 객체들의 행동패턴 정보를 추출하고, 초당 프레임을 기준으로 움직임 속도와 거리를 산정하여 닭의 행동패턴을 추출할 수 있다.In detail, the behavior pattern extracting unit divides the image data into grid regions of cell units with coordinates set, extracts behavior pattern information of objects of interest from each divided region, and moves based on frames per second. The behavior pattern of chicken can be extracted by calculating the speed and distance.
다음으로, 행동패턴 모델링부는 행동패턴 추출부로부터 추출된 행동패턴 특징을 이용하여 상기 관심 객체의 행동패턴을 학습하여 모델링하는 구성이다.Next, the behavior pattern modeling unit is configured to learn and model the behavior pattern of the object of interest using the behavior pattern features extracted from the behavior pattern extraction unit.
이때, 행동패턴을 학습하는 방식은 텐서플로우를 이용하여 머시닝 러닝을 통해 이루어질 수 있다.At this time, the method of learning the behavior pattern may be achieved through machining learning using TensorFlow.
상기 텐서플로우(Tensorflow)는 데이터 플로 그래프를 활용하여 딥 러닝(Deep Learinig)과 머시닝 러닝(Machining Learning)등에 활용하기 위해 개발된 오픈소스 소프트웨어이다.The Tensorflow is an open source software developed to utilize data flow graphs for deep learning and machining learning.
본 발명에서는 텐서플로우를 이용하여 머시닝 러닝하여 모델링 할 수 있다.In the present invention, it can be modeled by machining learning using TensorFlow.
여기서, 머시닝 러닝이란 컴퓨터 과학을 포함한 대부분의 모든 분야에서 활용되고 있으며, 컴퓨터 시각(문자 인식, 물체 인식, 얼굴 인식), 자연어 처리(자동 번역, 대화 분석), 음성 인식 및 필기 인식, 정보 검색 및 검색 엔진(텍스트마이닝, 스팸 필터, 추출 및 요약, 추천 시스템), 생물 정보학(유전자 분석, 단백질 분류, 질병 진단), 컴퓨터 그래픽 및 게임(애니메이션, 가상현실), 로보틱스(경로 탐색, 무인 자동차, 물체 인식 및 분류) 등의 분야에서 응용되고 있다.Here, machining learning is used in almost all fields including computer science, computer vision (text recognition, object recognition, face recognition), natural language processing (automatic translation, conversation analysis), speech recognition and handwriting recognition, information retrieval and Search engines (text mining, spam filters, extraction and summarization, recommendation systems), bioinformatics (gene analysis, protein classification, disease diagnosis), computer graphics and games (animation, virtual reality), robotics (path navigation, driverless cars, objects) Recognition and classification).
또한, 머시닝 러닝은 학습 시스템에 정보 및 데이터를 입력하는 형태에 따라 크게 세가지로 나뉠 수 있다.In addition, machining learning can be roughly divided into three types according to the form of inputting information and data into the learning system.
첫번째는 감독 학습이며, 입력과 이에 대응하는 미리 알려진 출력을 매핑(mapping)하는 함수를 학습하는 과정이다.The first is supervised learning, which is a process of learning a function that maps an input to a corresponding known output.
두번째는 비감독 학습이며, 출력 없이 입력만으로 모델을 구축하여 학습한다. 일반적으로 데이터마이닝의 대부분의 기법이 이에 해당한다.The second is non-supervised learning, and learns by building a model with only input without output. In general, most techniques of data mining fall into this category.
세번째는 강화 학습이며, 학습자가 행동을 선택하여 행동으로 환경에 영향을 미치고 이에 대한 피드백으로 보상치를 얻어 학습 알고리즘의 가이드로 활용될 수 있다.The third is reinforcement learning, and the learner selects an action to affect the environment through action, and obtains a reward value as a feedback for this, and can be used as a guide for the learning algorithm.
즉, 본 발명에 머시닝 러닝을 통해 사람이 직접 함으로써 나타날 수 있는 실수를 줄일 수 있어 시간 및 사람에게 편의성을 제공할 수 있다.That is, it is possible to reduce the mistakes that can be made by a person directly through machining learning according to the present invention, thereby providing time and convenience to a person.
다음으로, 행동이상 판별부는 모델링된 행동패턴을 분석하여 상기 관심 객체의 행동이상 발생 여부를 판단하는 구성이다.Next, the behavioral abnormality determining unit is configured to analyze the modeled behavioral pattern to determine whether an abnormality of behavior of the object of interest occurs.
구체적으로, 행동이상 판별부는 FFT변환부, 딥마인드판별부로 구성될 수 있다.Specifically, the behavior abnormality determining unit may be composed of an FFT transformation unit and a deep mind discrimination unit.
FFT변환부는 행동패턴 추출부로부터 행동패턴 특징을 전달받아 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하는 역할을 수행하는 구성이다.The FFT transformation unit is configured to receive behavioral pattern features from the behavioral pattern extraction unit and convert information on the phase and size of the object of interest to secure a pattern that imageizes the graph of the frequency.
FFT(Fast Fourier Theorem)란, 고속 푸리에 변환이라고도 하며, 본 발명에서는 행동패턴 추출부로부터 추출된 행동패턴 특징을 전송받아 관심 객체의 위상과 크기에 대한 정보를 주파수의 그래프를 영상정보화한 패턴으로 확보하기 위해 변환하는 기능을 할 수 있다.FFT (Fast Fourier Theorem) is also referred to as a fast Fourier transform. In the present invention, the behavior pattern feature extracted from the behavior pattern extraction unit is transmitted to secure information about the phase and size of the object of interest as a pattern of image information of a frequency graph. In order to do this, you can do the converting function.
FFT변환을 통해 얻은 주파수의 그래프를 영상정보화한 패턴으로 패턴의 차이를 감지하여 관심 객체의 행동이상 징후를 판별할 수 있게 한다.The graph of the frequency obtained through the FFT transformation is a video-informed pattern, and the difference in patterns can be detected to discriminate the behavioral symptoms of the object of interest.
다음으로, 딥마인드판별부는 FFT변환부에서 추출된 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 패턴을 분석하여 딥마인드 판별할 수 있다.Next, the deep mind discrimination unit may determine a deep mind by analyzing a pattern in real time with respect to a pattern obtained by imaging a graph of frequencies extracted from the FFT converter.
이때, 딥마인드 판별이란, 동작에 대한 특징을 벡터적으로 해석하여 방향과 크기 즉 위상과 진폭의 수학적 패턴으로 하는 딥서치(Deepsearch)를 이용한 머시닝 러닝으로 학습되어 축척된 데이터와 모델링된 데이터를 비교하여 행동이상 징후를 판별할 수 있다.At this time, deep mind discrimination is learned by machining learning using deep search, which is a mathematical pattern of direction and magnitude, that is, phase and amplitude, by vectorly interpreting motion characteristics and comparing scaled data and modeled data. Behavioral signs can be identified.
본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템은 정밀검사요청부를 더 포함할 수 있다.The behavior pattern abnormality symptom identification system according to the embodiment of the present invention may further include a detailed inspection request unit.
구체적으로, 정밀검사요청부는 관심 객체의 행동이상 징후 발생이 감지될 시에 자동적으로 관련기관(예: 정부)로 정밀검사를 의뢰를 요청할 수 있는 구성이다.Specifically, the overhaul request unit is configured to automatically request a request for a overhaul from the relevant institution (eg, the government) when the occurrence of an abnormal behavior symptom of the object of interest is detected.
즉, 상기 정밀검사요청부를 통해서 관심 객체의 행동이상 징후를 즉시 발견할 수 있고, 이에 따라 검사를 신속하게 진행될 수 있도록 하여 질병(예: 조류 인플루엔자) 전염의 확산을 방지할 수 있다.In other words, it is possible to immediately detect signs of behavioral abnormalities of the object of interest through the precise inspection request unit, and thus, the examination can be quickly performed to prevent the spread of disease (eg, avian influenza) transmission.
또한, 관리자가 관심 객체 질병에 대한 인지가 느려 초기대응에 미흡하지 않도록 할 수 있다.In addition, it is possible to prevent the manager from perceiving the initial response due to slow recognition of the disease of interest.
또한, 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템은 알림부를 더 포함할 수 있다.In addition, the behavior pattern abnormality symptom identification system according to an embodiment of the present invention may further include a notification unit.
알림부는 관리자 단말로 관심 객체의 행동이상 발생 여부에 관한 정보를 전송하는 구성이다.The notification unit is configured to transmit information on whether an object of interest has an action abnormality to the manager terminal.
즉, 관심 객체의 행동이상 발생 여부를 실시간으로 관리자 단말로 전송하는 것으로써, 관리자가 관심 객체의 행동이상에 대한 정보를 지속적으로 관리할 수 있도록 하여 추후에 질병에 따른 행동이상을 즉시 인지할 수 있도록 할 수 있다.In other words, by transmitting the behavioral abnormality of the object of interest to the administrator terminal in real time, the administrator can continuously manage the information on the behavioral abnormality of the object of interest, so that the behavioral abnormality due to the disease can be immediately recognized later. I can make it.
다음으로, 도 2 및 3을 참조하면, 본 발명의 실시예에 따른 행동패턴 이상 징후 판별 시스템 제공방법은 영상데이터를 수집하는 단계(S100), 수집된 영상데이터를 영상처리 하여 관심 객체를 검출하는 단계(S200), 검출된 관심 객체의 행동패턴 특징을 검출하는 단계(S300), 관심 객체의 행동패턴을 모델링하는 단계(S400), 모델링된 행동패턴을 분석하는 단계(S500), 행동이상 발생 여부를 판단하는 단계(S600) 및 정밀검사요청 단계(S700)로 구성될 수 있다.Next, referring to FIGS. 2 and 3, the method for providing an abnormality discrimination system for behavior patterns according to an embodiment of the present invention includes collecting image data (S100), and processing the collected image data to detect an object of interest Step (S200), detecting the behavior pattern characteristics of the detected object of interest (S300), modeling the behavior pattern of the object of interest (S400), analyzing the modeled behavior pattern (S500), and whether an abnormality of behavior occurs It may be composed of a determination step (S600) and a detailed inspection request step (S700).
구체적으로 설명하면, S100단계는 영상센서 즉, CCTV 또는 그외 촬영장치를 이용하여 촬영된 영상데이터를 수집하는 단계이다.In detail, step S100 is a step of collecting image data captured using an image sensor, that is, a CCTV or other imaging device.
다음으로, S200단계는 상기 S100단계에서 수집된 영상데이터를 입력받아 영상처리하여 관심 객체를 검출하는 단계이다.Next, step S200 is a step of detecting an object of interest by receiving image data collected in step S100 and processing the image.
S200단계에서 영상처리하는 방법은 행동패턴 이상 징후 판별 시스템의 영상처리부를 설명하면서 설명하였으므로 구체적인 설명은 생략하도록 한다.The method of image processing in step S200 has been described while explaining the image processing unit of the behavior pattern abnormal symptom identification system, so a detailed description thereof will be omitted.
다음으로, S300단계는 S200단계에서 영상처리를 하여 검출된 관심 객체의 행동패턴 특징을 검출하는 단계이다.Next, step S300 is a step of detecting a behavior pattern characteristic of the object of interest detected by performing image processing in step S200.
이때, 관심 객체의 행동패턴 특징은 질병에 노출되어 도출될 수 있는 행동패턴을 검출할 수 있다.At this time, the behavior pattern characteristic of the object of interest can detect behavior patterns that can be derived by exposure to disease.
S400단계는 S300단계에서 검출된 관심 객체의 행동패턴 특징을 모델링하는 단계로써, 텐서플로우로 학습을 진행하여 행동패턴을 모델링하는 단계이다.Step S400 is a step of modeling the behavior pattern feature of the object of interest detected in step S300, and is a step of modeling the behavior pattern by learning with tensor flow.
S400단계의 구체적인 내용은 상기에서 설명하였으므로 생략한다.The details of step S400 have been described above, and thus will be omitted.
S500단계는 S400단계에서 모델링된 행동패턴을 분석하는 단계이며, 구체적인 설명은 도 3을 참조하여 설명한다.Step S500 is a step of analyzing the behavior pattern modeled in step S400, and a detailed description will be given with reference to FIG. 3.
도 3을 참조하면, 행동패턴 특징으로부터 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하기 위해 FFT변환을 진행하는 단계(S510), 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 진행하는 단계(S520), 딥마인드 판별을 통해 행동이상 발생 여부에 관한 판별결과를 검출하는 단계(S530)로 구성될 수 있다.Referring to FIG. 3, a step of performing FFT transformation to obtain a pattern in which a graph of frequency is image-informed by converting information on the phase and size of an object of interest from the behavior pattern feature (S510), and imaging the graph of frequency It may be composed of a step of performing a deep mind discrimination in real time for a pattern (S520), and detecting a discrimination result regarding whether or not an behavioral abnormality occurs through the deep mind discrimination (S530).
상기 S510 내지 S530에 대한 내용은 상기 행동이상 판별부를 설명과 동일하므로 구체적인 설명은 생략한다.Since the contents of the S510 to S530 are the same as the description of the behavior abnormality determining unit, detailed description is omitted.
S600단계는 S530단계에서 검출된 판별결과를 전송 받아 발생되었을 경우와 발생되지 않았을 경우로 나누는 단계이다.Step S600 is a step of dividing the result of the determination detected in step S530 into a case where it occurred and a case where it did not occur.
즉, 행동이상 발생 여부를 판단하는 단계이다.That is, it is a step of determining whether an behavioral abnormality has occurred.
행동이상 발생 시에는 S700단계로 넘어가 정밀검사요청을 할 수 있다.In the event of an abnormal behavior, the process goes to step S700 and a request for a detailed inspection can be made.
행동이상 발생이 되지 않았을 경우에는 다시 S100단계로 되돌아가 행동패턴 이상 징후 판별 시스템제공 방법이 반복될 수 있다.If the behavioral abnormality has not occurred, the method returns to the step S100 again, and the method for providing the symptom identification system for the behavioral pattern may be repeated.
또한, 행동패턴 이상 징후 판별 시스템제공 방법은 S600단계 이후에 관리자 단말로 행동이상 발생시나 발생하지 않았을 시에도 그 판별결과 정보를 전송하는 단계를 더 포함할 수 있다.In addition, the method for providing a behavior pattern abnormality discrimination system may further include transmitting the result of the discrimination result to the administrator terminal after the step S600, even when the behavior abnormality does not occur.
즉, 관리자 단말로 판별결과 정보를 전송함으로써, 관심 객체에 대한 데이터를 확보하고 관리할 수 있어 추후에 행동이상 발생시에 발 빠른 대처를 진행할 수 있다.That is, by transmitting the discrimination result information to the manager terminal, data on the object of interest can be secured and managed, so that in the event of a behavioral abnormality in the future, quick response can be performed.
상기에서 언급한 관리자 단말은 본 발명을 조류 인플루엔자에 감염된 닭의 행동이상 징후를 판별하는 것을 기준으로 설명하였으므로, 양계장 주인이 소지한 단말일 수 있다.The manager terminal mentioned above has been described based on the discrimination of the behavioral symptoms of chickens infected with avian influenza, so it may be a terminal possessed by the owner of the poultry farm.
관리자 단말로 전송되는 방식은 문자 또는 소리 및 진동으로 알림을 줄 수 있다.The method transmitted to the manager terminal may give a notification through text or sound and vibration.
단말은 무선통신망을 통해 통신하는 스마트 폰을 포함하는 이동통신 단말기 및 유선통신망을 통해 통신하는 컴퓨터일 수 있다. 이상에서는 설명의 편의상 이동통신 단말기를 위주로 설명하기로 한다.The terminal may be a mobile communication terminal including a smart phone communicating through a wireless communication network and a computer communicating through a wired communication network. In the above, for convenience of description, the mobile communication terminal will be mainly described.
또한, 모바일 단말 외 PC, 태블릿, PDA(Personal Digital Assistant) 등을 포함할 수 있다.In addition, it may include a PC, a tablet, a PDA (Personal Digital Assistant), etc. in addition to the mobile terminal.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서에서 "부(unit)", "모델(model)" 또는 "시스템(system)" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터관련 엔티티(entity)를 지칭할 수 있다. 예를 들어, 부, 모델 또는 시스템은 실행중인 프로세스, 프로세서, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램, 및/또는 컴퓨터일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서에 기재된 부, 모델 또는 시스템에 해당할 수 있다.Embodiments described herein can have aspects that are entirely hardware, partly hardware and partly software, or entirely software. For example, in this specification, “unit”, “model” or “system” may refer to hardware, a combination of hardware and software, or computer-related entities such as software. For example, a part, model or system may be, but is not limited to, a running process, processor, object, executable, thread of execution, program, and / or computer. . For example, both the application running on the computer and the computer may correspond to a part, model, or system described herein.
이상으로 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고 다른 구체적인 형태로 실시할 수 있다는 것을 이해할 수 있을 것이다. 따라서 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며 한정적이 아닌 것이다.The embodiments of the present invention have been described with reference to the accompanying drawings, but a person skilled in the art to which the present invention pertains may implement in other specific forms without changing the technical spirit or essential features of the present invention. You will understand. Therefore, the above-described embodiment is illustrative in all respects and is not limiting.
1 : 텐서플로우(Tensorflow)
2 : 영상센서
10 : 영상수집부
20 : 영상처리부
30 : 행동패턴 추출부
40 : 행동패턴 모델링부
50 : 행동이상 판별부
51 : FFT변환부
52 : 딥마인드판별부1: Tensorflow
2: Image sensor
10: video collection unit
20: image processing unit
30: behavior pattern extraction unit
40: behavior pattern modeling unit
50: behavioral discrimination unit
51: FFT converter
52: deep mind discrimination
Claims (4)
영상센서를 통해 실시간으로 수집되는 영상데이터를 입력 받는 영상수집부;
상기 영상데이터로부터 관심 객체를 검출하기 위하여 영상처리하는 영상처리부;
상기 영상처리된 영상데이터로부터 상기 관심 객체의 행동패턴 특징을 추출하는 행동패턴 추출부;
상기 추출된 행동패턴 특징을 이용하여 상기 관심 객체의 행동패턴을 학습하여 모델링하는 행동패턴 모델링부 및
상기 모델링된 행동패턴을 분석하여 상기 관심 객체의 행동이상 발생 여부를 판단하는 행동이상 판별부를 포함하고,
상기 행동패턴 모델링부는 텐서플로우로 학습하여 모델링되고,
상기 행동이상 판별부는,
상기 행동패턴 추출부로부터 행동패턴 특징을 전달받아 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하는 FFT변환부;
상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 하는 딥마인드판별부를 포함하고,
상기 행동패턴 이상 징후 판별 시스템은,
상기 행동이상 판별부의 판단에 따라 행동이상의 발생 감지시 정밀검사 의뢰를 요청하는 정밀검사요청부 및
관리자 단말로 관심 객체의 행동이상 발생 여부에 관한 정보를 전송하는 알림부를 더 포함하며,
상기 영상처리부는,
일정 단위 시간 동안 입력된 영상데이터를 이용하여 고정된 화각과 위치를 유지한 영상수집부를 이용해 획득된 영상데이터의 프레임간의 수학적 연산에 의한 정적 화상 정보와 동적 화상 정보를 분리하는 방식을 통해 구분된 영상정보로부터 주위 모델링을 수행하고, 상기 주위 모델링을 통해 학습된 주위 모델을 이용하여 관심 객체를 검출하는 방식으로 영상처리를 진행하고,
상기 행동패턴 추출부는,
상기 영상데이터를 좌표가 설정된 셀(Cell)단위의 그리드 영역으로 분할하여 구분하고, 분할한 각 영역에서 관심 객체들의 행동패턴 정보를 추출하고, 초당 프레임을 기준으로 움직임 속도와 거리를 산정하며,
상기 관심 객체는 닭인 것을 특징으로 하는 행동패턴 이상 징후 판별 시스템.
In the behavior pattern abnormality discrimination system,
An image collection unit that receives image data collected in real time through an image sensor;
An image processing unit that processes an image to detect an object of interest from the image data;
A behavior pattern extraction unit for extracting behavior pattern characteristics of the object of interest from the image processed image data;
A behavior pattern modeling unit for learning and modeling the behavior pattern of the object of interest using the extracted behavior pattern feature and
And a behavior abnormality determination unit to analyze the modeled behavior pattern to determine whether the object of interest occurs or not,
The behavior pattern modeling unit is modeled by learning with TensorFlow,
The behavior abnormality determining unit,
An FFT transformation unit receiving a behavior pattern feature from the behavior pattern extraction unit and converting information on the phase and size of the object of interest to secure a pattern of image information of a frequency graph;
And a deep mind discrimination unit for real-time deep mind discrimination of the frequency graph image-informed pattern.
The behavior pattern abnormality identification system,
A precision inspection request unit requesting a detailed inspection request when an abnormality is detected according to the judgment of the behavior abnormality determination unit
Further comprising a notification unit for transmitting information about whether the behavior of the object of interest has occurred to the administrator terminal,
The image processing unit,
Images separated through a method of separating static image information and dynamic image information by mathematical calculations between frames of image data obtained using an image collection unit that maintains a fixed angle of view and position using image data input for a certain unit time Performs periphery modeling from information, and performs image processing in a manner of detecting an object of interest using the periphery model learned through the perimeter modeling,
The behavior pattern extraction unit,
Divide and divide the image data into grid regions of cell units where coordinates are set, extract behavior pattern information of objects of interest from each divided region, calculate movement speed and distance based on frames per second,
The object of interest is a behavior pattern abnormality system for discrimination characterized in that the chicken.
(a) 영상센서를 통해 실시간으로 촬영하여 영상데이터를 수집하는 단계;
(b) 수집된 영상데이터를 영상처리 하여 관심 객체를 검출하는 단계;
(c) 상기 검출된 관심 객체의 행동패턴 특징을 검출하는 단계;
(d) 상기 검출된 행동패턴 특징을 이용하여 관심 객체의 행동패턴을 모델링하는 단계 및
(e) 상기 모델링된 행동패턴을 분석하여 행동이상 발생 여부를 판단하는 단계를 포함하고,
상기 (d)단계는,
텐서플로우로 학습하여 모델링되고,
상기 (e)단계는,
상기 행동패턴 특징으로부터 관심 객체의 위상과 크기에 대한 정보를 변환하여 주파수의 그래프를 영상정보화한 패턴을 확보하기 위해 FFT변환을 진행하는 단계;
상기 주파수의 그래프를 영상정보화한 패턴에 대해 실시간으로 딥마인드 판별을 진행하는 단계;
상기 딥마인드 판별을 통해 행동이상 발생 여부에 관한 판별결과를 검출하는 단계를 포함하고,
상기 (e)단계 이후에,
행동이상의 발생 감지시 정밀검사 의뢰를 요청하는 단계를 더 포함하고,
상기 행동패턴 이상 징후 판별 시스템 제공방법은,
관리자 단말로 관심 객체의 행동이상 발생 여부에 관한 정보를 전송하는 단계를 더 포함하며,
상기 (b) 단계는,
영상처리부가 일정 단위 시간 동안 입력된 영상데이터를 이용하여 고정된 화각과 위치를 유지한 영상수집부를 이용해 획득된 영상데이터의 프레임간의 수학적 연산에 의한 정적 화상 정보와 동적 화상 정보를 분리하는 방식을 통해 구분된 영상정보로부터 주위 모델링을 수행하고, 상기 주위 모델링을 통해 학습된 주위 모델을 이용하여 관심 객체를 검출하는 방식으로 영상처리를 진행하고,
상기 (c)단계는,
상기 영상데이터를 좌표가 설정된 셀(Cell)단위의 그리드 영역으로 분할하여 구분하고, 분할한 각 영역에서 관심 객체들의 행동패턴 정보를 추출하고, 초당 프레임을 기준으로 움직임 속도와 거리를 산정하며,
상기 관심 객체는 닭인 것을 특징으로 하는 행동패턴 이상 징후 판별 시스템 제공방법.
In the method of providing a behavioral pattern discrimination system,
(a) collecting image data by photographing in real time through an image sensor;
(b) detecting the object of interest by image processing the collected image data;
(c) detecting a behavior pattern characteristic of the detected object of interest;
(d) modeling a behavior pattern of an object of interest using the detected behavior pattern feature, and
(e) analyzing the modeled behavior pattern and determining whether an abnormal behavior occurs,
Step (d) is,
Modeled by learning with TensorFlow,
Step (e) is,
Converting information on the phase and size of the object of interest from the behavior pattern feature to perform an FFT transformation to obtain a pattern in which a graph of frequency is imaged;
Performing deep mind discrimination in real time with respect to a pattern in which the frequency graph is image-informed;
And detecting a discrimination result regarding whether an abnormal behavior has occurred through the deep mind discrimination,
After step (e),
Further comprising the step of requesting a request for overhaul when detecting an abnormality in behavior,
The behavior pattern abnormality system providing method,
Further comprising the step of transmitting information about whether the behavior of the object of interest has occurred to the manager terminal,
Step (b) is,
Through a method of separating static image information and dynamic image information by mathematical operation between frames of image data obtained by using the image collection unit that maintains a fixed angle of view and position using the image data input for a certain unit time. Peripheral modeling is performed from the separated image information, and image processing is performed by detecting an object of interest using the periphery model learned through the perimeter modeling.
Step (c) is,
Divide and divide the image data into grid regions in the cell unit where coordinates are set, extract behavior pattern information of objects of interest from each divided region, calculate movement speed and distance based on frames per second,
The object of interest is a method of providing a behavioral pattern discrimination system characterized in that the chicken.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190159831A KR102111894B1 (en) | 2019-12-04 | 2019-12-04 | A behavior pattern abnormality discrimination system and method for providing the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190159831A KR102111894B1 (en) | 2019-12-04 | 2019-12-04 | A behavior pattern abnormality discrimination system and method for providing the same |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180000639A Division KR20190074910A (en) | 2017-12-20 | 2018-01-03 | A behavior pattern abnormality discrimination system and method for providing the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190139808A KR20190139808A (en) | 2019-12-18 |
| KR102111894B1 true KR102111894B1 (en) | 2020-05-15 |
Family
ID=69052400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190159831A KR102111894B1 (en) | 2019-12-04 | 2019-12-04 | A behavior pattern abnormality discrimination system and method for providing the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102111894B1 (en) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102581941B1 (en) * | 2019-12-27 | 2023-09-22 | 권세기 | A monitering system for wearing muzzles of dog using deep learning and monitering method |
| KR20210085485A (en) | 2019-12-30 | 2021-07-08 | 삼성에스디에스 주식회사 | Apparatus and method for training analysis model |
| KR102290857B1 (en) * | 2020-03-30 | 2021-08-20 | 국민대학교산학협력단 | Artificial intelligence based smart user detection method and device using channel state information |
| KR102492205B1 (en) * | 2020-08-26 | 2023-01-26 | 주식회사 우아한형제들 | Apparatus and method for detecting delivery vehicle based on Inverse Reinforcement Learning |
| KR102372094B1 (en) * | 2020-09-25 | 2022-03-10 | 한국전자기술연구원 | Device and method for monitoring health abnormalities |
| KR102396999B1 (en) * | 2021-01-19 | 2022-05-16 | 전북대학교산학협력단 | Cattle behavior automatic recognition and the monitoring system using the deep learning and method thereof |
| KR102308447B1 (en) * | 2021-03-22 | 2021-10-05 | 주식회사 스누아이랩 | Apparatus for Breeding Entity Management and Driving Method Thereof |
| KR102469301B1 (en) * | 2021-07-14 | 2022-11-22 | 주식회사 유니아이 | Behavioral anomaly detection system |
| KR20230027479A (en) * | 2021-08-19 | 2023-02-28 | 주식회사 유니유니 | Deep learning-based abnormal behavior detection system using de-identified data |
| KR20230089956A (en) * | 2021-12-14 | 2023-06-21 | 주식회사우경정보기술 | Apparatus and method for analyzing children's behavior using edutech technology to improve the educational culture of children |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775932B1 (en) * | 2017-02-20 | 2017-09-19 | 주식회사 빅오이 | PETS Care Multimodal System and Method therefor |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101433472B1 (en) * | 2012-11-27 | 2014-08-22 | 경기대학교 산학협력단 | Apparatus, method and computer readable recording medium for detecting, recognizing and tracking an object based on a situation recognition |
| KR102217253B1 (en) * | 2014-02-24 | 2021-02-17 | 주식회사 케이티 | Apparatus and method for analyzing behavior pattern |
| CN105554482B (en) * | 2016-03-09 | 2018-12-21 | 北京宠小乐科技有限公司 | It is a kind of to reinforce the comprehensive management apparatus and method that owner contacts with pet |
-
2019
- 2019-12-04 KR KR1020190159831A patent/KR102111894B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101775932B1 (en) * | 2017-02-20 | 2017-09-19 | 주식회사 빅오이 | PETS Care Multimodal System and Method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190139808A (en) | 2019-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102111894B1 (en) | A behavior pattern abnormality discrimination system and method for providing the same | |
| US11869227B2 (en) | Image recognition method, apparatus, and system and storage medium | |
| KR101607934B1 (en) | The method for monitoring communicable disease and system using the method, recording medium for performing the method | |
| Reddy et al. | Analysis of classification algorithms for plant leaf disease detection | |
| CN112085010A (en) | Mask detection and deployment system and method based on image recognition | |
| WO2022104503A1 (en) | Method for identifying adversarial sample, and related device | |
| Bamwenda et al. | Recognition of static hand gesture with using ANN and SVM | |
| KR20190074910A (en) | A behavior pattern abnormality discrimination system and method for providing the same | |
| US20240096134A1 (en) | Action Recognition System and Method | |
| Dommeti et al. | Deep learning based lumpy skin disease (lsd) detection | |
| US20240193946A1 (en) | Bird detection and species determination | |
| KR20190050551A (en) | Apparatus and method for recognizing body motion based on depth map information | |
| CN109598712A (en) | Quality determining method, device, server and the storage medium of plastic foam cutlery box | |
| CN109558771B (en) | Behavior state identification method, device and equipment of marine ship and storage medium | |
| US20230386164A1 (en) | Method for training an object recognition model in a computing device | |
| Brahmankar et al. | Indian sign language recognition using canny edge detection | |
| CN114764948A (en) | Living body detection method, living body detection device, living body detection equipment and storage medium | |
| JP2021072106A (en) | Image processing system | |
| Bamwenda et al. | Static hand gesture recognition system using artificial neural networks and support vector machine | |
| JP7559247B2 (en) | Sewer pipe abnormality diagnosis support system, client machine, server machine for sewer pipe abnormality diagnosis support system, and related method | |
| Liu et al. | Automated Image-Based Identification and Consistent Classification of Fire Patterns with Quantitative Shape Analysis and Spatial Location Identification | |
| CN118175065B (en) | Equipment port safety alarm system | |
| Merizalde et al. | Real-time social distancing detection approach using YOLO and unmanned aerial vehicles | |
| Pooja et al. | Comprehensive survey on detection of living or dead humans and animals using different approaches | |
| WO2024180609A1 (en) | Image analysis system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |