KR101830056B1 - Diagnosis of Plant disease using deep learning system and its use - Google Patents
Diagnosis of Plant disease using deep learning system and its use Download PDFInfo
- Publication number
- KR101830056B1 KR101830056B1 KR1020170085605A KR20170085605A KR101830056B1 KR 101830056 B1 KR101830056 B1 KR 101830056B1 KR 1020170085605 A KR1020170085605 A KR 1020170085605A KR 20170085605 A KR20170085605 A KR 20170085605A KR 101830056 B1 KR101830056 B1 KR 101830056B1
- Authority
- KR
- South Korea
- Prior art keywords
- disease
- diagnosis
- image
- information
- learning
- Prior art date
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 194
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 194
- 238000003745 diagnosis Methods 0.000 title claims abstract description 134
- 238000013135 deep learning Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 11
- 238000007405 data analysis Methods 0.000 claims abstract description 5
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 241000607479 Yersinia pestis Species 0.000 claims description 12
- 230000000306 recurrent effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 241000238631 Hexapoda Species 0.000 abstract 1
- 230000008569 process Effects 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 241000220223 Fragaria Species 0.000 description 4
- 235000021012 strawberries Nutrition 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 2
- 240000003768 Solanum lycopersicum Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 240000004160 Capsicum annuum Species 0.000 description 1
- 235000008534 Capsicum annuum var annuum Nutrition 0.000 description 1
- 240000008067 Cucumis sativus Species 0.000 description 1
- 235000009849 Cucumis sativus Nutrition 0.000 description 1
- 241000221662 Sclerotinia Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002155 anti-virotic effect Effects 0.000 description 1
- 235000021028 berry Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000001511 capsicum annuum Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003898 horticulture Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Biomedical Technology (AREA)
- Agronomy & Crop Science (AREA)
- Animal Husbandry (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 병해 진단 시스템 및 이를 이용한 병해 진단 방법에 관한 것으로, 더욱 상세하게는 작물의 병해를 진단할 수 있는 병해 진단 시스템 및 이를 이용한 병해 진단 방법에 관한 것이다.The present invention relates to a disease diagnosis system and a disease diagnosis method using the same, and more particularly, to a disease diagnosis system capable of diagnosing a disease of a crop and a disease diagnosis method using the same.
본 발명은 병해 진단 시스템 및 이를 이용한 병해 진단 방법에 관한 것으로, 더욱 상세하게는 작물의 병해를 진단할 수 있는 병해 진단 시스템 및 이를 이용한 병해 진단 방법에 관한 것이다. 스마트팜과 같은 농업 시설에서는 다량의 다품종의 농작물을 재배하고 있으며, 여러 생화학적 환경의 변화에 의하여 근권부 또는 지상부에 여러 병해가 발생할 수 있다. 그러나 스마트팜과 같은 패쇄 시설에서는 병해 발견이 늦어질 경우 병해가 시설내부에서 빠르게 확산될 염려가 있다. 따라서 스마트팜과 같은 시설 농업에서는 병해 발생을 빠르게 판단하고 대처해야한다.The present invention relates to a disease diagnosis system and a disease diagnosis method using the same, and more particularly, to a disease diagnosis system capable of diagnosing a disease of a crop and a disease diagnosis method using the same. Agricultural farms such as smart farms produce a large variety of crops, and various biochemical changes can lead to various diseases on the rhizosphere or on the ground. However, if the discovery of the disease is delayed in a facility such as a smart farm, the disease may spread rapidly inside the facility. Therefore, it is necessary to quickly determine and cope with the occurrence of diseases in facilities farms such as smart farms.
가장 빠르고 쉬운 병해 진단 방법은 전문가가 눈으로 보고 진단하는 것이지만, 병해 전문가가 개개 농가의 스마트팜을 매일 다니며 진단할 수 없기 때문에 본 발명에서는 사진을 통한 진단 방법을 사용하고자 한다. 농가에서 병해가 예상되는 농작물을 발견하면 이를 촬영하여 서버로 전송하고 서버에서 이를 진단 이미지로 사용하여 진단결과를 농가에 제공하는 것이다. The easiest and easiest way to diagnose a disease is to see and diagnose it by an expert. However, since the disease expert can not diagnose the smart farm of the individual farm every day, the present invention intends to use the diagnostic method using the photograph. When a farmer finds a crop that is expected to be infected, it is photographed and transmitted to a server. The server uses the image as a diagnostic image and provides the result to the farmer.
이러한 선행기술로는 등록특허공보 제10-1702766호에 복수의 작물들에 대한 병해 정보 및 방역 정보가 미리 저장되어 구축된 병해 데이터베이스를 포함하는 병해 정보 서버에서, 카메라 및 통신모듈을 포함하는 사용자 단말로부터 상기 사용자 단말에 의해 생성된 작물에 대한 이미지 및 상기 사용자 단말의 위치 정보를 수신하는 단계; 상기 병해 정보 서버에서 상기 이미지 및 상기 사용자 단말의 위치 정보에 기초하여 상기 병해 데이터베이스로부터 상기 이미지에 대응하는 병해 정보 및 방역 정보를 추출하는 단계; 및 상기 병해 정보 서버에서 상기 이미지에 대응하는 병해정보 및 방역 정보를 상기 사용자 단말로 제공하는 단계를 포함하는 발명이 있다. 그러나 이런 방법은 농민이 이미지를 일일이 촬영하여 직접 올리고 결과를 다시 진단받는 과정이 쉽지 않으며, 병해진단을 위하여 영상처리 기술로 이미지들 간의 유사점과 차이점을 사용하고 있어 진단결과의 정확성이 이미지 촬영 환경에 영향을 많이 받고, 같은 병해이지만 진당용 이미지와 촬영이미지의 병해 발생 모양과 형상이 상이한 경우 정확한 진단이되지 않는 문제가 있었다.In this prior art, in Patent Publication No. 10-1702766, a disease information server including a disease database in which disease information and anti-disease information for a plurality of crops are stored and constructed in advance is stored in a user terminal Receiving an image of the crop generated by the user terminal and location information of the user terminal; Extracting disease information and anti-virus information corresponding to the image from the disease database based on the image and the location information of the user terminal in the disease information server; And providing the disease information and the prevention information corresponding to the image to the user terminal in the disease information server. However, this method is not easy for the farmers to take images of themselves and to re-diagnose the results. In order to diagnose the disease, image processing technology uses the similarities and differences between the images. There is a problem in that the diagnosis can not be accurately performed when the appearance and shape of the lesion occurrence image and the shot image are different from each other although they are affected by the same disease.
따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 스마트폰과 스마트폰에 사용하는 앱을 이용하여 농가에서 원터치방식으로 병해 진단용 사진을 촬영하고, 촬영이 끝나면 자동으로 병해 진단용 사진 또는 이미지가 병해진단 서버로 전송되고, 병해 진단 결과 역시 자동으로 사용자 스마트폰 단말기로 제공되는 것이며, 본 발명은 이 과정 중에서 특별히 병해 진단용 사진을 사용하여 병해를 진단하는 인공지능 딥러닝 병해진단서버에 관한 것이다. 본 발명은 인공지능 딥러닝 병해진단서버를 사용함으로써 기존의 발명과 비교하여 혁신적으로 병해진단 정확도를 높이는데 또 하나의 해결과제가 있다 하겠다. Accordingly, the present invention is to solve such a problem, and it is an object of the present invention to provide a method and apparatus for photographing a pest diagnosis image in a one-touch manner at a farmhouse using an app for smart phones and smart phones, And the diagnosis result is also automatically provided to the user smart phone terminal. The present invention relates to an artificial intelligent deep diagnosis pest diagnosis server that diagnoses a pest using a pest diagnosis photograph in particular. The present invention uses an artificial intelligent deep-processing disease diagnosis server, thereby further improving the diagnostic accuracy of the disease compared with the conventional art.
본 발명은 스마트팜 등에 있어서 사용자들이 입력한 디지털 이미지 또는 사진을 이용하여 병해 및 충해 를 진단하여 제공하는 딥러닝 기반의 병해 진단 시스템 및 그 이용방법에 관한 것으로, The present invention relates to a deep-run-based disease diagnosis system and a method of using the same for diagnosing and providing disease and impairment using digital images or photographs input by users in a smart farm or the like.
작물을 촬영하여 병해 사진을 생성하는 사용자 단말기; 및 상기 사용자 단말기의 사진을 업로드하고 이를 입력으로 하여 병해 진단을 실시하는 병해진단서버; 및 상기 병해진단서버에 구비되는 병해진단부; 및 상기 병해진단부에서 진단된 병해 진단결과를 상기 사용자 단말기로 전송하는 상기 병해진단서버; 및 상기 사용자 단말기는 상기 병해진단서버로부터 전송받은 진단결과를 상기 사용자들에게 알려주는 화면을 제공하며;A user terminal for photographing a crop to generate a diseased photograph; And a disease diagnosis server for uploading a photograph of the user terminal and performing a disease diagnosis based on the uploaded photographs; A disease diagnosis unit provided in the disease diagnosis server; And the disease diagnosis server transmitting the disease diagnosis result diagnosed by the disease diagnosis unit to the user terminal; And the user terminal provides a screen informing the users of the diagnosis result transmitted from the disease diagnosis server;
상기 병해진단부는 인공지능 딥러닝을 실행하는 딥러닝학습부와 딥러닝학습에 의하여 학습된 결과를 이용하여 상기 사용자 단말기에서 업로드된 사진을 입력으로 하여 병해 진단을 하는 딥러닝예측부; 및 병해 발생 DB 및 인터넷 기사 정보데이터들 및 상기 사용자들의 입력정보 및 상기 딥러닝예측부에서 상기 사용자들에게 제공한 병해 진단정보를 시계열 입력데이터로 사용하는 인공지능학습방법인 리커런트 뉴럴 네트워크(RNN)로 구성되어,
상기 사용자가 입력한 사진으로부터 병해의 종류를 잘 알 수 없는 경우에도 상기 병해 발생 DB의 검색결과로부터 발생빈도가 높은 병해를 추천해주는 역할과 상기 인터넷 기사 정보데이터들로부터 병해 발생 현황을 파악하고 발생빈도가 높은 병해를 추천해주는 역할을 하는 병해발생 시계열데이터 분석부의 결과를 상기 딥러닝예측부에 제공하는 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템 및 그 이용방법을 제공하는 것이다.Wherein the disease diagnosis unit includes a deep learning unit for performing artificial intelligence deep learning and a deep learning predictor for performing a disease diagnosis by inputting a photo uploaded from the user terminal by using a result learned by the deep learning learning; And an artificial intelligence learning method that uses the disease occurrence DB and the Internet article information data, the input information of the users, and the disease diagnosis information provided to the users by the deep learning prediction unit as time series input data, ),
Even if the type of the disease is not well known from the photographs input by the user, it is also possible to identify a disease occurrence status from the Internet article information data and a role of recommending a disease with high incidence from the search result of the disease occurrence DB, And provides a result of the pest occurrence time series data analysis unit serving as a recommendation for a high pest to the deep run prediction unit.
또한, 상기 병해진단부는 상기 진단을 위해 사용자 단말기에서 업로드된 사진을 입력으로 사용하여 이미 학습된 병해진단부로부터 작물의 종류와 촬영부위 등의 정보와 상기 진단에 사용된 사진 이미지 중에서 병해가 발생된 부분의 이미지를 추출하고, 이 추출된 이미지로부터 병해 발생부의 크기, 색, 모양, 병해의 종류 등의 진단정보를 추출하여 출력하는 단계(S1); 및 상기 병해진단부에서 출력된 작물의 종류, 촬영부위, 병해 발생부의 크기, 색, 모양, 병해의 종류 및 추출된 병해 발생부의 이미지를 이용하여 미리 병해 진단을 위해 병해진단을 위해 병해이미지, 색, 모양, 크기 등을 저장한 데이터베이스(Data Base)에 저장된 데이터들과 비교하여 병해 이미지를 검색하여 출력하는 단계(S2); 및In addition, the disease diagnosis unit may use the photo uploaded from the user terminal as the input for diagnosing the disease, and from the already learned disease diagnosis unit, information such as the type of the crop and the photographing site and the photographic image used for the diagnosis, (S1) of extracting diagnostic information such as size, color, shape, type of disease and the like from the extracted image, and outputting diagnosis information; And an image of the disease generated by the disease diagnosis unit, the size of the crop, the size, the color, the shape, the type of the disease, and the image of the extracted disease, (S2) of searching for and outputting a diseased image by comparing it with data stored in a database (Data Base) storing shape, size, and the like; And
상기 S2 단계에서 찾아진 이미지를 다시 병해진단부의 입력 이미지로 하여 진단결과를 출력하는 단계(S3); 및 상기 S1 단계의 병해진단 결과와 상기 S3 단계의 출력 병해진단결과를 비교하여 병해진단 결과가 일치하는지 일치도를 계산하는 단계(S4); 및 상기의 S2 및 S4 단계를 더 이상 일치하는 병해이미지가 없을 때까지 반복하고 상기 S4 단계에서 계산한 일치도 중 가장 높은 일치도가 나온 진단결과를 상기 사용자에게 제공하는 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템을 제공하는 것이다. (S3) of outputting a diagnosis result using the image found in step S2 as an input image of the diagnosis unit; (S4) comparing the result of the disease diagnosis in step S1 and the output disease diagnosis result in step S3, and calculating a degree of agreement of the disease diagnosis results; And repeating the steps S2 and S4 until there is no more coincident diseased image and providing the user with a diagnosis result having the highest degree of agreement out of the coincidence calculated in the step S4. Diagnosis system.
또한, 상기 병해발생 시계열데이터 분석부에서, 상기 병해 발생 DB는 자체적인 서버를 둘 수도 있고, 외부의 서버에 접속하여 현재 지역적으로 발생한 병해 정보; 및 상기 인터넷 기사들로부터 자연언어를 인식하여 병해 발생 지역과 병해 종류를 DB화한 정보; 및 상기 병해진단서버에 병해 진단을 요청한 사용자의 위치와 작물의 종류 및 진단된 병명들의 정보를 상기 리커런트 뉴럴 네트워크(RNN)의 학습데이터와 검증데이터로 사용하여 발생빈도가 높은 병해를 찾아 상기 딥러닝예측부에 제공하여 병해 진단의 정확도를 높여주는 역할을 하는 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템을 제공하는 것이다.In addition, in the disease occurrence time series data analysis unit, the disease occurrence DB may have its own server, or may be connected to an external server to generate disease information, And information obtained by recognizing a natural language from the Internet articles and classifying a disease occurrence area and a disease type into a DB; And a location of a user who has requested a diagnosis of the disease in the disease diagnosis server, information on the type of the crop and the diagnosed disease names, as learning data and verification data of the recurrent neural network (RNN) And a prediction unit for providing a diagnosis of the disease to improve the accuracy of the diagnosis of the disease.
또한, 상기 병해진단서버는 상기 사용자들에 정보를 제공하고 정보를 업로드하는 웹서버와 병해진단기능을 하는 서버기능을 하나로 또는 2 이상으로 분산처리 가능한 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템을 제공하는 것이다.
상기 딥러닝학습부는 병해 진단용 학습이미지를 작목별, 병 발생 부위별로 1만 장을 사용하고, 딥러닝 인공지능 학습에 의하여 작물의 종류와 작물의 촬영위치를 학습하여 찾아내는 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템을 제공하는 것이다.Further, the disease diagnosis server may be configured to distribute the web server for providing information to the users and uploading information, and the server function for diagnosing the disease to one or more than two. .
Wherein the deep learning learning unit learns the type of the crop and the location of the crop by learning ten thousands of pieces of learning images for diagnosis of diseases according to the individual items and the disease occurrence sites and by using the deep learning artificial intelligence learning, And to provide a disease diagnosis system.
본 발명은 딥러닝 방식의 병해진단 시스템에 관한 것으로 작물별로 1만장 이상의 병 발생 부위별 이미지를 이용하여 딥러닝 방식으로 병해발생 이미지를 학습을 시키고, 이를 이용하여 병해진단을 하는 것으로 기존의 어떠한 병해진단시스템보다 정확한 진단결과를 보여준다. 특히, 기존의 병해진단시스템의 문제점인 빛의 방향, 밝기 등에 따른 오 진단결과 병해의 진행상황 및 단계에 따라 병해의 크기와 모양에 차이가 있어 이미지를 비교하는 방식에서 발생하는 진단 오류를 본 발명은 상기 딥러닝 방식에 의한 이미지 특징 추출을 통해 학습에 사용된 이미지와 진단을 위하여 촬영된 이미지 출력을 비교함으로써 이미지 촬영시의 촬영조건이나, 병해 발생부의 모양과 크기에 관계없이 병해를 명확하게 진단할 수 있는 발명이다. The present invention relates to a system for diagnosing a disease of a deep running type, wherein an image of a disease occurrence is learned by a deep running method using images of more than 10,000 pieces of diseased parts per crop, and the disease is diagnosed by using the image. Diagnostic system shows more accurate diagnosis results. In particular, there is a difference in the size and shape of disease according to the progress and stage of the disease as a result of misdiagnosis according to the direction and brightness of light, which is a problem of the existing disease diagnosis system, Through the image feature extraction by the deep learning method, the image used for the learning and the image output for the diagnosis are compared with each other, thereby making it possible to clearly diagnose the disease regardless of the shooting conditions at the time of image shooting and the shape and size of the disease- It is an invention that can be done.
도 1 본 발명의 웹서버와 병해진단서버를 통합한 도면
도 2 본 발명의 진단서버가 CNN과 RNN을 통합하고 있는 도면
도 3 본 발명의 CNN 진단서버의 사용자 업로드 이미지 및 병해 DB 이미지를 이용한 병해 진단 방법 개념도
도 4 본 발명의 사용자 단말에서의 로그인 화면
도 5 본 발명의 사용자 단말에서의 병해 촬영 화면
도 6 본 발명의 사용자 단말에서의 병해 진단내역 조회화면
도 7 본 발명의 사용자 단말에서의 병해 진단결과 화면
도 8 본 발명의 사용자 단말에서의 병해 정보 화면BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a drawing showing an integrated web server and a diagnosis server according to the present invention;
FIG. 2 is a diagram showing the diagnosis server of the present invention integrating CNN and RNN;
3 is a conceptual diagram of a disease diagnosis method using a user upload image and a disease DB image of the CNN diagnosis server of the present invention
Fig. 4 shows a login screen in the user terminal of the present invention
FIG. 5 is a flowchart of a disease-
FIG. 6 is a view for showing a diagnosis of disease diagnosis in the user terminal of the present invention
7 is a view showing a result of diagnosis of a disease in the user terminal of the present invention
Fig. 8 is a view showing a disease information screen
본 발명에서는 딥 러닝 방식의 인공지능 알고리즘을 이용하여 병해진단 알고리즘을 개발하고 이를 서버에 설치하여 사용자의 이미지 전송데이터를 분석하고 이를 진단하여 진단 결과를 사용자에게 알려주는 것이다. In the present invention, a disease diagnosis algorithm is developed using an artificial intelligence algorithm of a deep learning method and installed on a server to analyze user image transmission data, diagnose the user, and notify the user of diagnosis results.
병해진단 알고리즘의 설명에 앞서 본 발명에서 사용하고자 하는 인공지능의 하나인 딥 러닝의 학습방법을 간략히 소개하고 그 장점을 알아본다. 딥러닝의 핵심인 컨볼루셔널 뉴럴 네트워크는 입력된 데이터 → 지식(knowledge)으로 바로 학습을 진행하지 않고, 특징을 추출(feature extraction)하는 단계를 거쳐 입력 데이터 → 특징(feature) → 지식의 단계로 학습하는 것에 있어서, 특징을 뽑는 자체를 뉴럴네트워크를 이용한 기계학습을 통하여 뽑아내며, 특징을 뽑는 뉴럴네트워크가 다단계로 구성되어 여러 가지 특징을 뽑아낼 수 있게 되어, 이를 딥런닝이라 부르게 되었으며, 이러한 특징으로 인하여 다른 분야보다도 이미지 인식에서 큰 진보를 이루고 있다. 기존의 이미지처리 과정이 이미지로부터 이미지의 특징을 추출하기 위한 필터 역할을 했기 때문에 컨볼루셔널 뉴럴 네트워크를 일종의 디지털 필터로 설명하는 경우도 있다. 그러나 필터는 적응성이 매우 낮기 때문에 다른 스펙트럼을 가지는 이미지를 모두 같은 필터를 사용한다면 좋은 결과를 얻을 수 없지만 적응력이 좋은 뉴럴네트워크는 이를 모두 처리할 수 있는 장점이 있다.Prior to the description of the disease diagnosis algorithm, a learning method of deep learning, which is one of artificial intelligences to be used in the present invention, is briefly introduced and its advantages are discussed. Convolutional neural network, which is the core of deep learning, does not directly learn from input data → knowledge but performs a feature extraction to input data → feature → level of knowledge In learning, it extracts the feature extraction itself through machine learning using the neural network, and the neural network that picks up the feature is composed of multiple stages and can extract various features, which is called deep runing, Which makes a big improvement in image recognition than other fields. Since the conventional image processing process serves as a filter for extracting the characteristics of the image from the image, the convolutional neural network may be described as a kind of digital filter. However, since the adaptability of the filter is very low, good results can not be obtained if all the images having different spectra are used with the same filter. However, the adaptive neural network can handle all of them.
그러나 본 발명의 특징은 이미지처리에만 인공지능학습결과가 미치는 것이 아니라, 병해를 진단하는데 그 목적이 있기 때문에, 병해진단을 위한 학습과 그 이용이 목적이다. 구글과 네이버 등에서 같거나 비슷한 이미지를 찾아주는 서비스가 있다. 그러나 병해의 발생은 발생부의 크기, 색 및 모양 등에 많은 차이가 있기 때문에 이를 유사한 이미지를 찾는 방식으로 한다면 병해의 정확한 진단에 어려움이 있다. However, the feature of the present invention is that learning and diagnosis of disease diagnosis are used for diagnosing a disease, not for artificial intelligence learning results only in image processing. There is a service that finds the same or similar images in Google and Naver. However, the occurrence of the disease has many differences in the size, color, and shape of the affected part. Therefore, it is difficult to accurately diagnose the disease if a method of finding similar images is used.
본 발명에서는 이러한 문제점을 해결하기 위하여 진단에 사용하는 이미지를 2가지 방법으로 사용한다. 첫 번째는 진단에 사용된 이미지 전체를 입력으로 사용하여 이미 학습된 병해진단시스템으로부터 작물의 종류 등의 정보를 찾는 방법과 두 번째로 진단에 사용된 이미지를 이미 학습된 병해진단시스템에 입력으로 사용하여 진단에 사용된 이미지에서 병해가 발생된 부분의 이미지를 추출하고 이 추출된 이미지로부터 병해 발생부의 크기, 색 및 모양 등의 병해 진단정보를 추출하고, In the present invention, in order to solve such a problem, an image used for diagnosis is used in two ways. The first is the method of finding the information of the kind of crop from the already learned disease diagnosis system using the whole image used for diagnosis as the input and the second is the method of using the image used for diagnosis in the already learned disease diagnosis system Extracts an image of a diseased part in the image used for diagnosis, extracts disease diagnosis information such as size, color and shape of the diseased part from the extracted image,
이를 상기 첫 번째 단계에서 구한 작물의 종류 등의 정보와 함께 미리 병해 진단을 위하여 구축된 데이터베이스(Data Base)에 저장된 인덱싱 데이터들과 비교하여 검색된 데이터를 가지는 병해 이미지를 찾아 이를 상기의 병해진단시스템에 입력하여 다시 병해 발생부의 크기, 색 및 모양 등의 진단정보를 추출하고 상기 사용자가 입력한 이미지의 진단정보와 다시 비교하여 병해를 진단한다. 상기의 과정을 더 이상 검색되는 이미지 결과가 없을 때 까지 반복하고, 상기 병해를 진단 정보 중 가장 확률이 높은 병해 정보를 상기 사용자에게 제공한다. And it is compared with the indexing data stored in a database constructed in advance for diagnosis of the disease together with information such as the type of the crop obtained in the first step, and a diseased image having the retrieved data is found, And extracts diagnostic information such as the size, color, and shape of the disease-causing part again, and diagnoses the disease by comparing the diagnostic information with the diagnostic information of the image input by the user. The above process is repeated until there are no more images to be searched, and the disease information having the highest probability among the diagnostic information is provided to the user.
이렇게 컨볼루셔널 뉴럴 네트워크에 사용자의 업로드 이미지와 병해 DB에 있는 이미지를 각각 넣어 비교하는 이유는 뉴럴 네트워크는 그 특성상 언제든지 학습데이터를 업데이트하여 뉴럴 네트워크의 병해 진단기능을 업그레이드 할 수 있고, 이에 따라 기존의 병해 이미지 역시 변경된 뉴럴 네트워크에서 다시 처리되어야 사용자가 업로드한 이미지와 동일한 환경에서 영상처리되어 동일한 비교가 가능하기 때문이다. The reason for comparing the uploaded image and the image in the DB in the convoluted neural network is that the neural network can update the learning data at any time by upgrading the diagnostic function of the neural network, Is also processed again in the modified neural network so that the same image can be processed in the same environment as the user-uploaded image and the same comparison can be made.
또, 다른 이유로는 사용자의 업로드된 이미지 중에서 병해 진단을 위하여 사용하는 이미지는 CNN에서 학습을 통하여 잡아낸 병해 발생부위의 이미지이고, 이 이미지는 같은 병해를 입은 작물이라도 그 크기와 모양, 색상 등이 모두 다르기 때문에 병해 DB에는 한 가지 병해에 대해서도 크기와 모양, 색상 등이 다양한 병해 발생부위의 이미지를 저장하여 사용자의 업로드 이미지와 가장 비슷한 이미지를 찾아 병해를 진단할 수 있도록 하는 것이다. Another reason is that images uploaded from the user's uploaded images for diagnosis of the disease are images of the disease-causing regions captured through learning in CNN. This image shows that even though the same diseased crops have the same size, shape and color Therefore, it is possible to diagnose the disease by searching the most similar image of the user's upload image by storing the image of the diseased area having various sizes, shapes, and colors for one disease in the diseased DB.
이러한 본 발명의 병해 진단 기술은 기존의 사용자 업로드 이미지만을 이용하여 병해를 진단하는 진단 시스템 보다 병해 진단 적중률이 더 높아지는 것은 당연하다. It is natural that the disease diagnosis technique of the present invention has a higher probability of diagnosing disease than a diagnosis system diagnosing the disease using only the existing user uploaded image.
본 발명에서 사용하는 또 다른 데이터는 병해 발생 DB와 인터넷 기사 정보데이터들 및 사용자들의 입력정보와 병해진단서버에서 사용자에게 제공한 병해 진단정보를 포함한다. 병해 발생 DB는 자체적인 서버를 둘 수도 있고, 외부의 서버에 접속하여 현재 지역적으로 발생한 병해 정보들이다. 인터넷 기사들로부터 자연언어를 인식하여 병해 발생 지역과 병해 종류를 DB화하고 이를 학습데이터로 이용한다. 또한 서버에 병해 진단을 요청한 사용자의 위치와 작물의 종류 진단된 병명들을 학습데이터와 검증데이터로 사용한다. Another data used in the present invention includes a disease occurrence DB, Internet article information data, and input information of users, and disease diagnosis information provided to the user in the diagnosis server. The disease occurrence DB may have its own server, and the disease information which is connected to an external server and is present in the local area. It recognizes natural language from internet articles and uses DB as the learning data by classifying the disease occurrence area and disease type into DB. In addition, the location of the user who requested the diagnosis of the disease on the server and the type of disease diagnosed are used as learning data and verification data.
이러한 시계열 데이터는 직접적인 병해 진단 데이터로 이용하기 보다는 병해의 종류를 잘 알 수 없는 경우에 인터넷 기사를 통한 병해 발생 현황을 파악하고 이를 이용하여 병해 진단의 정확도를 높여주는 역할을 한다. These time series data are used to diagnose the status of the disease through Internet articles and improve the accuracy of the diagnosis of the disease when the type of the disease is not known, rather than using it as direct disease diagnosis data.
또한, 사용자들의 병해 진단 요청의 빈도와 진단결과에 대한 사용자의 진단결과 설문 또는 진단결과 정확도 검증입력 과정을 통하여 신뢰성을 더욱 높인 병해 진단을 할 수 있다. In addition, it is possible to diagnose a disease with higher reliability through the process of inputting a user's diagnostic result on the frequency and diagnostic result of the diagnosis request of the user and the accuracy verification input process of the diagnosis result.
상기 사용자가 병해진단을 위하여 업로드한 이미지와 딥러닝의 진단결과와 딥러닝에서 찾아진 매칭 결과와 그에 따른 병해진단결과가 사용자에게 전달되고, 상기 사용자는 자신의 상기 업로드 이미지와 상기 병해진단결과 진단에 의하여 찾아진 상기 S2단계의 이미지를 보고, 정확한 병진단을 위한 이미지가 찾아졌는지 사용자 앱을 통하여 그 결과를 피드백(FeedBack)함으로써 상기 병해진단결과를 평가할 수 있고, 평가결과가 상기 병해진단결과와 정확하게 일치하는 경우 상기 사용자의 업로드된 이미지를 병해진단이미지로 사용하게 되어 추후의 진단 결과의 신뢰성을 높일 수 있다. A diagnosis result of the deep running, a matching result found in the deep learning, and a result of the disease diagnosis according to the image uploaded by the user for the diagnosis of the disease are transmitted to the user, and the user inputs the upload image, The result of the disease diagnosis can be evaluated by feeding back the result through the user's application whether an image for accurate diagnosis of the disease is found or not, The user can use the uploaded image as a diagnostic image to improve the reliability of the subsequent diagnosis result.
반면, 상기 사용자의 상기 병해진단결과의 평가가 특리다고 입력된 경우에는 즉시, 새로운 병해진단 절차가 시작된다. 이는 상기 사용자가 병해진단용 이미지를 업로드 한 바로 다음 단계부터 병해진단과정이 시작되는 것을 의미한다. On the other hand, if the evaluation of the result of the disease diagnosis by the user is entered as special, a new disease diagnosis procedure is immediately started. This means that the diagnosis process starts from the next stage when the user uploads the image for diagnosis of the disease.
이때, 잘못된 병해진단결과로 찾아진 상기 이미지는 별도의 저장소로 이동 저장된다. 이렇게 이동된 이미지는 별도의 처리 과정에서 업로드된 이미지와 동일한 방법으로 병해진단을 실행하고, 그 결과가 계속 틀린 경우에는 이렇게 지속적으로 잘못된 진단을 하는 이미지만을 보아, 병해 진단부의 딥러닝의 추가적인 학습에 사용될 수 있다. At this time, the image found as a result of erroneous disease diagnosis is moved and stored in a separate storage. In this process, the image is moved in the same way as the uploaded image in the separate process, and if the result is still incorrect, only the image that is continuously misdiagnosed is viewed, and the additional learning of the deep- Can be used.
어떠한 병해의 원인이 사용자의 스마트팜 한곳에 국한된 문제인지 전국적으로 퍼지는 전 단계인지 등의 판단을 시계열 분석의 결과로써 예측 가능하다. 본 발명에 사용하는 시계열 데이터를 위한 리커런트 뉴럴 네트워크(RNN; Recurrent Neural Network)와 게이트 유닛들 (예: Long-Short Term Memory(LSTM))은 시간의 흐름에 따라 변하는 시계열 데이터를 학습하고 인공지능을 예측하는 방법이다. It can be predicted as a result of the time series analysis whether the cause of the disease is limited to one smart palm of the user, or whether it is a nationwide spread stage. Recurrent Neural Network (RNN) and gate units (e.g., Long-Short Term Memory (LSTM)) for time-series data used in the present invention learn time-series data varying with time, .
리커런트 뉴럴 네트워크(RNN)는 매순간의 데이터를 인공신경망 구조에 쌓아올린 것으로 딥 러닝 중 가장 깊은 네트워크 구조이다. 시계열 데이터의 예로는 주가, 사람의 움직임, 기후, 인터넷 접속자수, 검색어 등을 생각해볼 수 있다. 본 발명에 사용하는 유르겐 슈미트후버(Jurgen Schmidhuber) 교수의 리커런트 뉴럴 네트워크(RNN)는 Long-Short term Memory란 게이트 유닛을 노드마다 배치하여 인공신경망이 너무 깊어서 오랜 시간 전의 데이터들을 까먹는 현상(vanishing gradient problem)을 해결하였다. The Recurrent Neural Network (RNN) is the deepest network structure in deep learning that builds up the momentary data on the artificial neural network structure. Examples of time series data are stock prices, human movements, climate, the number of Internet users, and search terms. Professor Jurgen Schmidhuber's recurrent neural network (RNN) used in the present invention is a phenomenon in which the artificial neural network is so deep that the long-short term memory is arranged for each node, gradient problem.
본 발명에서는 병해진단을 위한 작물로 딸기, 토마토, 방울토마토, 오이, 파프리카 등을 대상으로 하고 있지만, 본 발명을 적용할 수 있는 작물이 이들로 한정되는 것은 아니다. In the present invention, strawberries, tomatoes, tomatoes, cucumbers, paprika and the like are used as crops for diagnosis of diseases, but the crops to which the present invention can be applied are not limited thereto.
본 발명에서 딥러닝에 필요한 병해 이미지를 수집 및 처리하기 위하여 일예로써 딸기를 들어 설명한다면, 딸기 정식 후 15일 간격으로 약 7개월간 인위적으로 4가지 병해를 발생시킨 딸기를 발생 부위별로 1만장 이상의 병해 이미지를 확보하여 본 발명의 병해진단을 위한 딥러닝 데이터로 사용하였다. 다른 작물들 역시 상기와 동일한 방법으로 딥러닝용 데이터를 확보하였다. In order to collect and process diseased images necessary for deep running in the present invention, strawberries will be described as an example. If strawberries are artificially infected for about 7 months at an interval of 15 days after the strawberries are formed, Images were obtained and used as deep running data for diagnosis of the disease of the present invention. Other crops also obtained data for deep running in the same manner as above.
상기 4가지 딸기의 병해는 딸기의 탄저병, 시들음병, 희가루병, 잿빛곰팡이병이다. 병해의 종류를 각 작목별로 필수적인 병해를 선정하였으나, 병해의 종류 역시 예로든 병해에 한정되어 사용할 수 있는 것은 아니다. The four berries are berber anthracnose, wilt disease, sclerotinia, and gray mold. Although the type of disease was selected for each line item, the type of disease is not limited to the disease.
이러한 이미지의 수집 역시 모바일 단말기를 이용하여 농가에서 사용하는 방식과 동일한 방식을 사용하였다. 그렇게 함으로써 딥러닝 학습데이터와 진단데이터의 해상도, 밝기, 이미지상의 병해의 크기 등에 따라 발생할 수 있는 오차를 최소화하였다. The collection of these images was also the same as the method used in the farmhouse using the mobile terminal. By doing so, errors that may occur depending on resolution, brightness, image size, etc. of the deep learning data and diagnostic data are minimized.
상기 4가지의 병해는 발생부위가 각 병 별로 상이하고, 발생조건도 상이하기 때문에, 이미지 정보와 병해발생 데이터베이스(Data Base, DB) 정보 및 인터넷 기사 정보 및 사용자 입력정보 등을 활용하여 좀 더 정확한 진단을 할 수 있다. Since the above-mentioned four kinds of diseases are different according to each bottle and the generation conditions are different from each other, the four kinds of diseases are more accurate by utilizing image database, database information (DB), internet article information and user input information Diagnosis can be made.
본 발명의 특징은 계속적은 인공지능 병해진단서버의 성능 향상을 위하여 진단을 필요로 하는 이미지와 진단을 위한 학습데이터를 매 진단시마다 인공지능 병해 진단서버를 통해 진단결과를 받아볼 수 있도록 함으로써 병해 발생부위의 크기와 색 형태 등의 다양한 인자에 관계없이 병해의 특성을 추출하여 진단을 할 수 있도록 하는데 있다. 또한, 병해 진단용 이미지가 작목별로 병 발생 부위별로 1만장 이상을 사용되고 있기 때문에 학습에 사용된 이미지의 작물의 종류와 촬영부위를 알려주지 않고 딥러닝 인공지능 학습에 의하여 작물의 종류와 작물의 촬영위치를 인공지능 알고리즘에서 찾아낼 수 있도록 하는데 또 다른 특징이 있다. A characteristic feature of the present invention is that the diagnostic data can be received through the artificial intelligence disease diagnosis server every time the diagnostic data for diagnosis and the learning data for diagnosis are continuously updated to improve the performance of the artificial intelligence disease diagnosis server, And to extract the characteristics of the disease regardless of various factors such as the size of the site and the color pattern. In addition, since more than 10,000 images are used for disease diagnosis according to the individual diseases, the types of crops used for learning and the types of crops, There are other features that can be found in AI algorithms.
본 발명은 스마트팜과 같은 시설원예에 사용할 수 있는 딥러닝 기반의 병해 진단 시스템 및 그 이용 방법에 관한 것이나, 본 발명의 사용은 궁극적으로는 작물의 종류에 한정되지 않고, 모든 종류의 작목에 대하여 각 작목별 병해 이미지만 정확하게 촬영하여 본 발명인 “딥러닝 기반의 병해진단시스템”에 학습만 시킬 수 있다면, 어떠한 작목이든 딥러닝 학습에 의하여 병해를 진단할 수 있는 획기적인 시스템이다. 아울러 병해부위의 크기에 관계없이 병해의 종류를 정확하게 진단할 수 있는 시스템이기도 하다. 이것은 기존의 필터방식의 이미지처리 시스템에서는 진단할 수 없었던 병해를 진단하는 것으로 그 의의가 크다 하겠다. 이것은 학습에 의하여 크기가 다르고, 형태가 다른 이미지로부터 병해 패턴의 동일성을 읽어낼 수 있다면, 같은 병해라는 것을 찾아낼 수 있기 때문이다. 즉, 경계부분의 색변화, 병해의 방생부위, 병해의 발생속도 등으로부터 동일한 병해의 특성을 딥러닝은 쉽게 찾아낼 수 있기 때문이다. The present invention relates to a deep-run-based disease diagnosis system and its method for use in institutional horticulture such as smart farms, but the use of the present invention is not limited to the type of crops ultimately, It is an epoch-making system that can diagnose a disease by deep learning learning of any object if only the image of the diseased image by each tree is accurately photographed and only the learning of the "deep learning based disease diagnosis system" of the present invention can be made. It is also a system that can accurately diagnose the type of disease regardless of the size of the diseased area. This is significant because it diagnoses a disease that could not be diagnosed by the conventional image processing system of the filter type. This is because if one can learn the identity of the disease pattern from different images of different sizes and different types of learning, it is possible to find the same disease. That is, it is easy to find out the characteristics of the same disease from the color change of the boundary part, the part of the diseased part, and the occurrence rate of the disease.
본 발명의 설명에 사용된 사진, 이미지, 디지털 이미지는 사용자의 단말기로 촬영한 것을 똑 같이 의미하고, 사용자의 단말기 역시 사용자의 스마트폰 또는 스마트폰과 같은 용어이며, 인공지능 병해진단서버와 병해진단서버 및 딥러닝 기반의 병해진단서버 등도 서로 같은 용어임을 밝혀둔다. The photographs, images, and digital images used in the description of the present invention are the same as those taken by a user's terminal, and the user's terminal is a term such as a user's smartphone or a smart phone. Server and deep-run-based pest diagnosis server are the same terms.
10 병해진단서버10 Pest diagnosis server
Claims (4)
상기 병해진단부에서 진단된 병해 진단결과를 상기 사용자 단말기로 전송하는 상기 병해진단서버; 및 상기 사용자 단말기는 상기 병해진단서버로부터 전송받은 진단결과를 사용자들에게 알려주는 화면을 제공하며;
상기 병해진단부는 인공지능 딥러닝을 실행하는 딥러닝학습부와 딥러닝학습에 의하여 학습된 결과를 이용하여, 상기 사용자 단말기에서 업로드된 사진을 입력으로 병해 진단을 하는 딥러닝예측부; 및 병해 발생 DB 및 인터넷 기사 정보데이터들 및 상기 사용자들의 입력정보 및 상기 딥러닝예측부에서 상기 사용자들에게 제공한 병해 진단정보를 시계열 입력데이터로 사용하는 인공지능학습방법인 리커런트 뉴럴 네트워크(RNN)로 구성되어,
상기 사용자가 입력한 사진으로부터 병해의 종류를 잘 알 수 없는 경우에도, 상기 병해 발생 DB의 검색결과로부터 발생빈도가 높은 병해를 추천해주는 역할과 상기 인터넷 기사 정보데이터들로부터 병해 발생 현황을 파악하고 발생빈도가 높은 병해를 추천해주는 역할을 하는 병해발생 시계열데이터 분석부의 결과를 상기 딥러닝예측부에 제공하는 기능을 구비하며,
상기 진단을 위해 사용자 단말기에서 업로드된 사진을 입력으로 사용하여 이미 학습된 병해진단부로부터 작물의 종류와 촬영부위 정보와 상기 진단에 사용된 사진 이미지 중에서 병해가 발생된 부분의 이미지를 추출하고, 이 추출된 이미지로부터 병해 발생부의 크기, 색, 모양, 병해의 종류 등의 진단정보를 추출하여 출력하는 단계(S1); 및 상기 병해진단부에서 출력된 작물의 종류, 촬영부위, 병해 발생부의 크기, 색, 모양, 병해의 종류 및 추출된 병해 발생부의 이미지를 이용하여 미리 병해 진단을 위해 병해이미지, 색, 모양 및 크기를 저장한 데이터베이스(Data Base)에 저장된 데이터들과 비교하여 병해 이미지를 검색하여 출력하는 단계(S2); 및 상기 S2 단계에서 찾아진 이미지를 다시 병해진단부의 입력 이미지로 하여 진단결과를 출력하는 단계(S3); 및 상기 S1 단계의 병해진단 결과와 상기 S3 단계의 출력 병해진단결과를 비교하여 병해진단 결과가 일치하는지 일치도를 계산하는 단계(S4); 및 상기의 S2 및 S4 단계를 더 이상 일치하는 병해 이미지가 없을 때까지 반복하고 상기 S4 단계에서 계산한 일치도 중 가장 높은 일치도가 나온 진단결과를 상기 사용자에게 제공하며,
상기 병해발생 시계열데이터 분석부는 외부의 서버에 접속하여 현재 지역적으로 발생한 병해 정보; 및 인터넷 기사들로부터 자연언어를 인식하여 병해 발생 지역과 병해 종류를 DB화한 정보; 및 상기 병해진단서버에 병해 진단을 요청한 사용자의 위치, 작물의 종류, 진단된 병명들의 정보를 상기 리커런트 뉴럴 네트워크(RNN)의 학습데이터와 검증데이터로 사용하여 발생빈도가 높은 병해를 찾아 상기 딥러닝예측부에 제공하여 병해 진단의 정확도를 높여주는 역할을 하며,
상기 병해진단서버는 상기 사용자들에 정보를 제공하고 정보를 업로드하는 웹서버와 병해진단기능을 하는 서버기능을 2 이상으로 분산처리하며,
상기 딥러닝학습부는 병해 진단용 학습이미지를 작목별, 병 발생 부위별로 1만 장을 사용하고, 딥러닝 인공지능 학습에 의하여 작물의 종류와 작물의 촬영위치를 학습하여 찾아내는 것을 특징으로 하는 딥러닝 기반의 병해 진단 시스템.
A user terminal for photographing a crop to generate a diseased photograph; And a pest diagnosis server for uploading a photograph of the user terminal and diagnosing the pest as an input thereof; A disease diagnosis unit provided in the disease diagnosis server; And
The disease diagnosis server transmitting the disease diagnosis result diagnosed by the disease diagnosis unit to the user terminal; And the user terminal provides a screen informing the users of the diagnosis result transmitted from the disease diagnosis server;
Wherein the disease diagnosis unit includes a deep learning predictor for performing artificial intelligent deep learning and a deep learning predictor for diagnosing an image uploaded from the user terminal by using the results learned by the deep learning learning, And an artificial intelligence learning method that uses the disease occurrence DB and the Internet article information data, the input information of the users, and the disease diagnosis information provided to the users by the deep learning prediction unit as time series input data, ),
Even if the type of the disease is not well known from the photograph inputted by the user, it is possible to identify the disease occurrence status from the Internet article information data and to play a role of recommending the disease with a high incidence frequency from the search result of the disease occurrence DB, And a function of providing a result of the pest occurrence time series data analysis unit serving as a recommendation of a highly frequent pest to the deep run prediction unit,
Extracting an image of a part of the diseased part from the kind of the crop and the photographed part information and the photographic image used for the diagnosis from the already learned disease diagnosis part by using the photograph uploaded from the user terminal as the input, Extracting and outputting diagnosis information such as size, color, shape, type of disease, etc. of the disease-causing part from the extracted image (S1); And the disease image, color, shape and size for the disease diagnosis in advance by using the type of the crop, the photographing site, the size of the disease occurrence part, the color, the shape, the type of the disease, (S2) of searching for and outputting a diseased image by comparing the data stored in the database with the stored data; And outputting a diagnosis result as an input image to the diagnosis unit again (S3); (S4) comparing the result of the disease diagnosis in step S1 and the output disease diagnosis result in step S3, and calculating a degree of agreement of the disease diagnosis results; And repeating the steps S2 and S4 until there is no longer a coincident disease image, and providing the user with a diagnosis result having the highest degree of agreement among the degrees of coincidence calculated in the step S4,
Wherein the disease occurrence time series data analysis unit accesses an external server and locally generates disease information; And information obtained by recognizing the natural language from Internet articles and classifying the disease occurrence area and disease type into DB; And using the information of the location of the user who has requested the diagnosis of the disease in the disease diagnosis server, the type of the crop, and the diagnosed disease names as the learning data and the verification data of the recurrent neural network (RNN) It is provided to the running prediction unit to improve the accuracy of the diagnosis of disease,
Wherein the disease diagnosis server distributes the web server for providing information to the users and uploading the information, and the server function for diagnosing the disease by two or more,
Wherein the deep learning learning unit learns the type of the crop and the location of the crop by learning ten thousands of pieces of learning images for diagnosis of diseases according to the individual items and the disease occurrence sites and by using the deep learning artificial intelligence learning, Disease diagnosis system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170085605A KR101830056B1 (en) | 2017-07-05 | 2017-07-05 | Diagnosis of Plant disease using deep learning system and its use |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170085605A KR101830056B1 (en) | 2017-07-05 | 2017-07-05 | Diagnosis of Plant disease using deep learning system and its use |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101830056B1 true KR101830056B1 (en) | 2018-02-19 |
Family
ID=61387658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170085605A KR101830056B1 (en) | 2017-07-05 | 2017-07-05 | Diagnosis of Plant disease using deep learning system and its use |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101830056B1 (en) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108548453A (en) * | 2018-06-14 | 2018-09-18 | 深圳深知未来智能有限公司 | A kind of real-time automatic scoring round target system |
| KR101942892B1 (en) * | 2018-11-14 | 2019-01-29 | 아이픽셀 주식회사 | Client terminal performing the hybrid machine vision and method of thereof |
| KR20190131267A (en) * | 2018-05-16 | 2019-11-26 | 고려대학교 산학협력단 | Method and system for prediction of Coronary Artery Disease by using machine learning |
| WO2020017814A1 (en) * | 2018-07-19 | 2020-01-23 | 엘지이노텍 주식회사 | Abnormal entity detection system and method |
| KR20200068052A (en) * | 2018-11-26 | 2020-06-15 | 대한민국(농촌진흥청장) | Method for diagnosis and control of diseases and insect pests using multiple camera module |
| KR20200092805A (en) * | 2019-01-25 | 2020-08-04 | 주식회사 딥바이오 | Method and system for providing customized diagnosis system |
| CN111914951A (en) * | 2020-08-21 | 2020-11-10 | 安徽省农业科学院农业经济与信息研究所 | Crop pest intelligent diagnosis system and method based on image real-time identification |
| KR102189270B1 (en) * | 2020-02-19 | 2020-12-09 | 주식회사 판다코퍼레이션 | Method and apparatus for obtaining pest outbreak information of agricultural products based on a.i. |
| GR1009898B (en) * | 2020-05-12 | 2021-01-08 | Γεωργιος Αθανασιου Φευγας | Method of detection and evaluation of the biotic-abiotic stress in cultivations via thermal photographs and use of artificial intelligence |
| KR20210035948A (en) * | 2019-09-24 | 2021-04-02 | (주)다울 | Growth analysis system based on machine learning |
| CN112639869A (en) * | 2018-08-30 | 2021-04-09 | 株式会社Ntt数据Ccs | Server device for crop growth stage determination system, growth stage determination method, and program |
| CN112884025A (en) * | 2021-02-01 | 2021-06-01 | 安徽大学 | Tea disease classification system based on multi-feature sectional type training |
| KR20210086754A (en) | 2019-12-30 | 2021-07-09 | 전북대학교산학협력단 | Method for autonomous diagnosis model of pests and diseases using deep learning |
| CN113303151A (en) * | 2021-05-19 | 2021-08-27 | 苏州三润景观工程有限公司 | Green plant disease and insect pest repairing method based on big data |
| WO2022019354A1 (en) * | 2020-07-23 | 2022-01-27 | 주식회사 딥바이오 | Method and system for providing customized diagnosis system |
| CN114141326A (en) * | 2021-12-02 | 2022-03-04 | 杭州睿胜软件有限公司 | Method, apparatus and storage medium for tracking rehabilitation of plants |
| KR102377716B1 (en) * | 2021-02-02 | 2022-03-23 | 주식회사 성하 | System for controlling water supply, and method for controlling water supply based on deep-learning |
| KR20220055530A (en) * | 2020-10-26 | 2022-05-04 | 주식회사 유비벨록스모바일 | Smart grass infestation management system based on photographic image and gps analysis |
| KR20220142823A (en) * | 2021-04-15 | 2022-10-24 | (주)농협정보시스템 | System and method for diagnosing plant diseases based on artificial intelligence |
| CN115285240A (en) * | 2022-08-25 | 2022-11-04 | 大连海事大学 | Agricultural plant protection trolley and control method |
| WO2023063484A1 (en) * | 2021-10-12 | 2023-04-20 | 농업회사법인 주식회사 지인 | Artificial intelligence-based crop disease and insect damage identification system |
| KR20240076209A (en) | 2022-11-23 | 2024-05-30 | 대한민국(농촌진흥청장) | Real time labeking method and system using self learning of agricultural image based on deep learning |
| KR20240085881A (en) * | 2022-12-08 | 2024-06-17 | 농업회사법인 아이오크롭스 주식회사 | Crop disease management system for remote farming platform |
| KR20240088040A (en) | 2022-12-13 | 2024-06-20 | 대한민국(농촌진흥청장) | Crop disease diagnosis system and method using deep learning |
| WO2024143672A1 (en) * | 2022-12-30 | 2024-07-04 | 주식회사 카이디어 | Smart farm monitoring system equipped with 5g ap |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101702766B1 (en) * | 2015-08-17 | 2017-02-03 | 한양대학교 에리카산학협력단 | Blight diagnosis method and system |
-
2017
- 2017-07-05 KR KR1020170085605A patent/KR101830056B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101702766B1 (en) * | 2015-08-17 | 2017-02-03 | 한양대학교 에리카산학협력단 | Blight diagnosis method and system |
Non-Patent Citations (1)
| Title |
|---|
| 김기범 외 4인. 병해충 피해 인식을 위한 딥러닝 활용. 대한전자공학회 하계학술대회 논문집. 2016년 6월, pp.1774-1777 (2016.06.)* |
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190131267A (en) * | 2018-05-16 | 2019-11-26 | 고려대학교 산학협력단 | Method and system for prediction of Coronary Artery Disease by using machine learning |
| KR102081055B1 (en) * | 2018-05-16 | 2020-02-25 | 고려대학교산학협력단 | Method and system for prediction of Coronary Artery Disease by using machine learning |
| CN108548453A (en) * | 2018-06-14 | 2018-09-18 | 深圳深知未来智能有限公司 | A kind of real-time automatic scoring round target system |
| WO2020017814A1 (en) * | 2018-07-19 | 2020-01-23 | 엘지이노텍 주식회사 | Abnormal entity detection system and method |
| CN112639869A (en) * | 2018-08-30 | 2021-04-09 | 株式会社Ntt数据Ccs | Server device for crop growth stage determination system, growth stage determination method, and program |
| US11935282B2 (en) | 2018-08-30 | 2024-03-19 | Ntt Data Ccs Corporation | Server of crop growth stage determination system, growth stage determination method, and storage medium storing program |
| KR101942892B1 (en) * | 2018-11-14 | 2019-01-29 | 아이픽셀 주식회사 | Client terminal performing the hybrid machine vision and method of thereof |
| US11068734B2 (en) | 2018-11-14 | 2021-07-20 | Ipixel Co., Ltd. | Client terminal for performing hybrid machine vision and method thereof |
| KR20200068052A (en) * | 2018-11-26 | 2020-06-15 | 대한민국(농촌진흥청장) | Method for diagnosis and control of diseases and insect pests using multiple camera module |
| KR102226157B1 (en) * | 2018-11-26 | 2021-03-10 | 대한민국 | Method for diagnosis and control of diseases and insect pests using multiple camera module |
| KR20200092805A (en) * | 2019-01-25 | 2020-08-04 | 주식회사 딥바이오 | Method and system for providing customized diagnosis system |
| KR102226898B1 (en) | 2019-01-25 | 2021-03-11 | 주식회사 딥바이오 | Method and system for providing customized diagnosis system |
| KR20210035948A (en) * | 2019-09-24 | 2021-04-02 | (주)다울 | Growth analysis system based on machine learning |
| KR102354995B1 (en) * | 2019-09-24 | 2022-01-25 | (주)다울 | Growth analysis system based on machine learning |
| KR102301013B1 (en) | 2019-12-30 | 2021-09-17 | 전북대학교산학협력단 | Method for autonomous diagnosis model of pests and diseases using deep learning |
| KR20210086754A (en) | 2019-12-30 | 2021-07-09 | 전북대학교산학협력단 | Method for autonomous diagnosis model of pests and diseases using deep learning |
| KR102189270B1 (en) * | 2020-02-19 | 2020-12-09 | 주식회사 판다코퍼레이션 | Method and apparatus for obtaining pest outbreak information of agricultural products based on a.i. |
| GR1009898B (en) * | 2020-05-12 | 2021-01-08 | Γεωργιος Αθανασιου Φευγας | Method of detection and evaluation of the biotic-abiotic stress in cultivations via thermal photographs and use of artificial intelligence |
| WO2022019354A1 (en) * | 2020-07-23 | 2022-01-27 | 주식회사 딥바이오 | Method and system for providing customized diagnosis system |
| CN111914951A (en) * | 2020-08-21 | 2020-11-10 | 安徽省农业科学院农业经济与信息研究所 | Crop pest intelligent diagnosis system and method based on image real-time identification |
| KR20220055530A (en) * | 2020-10-26 | 2022-05-04 | 주식회사 유비벨록스모바일 | Smart grass infestation management system based on photographic image and gps analysis |
| KR102467508B1 (en) * | 2020-10-26 | 2022-11-16 | 주식회사 유비벨록스모바일 | Smart grass infestation management system based on photographic image and gps analysis |
| CN112884025B (en) * | 2021-02-01 | 2022-11-04 | 安徽大学 | Tea disease classification system based on multi-feature sectional type training |
| CN112884025A (en) * | 2021-02-01 | 2021-06-01 | 安徽大学 | Tea disease classification system based on multi-feature sectional type training |
| KR102377716B1 (en) * | 2021-02-02 | 2022-03-23 | 주식회사 성하 | System for controlling water supply, and method for controlling water supply based on deep-learning |
| KR102495419B1 (en) * | 2021-04-15 | 2023-02-06 | (주)농협정보시스템 | System and method for diagnosing plant diseases based on artificial intelligence |
| KR20220142823A (en) * | 2021-04-15 | 2022-10-24 | (주)농협정보시스템 | System and method for diagnosing plant diseases based on artificial intelligence |
| CN113303151A (en) * | 2021-05-19 | 2021-08-27 | 苏州三润景观工程有限公司 | Green plant disease and insect pest repairing method based on big data |
| WO2023063484A1 (en) * | 2021-10-12 | 2023-04-20 | 농업회사법인 주식회사 지인 | Artificial intelligence-based crop disease and insect damage identification system |
| CN114141326A (en) * | 2021-12-02 | 2022-03-04 | 杭州睿胜软件有限公司 | Method, apparatus and storage medium for tracking rehabilitation of plants |
| CN115285240A (en) * | 2022-08-25 | 2022-11-04 | 大连海事大学 | Agricultural plant protection trolley and control method |
| KR20240076209A (en) | 2022-11-23 | 2024-05-30 | 대한민국(농촌진흥청장) | Real time labeking method and system using self learning of agricultural image based on deep learning |
| KR20240085881A (en) * | 2022-12-08 | 2024-06-17 | 농업회사법인 아이오크롭스 주식회사 | Crop disease management system for remote farming platform |
| KR102708117B1 (en) | 2022-12-08 | 2024-09-20 | 농업회사법인 아이오크롭스 주식회사 | Crop disease management system for remote farming platform |
| KR20240088040A (en) | 2022-12-13 | 2024-06-20 | 대한민국(농촌진흥청장) | Crop disease diagnosis system and method using deep learning |
| WO2024143672A1 (en) * | 2022-12-30 | 2024-07-04 | 주식회사 카이디어 | Smart farm monitoring system equipped with 5g ap |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101830056B1 (en) | Diagnosis of Plant disease using deep learning system and its use | |
| Nagaraju et al. | Systematic review of deep learning techniques in plant disease detection | |
| Park et al. | Crops disease diagnosing using image-based deep learning mechanism | |
| Ramesh et al. | Plant disease detection using machine learning | |
| CN112581438B (en) | Slice image recognition method and device, storage medium and electronic equipment | |
| Rezk et al. | An efficient plant disease recognition system using hybrid convolutional neural networks (cnns) and conditional random fields (crfs) for smart iot applications in agriculture | |
| KR102495419B1 (en) | System and method for diagnosing plant diseases based on artificial intelligence | |
| US20180197287A1 (en) | Process of using machine learning for cannabis plant health diagnostics | |
| Pramudhita et al. | Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture | |
| Ashok et al. | Pest detection and identification by applying color histogram and contour detectionby Svm model | |
| Rahaman et al. | A deep learning based smartphone application for detecting mango diseases and pesticide suggestions | |
| Başol et al. | A deep learning-based seed classification with mobile application | |
| KR102424081B1 (en) | Object image classification method based on machine learning and position/environment information | |
| Babu et al. | Leaf Disease Detection Using Machine Learning (ML) | |
| Dewangan et al. | A Systematic Review on Cotton Plant Disease Detection & Classification Using Machine & Deep Learning Approach | |
| Correa et al. | An approach of beans plant development classification using fuzzy logic | |
| Isinkaye et al. | A smartphone-based plant disease detection and treatment recommendation system using machine learning techniques | |
| Kapoor et al. | Bell-Pepper Leaf Bacterial Spot Detection Using AlexNet and VGG-16 | |
| Khoo et al. | Deep Learning Mobile App Based Microscopic Leaf Imaging Disease Classification with Azure Cloud Computing Service | |
| Chipuli et al. | Tomato Plant Leaf Disease Detection Using Image Recognition: A Case Study of Mlali in Morogoro Region, Tanzania | |
| Xu et al. | Identification of leek diseases based on deep learning algorithms | |
| Kaliappan et al. | Plant Disease Classification and Identification Using Deep Convolutional Neural Network | |
| Reddy et al. | Plant disease diagnosis and solution system based on neural networks | |
| Kant et al. | Cotton Leaf Diseases Detection And Prediction Using Resnet Algorithm | |
| CN112613393B (en) | Silkworm disease identification system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |