KR20220120968A - 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 - Google Patents
데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 Download PDFInfo
- Publication number
- KR20220120968A KR20220120968A KR1020210024816A KR20210024816A KR20220120968A KR 20220120968 A KR20220120968 A KR 20220120968A KR 1020210024816 A KR1020210024816 A KR 1020210024816A KR 20210024816 A KR20210024816 A KR 20210024816A KR 20220120968 A KR20220120968 A KR 20220120968A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- unit
- analysis
- machine learning
- learning
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/323—Visualisation of programs or trace data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Numerical Control (AREA)
- Jib Cranes (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
본 발명은 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법에 관한 것으로서, 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법을 제공하는 것이다.
본 발명은 디바이스로부터 설정된 기초데이터에 대응하는 데이터를 수집하는 수집부; 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류한 데이터를 데이터베이스에 저장하는 분류부; 기 설정된 분석수행 정의데이터에 부합하도록 상기 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 분석부; 상기 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 학습부; 기계학습 결과를 토대로 상기 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 예측진단부; 로그정보 및 예측진단부에서 생성된 보고서를 디스플레이하는 모니터링부;를 포함하여 구성되는 시스템에서,
수집부가 머신러닝을 수행할 프론트엔드 및 백엔드 프레임워크를 입력받는 단계; 수집부가 데이터의 수집방법, 데이터베이스, 테이블 정보, 필드정보 및 통합데이터베이스에 대한 설정을 정의하는 단계; 분류부가 데이터분석을 위한 방식과 파라미터를 정의하는 단계; 분석부가 지정한 주기 동안 정해진 규칙에 따라 수집된 정보를 분석하는 단계; 학습부가 기계학습을 위한 입력층, 은닉층, 학습모델 및 파라미터를 정의하는 단계; 학습부가 정의된 값에 부합하도록 기계학습을 수행하는 단계; 예측진단부가 학습 결과를 토대로 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 단계; 및
수집부가 접속된 웹사이트 또는 IoT디바이스로부터 설정된 키워드에 응하는 데이터를 수집하는 단계; 분류부가 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하여 데이터베이스에 저장하는 단계; 분석부가 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 단계; 학습부가 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 단계; 예측진단부가 기계학습 결과를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하여 모니터링부에 전달하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
본 발명은 디바이스로부터 설정된 기초데이터에 대응하는 데이터를 수집하는 수집부; 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류한 데이터를 데이터베이스에 저장하는 분류부; 기 설정된 분석수행 정의데이터에 부합하도록 상기 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 분석부; 상기 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 학습부; 기계학습 결과를 토대로 상기 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 예측진단부; 로그정보 및 예측진단부에서 생성된 보고서를 디스플레이하는 모니터링부;를 포함하여 구성되는 시스템에서,
수집부가 머신러닝을 수행할 프론트엔드 및 백엔드 프레임워크를 입력받는 단계; 수집부가 데이터의 수집방법, 데이터베이스, 테이블 정보, 필드정보 및 통합데이터베이스에 대한 설정을 정의하는 단계; 분류부가 데이터분석을 위한 방식과 파라미터를 정의하는 단계; 분석부가 지정한 주기 동안 정해진 규칙에 따라 수집된 정보를 분석하는 단계; 학습부가 기계학습을 위한 입력층, 은닉층, 학습모델 및 파라미터를 정의하는 단계; 학습부가 정의된 값에 부합하도록 기계학습을 수행하는 단계; 예측진단부가 학습 결과를 토대로 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 단계; 및
수집부가 접속된 웹사이트 또는 IoT디바이스로부터 설정된 키워드에 응하는 데이터를 수집하는 단계; 분류부가 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하여 데이터베이스에 저장하는 단계; 분석부가 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 단계; 학습부가 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 단계; 예측진단부가 기계학습 결과를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하여 모니터링부에 전달하는 단계;를 포함하여 이루어지는 것을 특징으로 한다.
Description
본 발명은 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법에 관한 것으로서, 보다 상세하게는 머신러닝 기반 데이터 분석 솔루션을 제공함에 있어서 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법에 관한 것이다.
AI(Artificial Intelligence)는 ‘생활의 데이터화’로 급격히 발전하고 있으나, 여전히 많은 부분이 미개척 영역으로 남아 있다. 특히 정보통신 분야에서는 쌓여 가는 대용량 데이터에 대한 분석 요구가 증가하고 있으나 일부 대형 사업자를 제외하고 대부분의 IDC(Internet Data Center) 운영기관에서는 데이터 활용이 극히 저조한 게 현실이다. 이러한 문제점을 개선하기 위해 이용자의 다양한 환경에 맞는 로그 수집/분석을 통해 조기에 문제점을 찾아 조치함으로써 미래 발생 가능한 장애를 예방하고, 다양한 시스템의 성능을 수집/분석/가시화하여 누구나 쉽게 시스템 환경을 분석할 수 있는 시스템이 요구된다.
일반적으로 머신 러닝 시스템(machine learning system)은 외부에서 주어지는 데이터를 통해 학습하고, 학습결과를 토대로 입력에 따른 출력을 예측하는 시스템으로, 머신 러닝 시스템 개발이 활발히 이루어지고 있다.
빅데이터란 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를일반적으로 머신러닝시스템(machine learning system)은 외부에서 주어지는 데이터를 통해 학습하고, 학습결과를 토대로 입력에 따른 출력을 예측하는 시스템을 의미한다.
빅데이터란 기존의 데이터베이스 관리 도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미한다.
다양한 종류의 대용량 데이터에 대한 생성, 수집, 분석, 표현을 그 특징으로 하는 빅데이터 기술의 발전은 다변화된 현대 사회를 더욱 정확하게 예측하여 효율적으로 작동하게 하고 개인화된 현대 사회 구성원마다 맞춤형정보를 제공, 관리, 분석할 수 있도록 한다.
이러한 머신러닝 및 빅데이터 기술은 삶의 질을 풍요롭게하는 반면 시스템 관리 및 분석에 있어서는 상당한 어려움이 있었다.
또한, 대형 IDC(Internet Data Center)의 경우 매일 수십억 건의 로그가 쌓이고 있으며 로그 용량도 테라바이트 수준으로 지속해서 증가하고 있어 이에 대한 수집, 분석, 관리에 많은 인력과 시스템(비용)을 투입하고 있는 문제점이 있다. 이러한 데이터의 증가로 문제 발생시 문제 원인을 찾기는 점점 어려워지고 있으며, ‘가시성’이 확보되지 않아 통제력을 잃는 영역이 늘어나고 있고, 이로 인해 문제 발생 시 원인 규명이 어렵고, 대응 시간이 증가하여 서비스 가용성을 악화시키는 핵심 요인으로 작용하는 문제점도 있었다.
본 발명은 상술한 바와 같은 종래기술의 문제점을 해결하기 위해 안출된 것으로서, 머신러닝 기반 데이터 분석 솔루션을 제공함에 있어서 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하고 용이한 모니터링이 이루어질 수 있도록 한 데이터 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법을 제공하는데 본 발명의 목적이 있다.
상술한 목적을 달성하기 위해, 본 발명은 디바이스로부터 설정된 기초데이터에 대응하는 데이터를 수집하는 수집부; 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류한 데이터를 데이터베이스에 저장하는 분류부; 기 설정된 분석수행 정의데이터에 부합하도록 상기 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 분석부; 상기 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 학습부; 기계학습 결과를 토대로 상기 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 예측진단부; 로그정보 및 예측진단부에서 생성된 보고서를 디스플레이하는 모니터링부;를 포함하여 구성되는 시스템에서, 수집부가 머신러닝을 수행할 프론트엔드 및 백엔드 프레임워크를 입력받는 단계; 수집부가 데이터의 수집방법, 데이터베이스, 테이블 정보, 필드정보 및 통합데이터베이스에 대한 설정을 정의하는 단계; 분류부가 데이터분석을 위한 방식과 파라미터를 정의하는 단계; 분석부가 지정한 주기 동안 정해진 규칙에 따라 수집된 정보를 분석하는 단계; 학습부가 기계학습을 위한 입력층, 은닉층, 학습모델 및 파라미터를 정의하는 단계; 학습부가 정의된 값에 부합하도록 기계학습을 수행하는 단계; 예측진단부가 학습 결과를 토대로 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 단계; 및 수집부가 접속된 웹사이트 또는 IoT디바이스로부터 설정된 키워드에 응하는 데이터를 수집하는 단계; 분류부가 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하여 데이터베이스에 저장하는 단계; 분석부가 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 단계; 학습부가 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 단계; 예측진단부가 기계학습 결과를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하여 모니터링부에 전달하는 단계;를 포함한다.
본 발명에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법에 의하면, 웹사이트 또는 IoT 디바이스로부터 수집한 각종 데이터에 대한 분류와 분석을 통해 평가항목을 계량화하고, 계량화한 편향과 가중치를 딥러닝 기법을 통해 학습하여 신뢰도와 오차를 함께 도출해 정확성을 향상시키는 효과가 있다.
또한, 본 발명에 따르면, 수집대상 데이터의 형태 및 모델이 변경될 때 마다 분석도구를 재개발 하지 않고, 로직의 변경 없이 파라미터 변경만으로 실시간으로 수집대상 데이터에 대한 분석이 가능함으로써, 원본 데이터베이스, 통신장비의 테이블 규격 및 통신 프로토콜이 변경되어도 분석 프로그램을 다시 실행하지 않아도 됨에 따라 유연하고 유지보수가 용이하며 재개발에 소요되는 비용을 절감하는 효과도 있다.
또한, 본 발명에 따르면 머신러닝 기반 데이터 분석시 로그 관리가 용이하고, 시스템 장애 발생시 연관된 정보만 분석하여 문제점 식별부터 후속 조치까지 일관성있는 관리와 체계적 대응이 가능하여 용이한 모니터링이 이루어질 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법의 구성을 개략적으로 나타낸 것이다.
도 2는 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 성능 감시 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 성능 감시 방법을 도시한 흐름도이다.
이하에서는 본 발명의 바람직한 실시예 및 첨부하는 도면을 참조하여 본 발명을 상세하게 설명하되, 도면의 동일한 참조부호는 동일한 구성요소를 지칭함을 전제하여 설명하기로 한다.
발명의 상세한 설명 또는 특허청구범위에서 어느 하나의 구성요소가 다른 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 당해 구성요소만으로 이루어지는 것으로 한정되어 해석되지 아니하며, 다른 구성요소들을 더 포함할 수 있는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법의 구성을 개략적으로 나타낸 것이다.
도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법은 수집부(100) 분류부(200), 분석부(300), 학습부(400), 예측진단부(500), 모니터링부(600)를 포함하여 구성된다.
수집부(100)는 설정된 키워드 및 기초데이터에 대응하는 데이터를 수집하되, 수집한 데이터를 빅데이터 분석을 위한 데이터베이스에 저장하는 Legacy DB모듈(102)과, IoT 디바이스로부터 수집한 데이터를 빅데이터 분석을 위한 데이터베이스에 저장하는 IoT DB모듈(104)을 포함하여 구성된다.
이때, 기초데이터는 데이터 수집방법, 수집한 데이터 저장경로, 테이블 정보, 필드 정보, 키워드, 수집한 데이터의 크기, 데이터 수집 시간 또는 수집대상 사이트 중에 어느 하나를 포함할 수 있다.
또한, 빅데이터 저장을 위한 데이터베이스는 카산드라(Kasandra), 하둡(hadoop) 또는 몽고DB(mongoDB) 중에 어느 하나로 구성될 수 있으나, 본 발명이 이에 국한되는 것은 아니다.
아울러, 수집부(100)가 수집하는 데이터는 각종 로그정보(Log Information) 및 텍스트, 음성, 이미지 정보 등을 더 포함할 수 있다.
분류부(200)는 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하는 코디네이터모듈(202)과, 코디네이터모듈(202)에 의해 분류된 데이터를 메모리 기반으로 저장 및 관리하는 통합DB(204)를 포함하여 구성된다.
이때, 수집한 데이터 분류를 위해 기 설정된 값은 데이터 분류 방식과 파라미터 설정을 위한 값으로 관리자에 의해 변경될 수 있다.
본 발명의 일 실시예에 따른 분류부(200)에 의하면 수집대상 데이터의 형태, 통신장비의 테이블 규격, 또는 통신 프로토콜이 변경될 경우, 로직의 변경 없이 파라미터 변경만으로 변경된 수집대상 데이터나 모델에 대한 데이터 분류가 가능하다.
분석부(300)는 수집한 데이터 분석을 위해 분석대상 데이터가 저장된 데이터베이스를 선별하고, 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성한다.
이때, 데이터베이스 선별은 원본 데이터가 저장된 수집부(100)의 Legacy DB모듈(102) 또는 IoT DB모듈(104)와, 분류된 데이터가 저장된 분류부(200)의 통합DB(204) 중에 어느 하나를 선별하는 것으로 이해함이 바람직하다.
또한, 분석수행 정의데이터는 분석실행 방식, 분석수행 주기, 분석대상 평가항목 또는 가중치 중에 어느 하나를 포함하며, 분석정보는 키워드 각각에 대한 빈도수를 수치화한 데이터를 포함하여 구성된다.
학습부(400)는 입력받은 입력층, 은닉층, 학습모델 및 파라미터 각각의 값에 부합하도록 딥러닝을 통한 학습을 수행하되, 수집부(100)에 의해 수집된 데이터 또는 분류부(200)에 의해 분류된 데이터의 학습 수행을 위한 기능들을 정의하는 기계학습 정의모듈(402)과, 기계학습 정의모듈(402)에 정의된 기능을 통해 기계학습을 실행하여 기계학습 결과정보를 생성하는 기계학습 실행모듈(404)을 포함하여 구성된다.
이때, 기계학습 실행모듈(404)은 규칙 정의에 의한 지도학습(supervised learning) 또는 규칙을 찾아내는 비지도학습(unsupervised learning) 중에 어느 하나의 데이터 마이닝 기법으로 학습을 수행하며, 관리자에 의해 학습 기법에 대한 설정이 변경될 수 있다.
본 발명의 일 실시예에 따른 학습부(400)의 지도학습을 통해 지식베이스(Knowledge Base)와 의사결정규칙(Decision Rules)을 내재한 전문가시스템(Expert System)을 보완하고, 비지도학습을 통해 비구조적인 의사결정을 지원하는 의사결정지원시스템(Decision support system)을 보완할 수 있다.
예측진단부(500)는 학습부(400)로부터 인가받은 기계학습 결과정보를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성한다.
이때, 예측값은 데이터를 수치로 표현하는 수치형 예측값이 적용되거나, 범위로 표현하는 범주형 예측값이 적용될 수 있다.
또한, 예측진단부(500)가 생성하는 보고서는 시계열적인 차트, 다이어그램 또는 동영상 형태의 데이터 흐름도 등이 적용될 수 있다.
모니터링부(600)는 로그정보 및 예측진단부(500)에서 생성된 보고서를 디스플레이한다. 모니터링부(600)는 사용자 입력에 의한 정보 중 차단대상 정보가 선택되는 경우, 차단대상 정보가 포함된 차단 요청메시지를 생성한다. 여기서, 차단대상 정보는 예컨대, 정보관리 서버 URL(Uniform Resource Locator)을 기 설정된 임계치 이상 접속한 정보, 동일한 사용자 아이디를 중복하여 사용한정보 및 동일한 세션을 기 설정된 임계치 이상 접속한 정보 중 관리자가 선별한 정보를 의미하나 반드시 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 방법을 도시한 흐름도이다.
도 2에 도시된 바와 같이, 먼저 수집부(100)가 머신러닝을 수행할 프론트엔드 및 백엔드 프레임워크를 입력받는다(step 1).
이후, 수집부(100)가 데이터의 수집방법, 데이터베이스, 테이블 정보, 필드정보 및 통합데이터베이스에 대한 설정을 정의한다(step 2).
이후, 분류부(200)가 데이터분석을 위한 방식과 파라미터를 정의한다(step 3).
이후, 분석부(300)가 지정한 주기 동안 정해진 규칙에 따라 수집된 정보를 분석한다(step 4).
이후, 학습부(400)가 기계학습을 위한 입력층, 은닉층, 학습모델 및 파라미터를 정의한다(step 5).
이후, 학습부(400)가 정의된 값에 부합하도록 기계학습을 수행한다(step 6).
이후, 예측진단부(500)가 학습 결과를 토대로 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성한다(step 7).
이때, step 1은 최초에 한번 실행되고, step 2, step 3 및 step 5는 모델의 변경이 있는 경우 사용자에 의해 변경이 가능하며(모델 변경의 제안은 머신러닝 엔진의 자동 추천을 통해 변경될 수 있음), step 4 및 step 6은 주기적으로 자동 실행된다.
도 3은 본 발명의 일 실시예에 따른 데이터 분석 관리가 용이한 머신러닝 기반의 성능 감시 방법을 도시한 흐름도이다.
먼저, 수집부(100)가 접속된 웹사이트 또는 IoT디바이스로부터 설정된 키워드에 대응하는 데이터를 수집한다(S100).
이후, 분류부(200)가 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하여 데이터베이스에 저장한다(S200).
이후, 분석부(300)가 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성한다(S300).
이후, 학습부(400)가 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행한다(S400).
이후, 예측진단부(500)가 기계학습 결과를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하여 모니터링부(600)에 전달한다(S500).
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 본 발명의 범주를 벗어남이 없이 많은 다양한 자명한 변형이 가능하다는 것은 명백하다. 따라서 본 발명의 범주는 이러한 많은 변형의 예들을 포함하도록 기술된 청구범위에 의해서 해석되어져야 한다.
100: 수집부
102: Legacy DB모듈
104: IoT DB모듈
200: 분류부
202: 코디네이터모듈
204: 통합DB
300: 분석부
400: 학습부
402: 기계학습 정의모듈
404: 기계학습 실행모듈
500: 예측진단부
600 : 모니터링부
102: Legacy DB모듈
104: IoT DB모듈
200: 분류부
202: 코디네이터모듈
204: 통합DB
300: 분석부
400: 학습부
402: 기계학습 정의모듈
404: 기계학습 실행모듈
500: 예측진단부
600 : 모니터링부
Claims (1)
- 디바이스로부터 설정된 기초데이터에 대응하는 데이터를 수집하는 수집부; 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류한 데이터를 데이터베이스에 저장하는 분류부; 기 설정된 분석수행 정의데이터에 부합하도록 상기 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 분석부; 상기 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 학습부; 기계학습 결과를 토대로 상기 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 예측진단부; 로그정보 및 예측진단부에서 생성된 보고서를 디스플레이하는 모니터링부;를 포함하여 구성되는 시스템에서,
수집부가 머신러닝을 수행할 프론트엔드 및 백엔드 프레임워크를 입력받는 단계; 수집부가 데이터의 수집방법, 데이터베이스, 테이블 정보, 필드정보 및 통합데이터베이스에 대한 설정을 정의하는 단계; 분류부가 데이터분석을 위한 방식과 파라미터를 정의하는 단계; 분석부가 지정한 주기 동안 정해진 규칙에 따라 수집된 정보를 분석하는 단계; 학습부가 기계학습을 위한 입력층, 은닉층, 학습모델 및 파라미터를 정의하는 단계; 학습부가 정의된 값에 부합하도록 기계학습을 수행하는 단계; 예측진단부가 학습 결과를 토대로 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하는 단계; 및
수집부가 접속된 웹사이트 또는 IoT디바이스로부터 설정된 키워드에 응하는 데이터를 수집하는 단계; 분류부가 수집한 데이터의 분석 및 학습을 위해 기 설정된 값과 부합하도록 분류하여 데이터베이스에 저장하는 단계; 분석부가 분석수행 정의데이터에 부합하도록 데이터베이스에 저장된 데이터를 분석하여 분석정보를 생성하는 단계; 학습부가 수집한 데이터 또는 분류한 데이터에 대한 기계학습을 수행하는 단계; 예측진단부가 기계학습 결과를 토대로 수집한 데이터 또는 분류한 데이터에 대한 예측값과 그에 따른 신뢰도를 포함하는 보고서를 생성하여 모니터링부에 전달하는 단계;를 포함하여 이루어지는 것을 특징으로 하는 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210024816A KR20220120968A (ko) | 2021-02-24 | 2021-02-24 | 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210024816A KR20220120968A (ko) | 2021-02-24 | 2021-02-24 | 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220120968A true KR20220120968A (ko) | 2022-08-31 |
Family
ID=83061450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210024816A KR20220120968A (ko) | 2021-02-24 | 2021-02-24 | 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20220120968A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102686471B1 (ko) * | 2024-04-03 | 2024-07-19 | (주)임픽스 | 멀티모달 기계학습 실행 엔진을 위한 자동 감시 관리 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102073085B1 (ko) | 2018-01-02 | 2020-03-03 | (주)코에버정보기술 | Ｆｂｄ 머신러닝 기반의 동적 모니터링 시스템 및 그 방법 |
| KR102185190B1 (ko) | 2018-12-12 | 2020-12-01 | 한국전자통신연구원 | 머신러닝을 이용한 이상징후 탐지 방법 및 시스템 |
-
2021
- 2021-02-24 KR KR1020210024816A patent/KR20220120968A/ko not_active Application Discontinuation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102073085B1 (ko) | 2018-01-02 | 2020-03-03 | (주)코에버정보기술 | Ｆｂｄ 머신러닝 기반의 동적 모니터링 시스템 및 그 방법 |
| KR102185190B1 (ko) | 2018-12-12 | 2020-12-01 | 한국전자통신연구원 | 머신러닝을 이용한 이상징후 탐지 방법 및 시스템 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102686471B1 (ko) * | 2024-04-03 | 2024-07-19 | (주)임픽스 | 멀티모달 기계학습 실행 엔진을 위한 자동 감시 관리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hsu et al. | Arrow: Low-level augmented bayesian optimization for finding the best cloud vm | |
| US9471457B2 (en) | Predictive alert threshold determination tool | |
| US6542881B1 (en) | System and method for revealing necessary and sufficient conditions for database analysis | |
| US20040139426A1 (en) | Enterprise multi-agent software system | |
| CN117271767A (zh) | 基于多智能体的运维知识库的建立方法 | |
| KR101953190B1 (ko) | 복잡한 양자 또는 다자 상대방 관계를 탐색하기 위해 이용되는 다차원 재귀적 학습 과정 및 시스템 | |
| CN114791846B (zh) | 一种针对云原生混沌工程实验实现可观测性的方法 | |
| US10901959B2 (en) | System, method, and program for reconciling input datasets with a model ontology | |
| CN116882978B (zh) | 一种基于产品信息框架的深海潜水器运维保障系统 | |
| KR20200010624A (ko) | 머신러닝을 이용한 빅데이터 통합진단 예측 시스템 | |
| CN111859047A (zh) | 一种故障解决方法及装置 | |
| Yang et al. | Incremental optimization mechanism for constructing a decision tree in data stream mining | |
| Raza et al. | Autonomic workload performance tuning in large-scale data repositories | |
| CN101142559B (zh) | 对计算机控制的处理进行监视的方法与系统 | |
| KR20220120968A (ko) | 데이터 분석 관리가 용이한 머신러닝 기반의 빅데이터 분석 및 성능 감시 방법 | |
| Gorniak et al. | Building a stochastic dynamic model of application use | |
| CN117666546B (zh) | 一种分布式控制系统故障诊断方法及装置 | |
| US20220138593A1 (en) | Real-Time Predictive Knowledge Pattern Machine | |
| CN117785539A (zh) | 日志数据分析方法、装置、计算机设备及存储介质 | |
| Hsu et al. | Low-level augmented bayesian optimization for finding the best cloud vm | |
| Tibermacine et al. | A process to identify relevant substitutes for healing failed WS-* orchestrations | |
| WO2021193931A1 (ja) | 機械学習装置、学習モデルの生成方法及びプログラム | |
| Ndenga et al. | Performance and cost-effectiveness of change burst metrics in predicting software faults | |
| Bosch et al. | Software logging for machine learning | |
| US12056160B2 (en) | Contextualizing data to augment processes using semantic technologies and artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |