상세 보기
대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템
A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data
- 손시운;
- 김다솔;
- 문양세;
- 최형진
초록
분산 컴퓨팅이란 다수의 서버로 구성된 분산 시스템에서 데이터를 효율적으로 저장 및 처리하는 기술이다. 따라서 분산 시스템을 구성하는 서버의 상태에 따라 분산 컴퓨팅의 성능에 큰 영향을 미친다. 본 논문은 분산 시스템에서 실시간으로 발생하는 시스템 자원의 로그 데이터를 수집하고 이상을 탐지하여 결과를 시각화하는 자가 진단 시스템을 제안한다. 먼저, 자가 진단 과정을 수집, 전달, 분석, 저장, 시각화의 다섯 단계로 구분한다. 다음으로, 자가 진단 과정이 실시간성, 확장성, 고가용성의 목표를 만족하도록 실시간 자가 진단 시스템을 설계한다. 본 시스템은 대표적인 실시간 분산 기술인 Apache Flume, Apache Kafka, Apache Storm을 기반으로 구현되어 실시간성, 확장성, 고가용성의 세 가지 목표를 만족할 수 있다. 또한, 자가 진단 과정에서 로그 데이터 처리의 지연을 최소화하도록 간단하지만 효과적인 이동 평균 및 3-시그마 기반 이상 탐지 기법을 사용한다. 본 논문의 결과를 통해, 분산 시스템 내에서 서버 상태를 실시간으로 진단할 수 있는 분산 실시간 자가 진단 시스템을 구축할 수 있다.
키워드
빅데이터; 분산 처리; 실시간 처리; 자가 진단; 데이터 스트림; Big data; Distributed computing; Real-time processing; Self-diagnosis; Data stream
- 제목
- 대용량 로그 데이터 처리를 위한 분산 실시간 자가 진단 시스템
- 제목 (타언어)
- A Distributed Real-time Self-Diagnosis System for Processing Large Amounts of Log Data
- 저자
- 손시운; 김다솔; 문양세; 최형진
- 발행일
- 2018-12
- 유형
- Y
- 저널명
- 데이타베이스연구
- 권
- 34
- 호
- 3
- 페이지
- 58 ~ 68
- 언어
- KOR
- 출판사
- 한국정보과학회
- 발행국가
- 대한민국
- 분량
- 11 페이지
- ISSN
- P 1598-9798