에스퍼 기반 실시간 필터링 시스템

초록

본 논문에서는 데이터 스트림 대상의 필터링 문제를 다룬다. 데이터 스트림은 지속적으로 생성되며 수집하게 되면 크기 또한 거대해진다. 따라서, 이러한 대용량 데이터 스트림을 실시간 처리하기 위해서는 필터링 알고리즘을 사용하여 분석에 불필요한 데이터를 충분히 제거해야 한다. 그러나, 기존 필터링 알고리즘은 하나의 데이터 타입에 최적화 되어있기 때문에 각기 다른 데이터 타입에 대한 정확한 필터링이 어렵다. 본 논문에서는 이 같은 문제를 해결하기 위해 대표적인 데이터 스트림 처리 시스템(DSMS: data stream management system)인 에스퍼(Esper)에 여러 필터링 알고리즘을 적용한 에스퍼 기반 실시간 필터링 시스템을 클라이언트-서버 모델 기반으로 설계 및 구현한다. 먼저, 클라이언트는 필터링을 위한 사용자의 입력을 서버에게 전달하고, 서버로부터 전달받은 필터링 결과를 실시간 보여준다. 그리고, 서버는 클라이언트로부터 전달받은 사용자 입력에 따라 데이터 스트림을 실시간 필터링하고 그 결과를 클라이언트에게 실시간으로 반환한다. 실제 데이터 스트림을 활용한 실험 결과, 제안 시스템은 데이터 스트림을 정확하고 빠르게 필터링함을 확인하였다. 또한, 여러가지 필터링 알고리즘을 통합 지원하기 때문에, 다양한 타입의 스트림을 쉽게 필터링하고, 그 결과를 비교할 수 있다. 이 같은 결과로 보아, 제안하는 필터링 시스템은 입력 데이터 스트림 타입에 적합한 필터링 알고리즘을 선택적으로 지원함으로써, 보다 정확하고 효율적으로 데이터를 추출하는 우수한 시스템으로 사료된다.

키워드