대규모 오픈 데이터 레이크 구축을 위한플랫폼 독립적 자동화 프레임워크

초록

최근 각국 정부와 기관의 데이터 공개가 활발해지면서, 머신 러닝, 데이터 분석 등 다양한 분야에서 오픈 데이터 활용 연구가 크게 증가하고 있다. 오픈 데이터는 주로 정부에서 공개하는 공공 데이터로, 이를 관리하는 저장소를 오픈 데이터 레이크라 한다. 본 논문에서는 오픈 데이터의 활용도를 높이기 위해, 여러 포탈에 분산된 데이터를 연계하여 특정 도메인에 대한 오픈 데이터 레이크 구축 지원 프레임워크를 제안한다. 이를 위해, 기존 오픈 데이터 포탈의 데이터 관리 방식을 분석하고 활용도를 저하시키는 전처리 복잡성, 플랫폼 종속성, 스케일 제한의 세 가지 문제점을 도출한다. 전처리 복잡성과 스케일 제한 문제를 해결하기 위해 자동화 확장 기능을 적용한 세 단계의 자동화 처리 로직을 구현하고, 플랫폼 종속성 문제 해결을 위해 플랫폼에 따른 세부 처리 로직을 구현한다. 또한, 오픈 데이터 레이크를 위한 메타데이터 관리 기능을 설계 및 구현한다. 실제 데이터 포탈을 대상으로 한 실험을 통해, 제안하는 프레임워크가 앞서 도출한 문제를 모두 해결하고, 데이터 레이크 구축뿐 아니라 효율적인 관리를 지원하는 통합 프레임워크임을 확인한다. 본 논문의 결과물은 오픈 데이터의 활용도를 높이고, 연구 데이터 부족 문제를 해결하는 실질적인 해결책을 제시한 최초의 통합 프레임워크라 할 수 있다.

키워드