이번 포스팅에서는 Qlik Sense를 중심으로 BI툴에서 데이터 시각화를 위한 그 추출, 가공, 저장 방법에 대해 알아보겠습니다.

| ETL(Extraction, Transformation, Loading)과 인메모리의 만남

Qlik Sense는 ETL 기능을 포함한 인메모리 방식의 BI 툴입니다. 여기서 인메모리 방식이라 함은 메인 메모리에 데이터를 저장하고 처리하는 기술을 뜻합니다. 기존 데이터 저장 방식은 하드디스크에 저장된 데이터가 필요에 따라 메모리에 적재되는 방식으로 이루어졌습니다. 하지만 Qlik Sense는 데이터를 메모리에 전부 올려놓고 사용하는 방식으로 그 저장 속도가 굉장히 빠릅니다. 속도의 빠른 정도를 예를 들어 설명 드리면, SAP ERP에서 10분 정도 걸리는 1년치 조회를 Qlik Sense에서는 약 2-3초만에 처리할 수 있다고 합니다.

인메모리 방식의 Qlik Sense는 위 그림처럼 RDBMS, SAP, ERP, Hadoop 등 여러 종류의 소스에서 대량의 데이터를 다른 BI 시스템보다 월등히 빠른 속도로 추출할 수 있습니다. 이렇게 가지고 온 데이터는 Qlik Sense 자체 서버 메모리에 올려 놓은 뒤 시각화 작업을 거친 후 사용자의 화면에 나타나게 됩니다. 또한 화면 조회 시 Qlik Sense 자체 서버에 있는 정보를 활용하기 때문에 다른 시스템에 전혀 영향을 주지 않습니다. (단, 실시간 화면은 예외)

이에 대한 자세한 내용은 다음의 동영상에서 확인해 보실 수 있습니다.

1. Qlik Sense ETL 기능을 위한 환경 설정 방법 클릭

2. 데이터 소스에서 데이터를 가지고 오는 과정  클릭

이와 같이 인메모리 방식은 데이터 조회 시 많은 도움을 줄 수 있습니다.  인메모리 기반 시스템을 이용해야 하는 이유를 간단히 살펴보면 다음과 같습니다.

출처: http://blog.lgcns.com/176

1. 메모리의 발전 속도는 디스크의 발전 속도와 비교해 보았을 때 약 10배 정도 더 빠르다.

2. 기술 발전으로 의한 메모리 단가 하락으로 서버에 대용량 메모리를 지원하는 것이 가능해졌다.

3. 요즘은 64bit 컴퓨팅이 보편화되어 있어 인메모리 기반 시스템의 장점을 120% 활용할 수 있다.

+) 32비트에서는 데이터 크기에 따라 메모리 처리에 한계가 있는 반면 64비트에서는 소셜, 미디어, 모바일, 앱 등과 같은 용량이 큰 빅데이터를 처리할 수 있다.

4. 빅데이터(소셜, 미디어, 모바일 앱 등)의 등장으로 실시간 대용량 데이터 처리 및 분석 요구가 증가하였다.

–

인메모리 방식은 전통적인 BI와 Qlik Sense를 구분 짓는 요소 중 하나라고 말할 수 있습니다.

전통적인 BI는 위의 그림과 같이 사전에 정의된 방식으로만 데이터 분석이 가능합니다.

–

하지만 Qlik Sense는 원하는 항목을 클릭할 때 마다 선택된 데이터를 기준으로 사용자에게 정보를 보여줍니다. 연관검색을 통해 사용자가 원하는 정보를 마음껏 볼 수 있기에 더 정확하고도 폭 넓은 데이터 분석이 가능합니다.

오늘은 Qlik Sense에서 데이터를 가공하는 방법과 인메모리 방식의 장점에 대해 알아보았습니다. 다음 포스팅에서는 이렇게 가공된 데이터를 활용하여 화면상에서 시각화 하는 방법에 대해 자세히 살펴보도록 하겠습니다.