데이터 웨어하우스, 데이터 레이크, 데이터 마트의 차이점

작성일: 2023-08-14

 

공통점: 클라우드 스토리지 솔루션

 

• 데이터 웨어하우스: 데이터를 구조화된 형식으로 저장. 분석 및 비즈니스 인텔리전스를 위한 사전 처리된 데이터의 중앙 리포지토리
• 데이터 마트: 회사의 금융, 마케팅 또는 영업 부서와 같은 특정 사업부의 요구사항을 지원하는 데이터 웨어하우스
• 데이터 레이크: 원시 데이터 및 비정형 데이터의 중앙 리포지토리, 먼저 데이터를 저장하고 나중에 처리 할 수 있음.

 

데이터 웨어하우스, 데이터 마트 및 데이터 레이크의 유사성

오늘날 조직은 끝없이 증가하는 데이터 볼륨에 액세스 가능

하지만, 실질적인 이점을 얻으려면, 원시 데이터를 정렬, 처리, 필터링, 분석을 해야함.( + 규정 준수를 위해 엄격한 데이터 보호 및 보안 방식을 따라야함)

 

조직에서는 다양한 도구와 솔루션을 사용하여 데이터 분석 결과를 얻음.

데이터 웨어하우스,마트 및 레이크는 모두 데이터 저장을 지원하는 솔루션임.

 

 

차이점

 

데이터 웨어 하우스: 트랜잭션 시스템의 데이터와 업무 부서 애플리케이션의 데이터를 저장하는 관계형 데이터 베이스임.

웨어 하우스의 모든 데이터는 정형 데이터 이거나 테이블로 사전 모델링된 데이터임.

데이터 구조와 스키마는 빠른 sql 쿼리에 최적화 되도록 설계되어 있음.

 

데이터 웨어하우스와 데이터 마트의 차이점

-주안점

데이터 웨어하우스는 일반적으로 여러 사업부의 데이터를 저장하며, 종합적인 분석을 위해 전체 조직에서 수집된 데이터를 중앙에 통합함.

데이터 마트는 단일 주제에 초점을 맞추고 있으며, 그 특성상 더 분산되어 있음. 데이터 마트는 다른 기존 데이터 웨어하우스의 정보를 필터링하고 요약하는 경우가 많음

-사용률

데이터 웨어 하우스에 저장된 데이터를 여러 사용자와 프로젝트에 사용됨. 따라서 웨어 하우스는 수명이 더 길고 본질적으로 더 복잡함. 반면, 데이터 마트는 프로젝트에 초점을 맞추어 제한적으로 사용 가능. 팀들은 엔터프라이즈 데이터 웨어 하우스에서 데이터 마트를 만들고 사용 사례가 완료 되면, 이를 폐기하는 방식을 선호함

 

 

데이터 웨어하우스 vs 데이터 레이크

데이터 웨어하우스와 데이터 레이크는 관련이 있지만 서로 다른 기술

웨어하우스는 정형 데이터, 데이터 레이크는 모든 규모의 데이터를 저장할 수 있는 중앙집중식 리포지토리임.

-데이터 소스

데이터 레이크와 웨어하우스 모두 무제한의 데이터 소스를 가질 수 있음.

단 데이터 웨어하우징에서는 데이터를 저장하기 전에 먼저 스키마를 설계해야 데이터를 저장할 수 있음(정형 데이터만 시스템에 로드할 수 있음)

반면, 데이터 레이크에는 이러한 요구사항 없이, 웹 서버 로그, 클릭 스트림 등 비정형 및 반정형 데이터 저장 가능.

-전처리

데이터 웨어하우스에 저장하려면, 먼저 데이터를 전처리 해야함.

 데이터 레이크에는 모든 데이터가 저장되며, 전처리를 수행할지 여부는 사용자가 선택함.