데이터 웨어하우스 // 데이터 파이프라인

데이터 웨어하우스(DW)

데이터 웨어하우스는 보다 정보에 입각한 의사 결정을 내릴 수 있도록 분석 가능한 정보의 중앙 리포지토리입니다. 데이터는 트랜잭션 시스템, RDB 및 기타 소스로부터 보통 정기적으로 데이터 웨어하우스로 들어갑니다.

주로 DW에서는 조회가 이루어짐.

 

데이터 웨어하우스의 아키텍처는 티어에 따라 3개로 나누어짐.

1. 상단 티어 :  보고, 분석 및 데이터 마이닝 도구를 통해 결과를 제시하는 프런트 엔드 클라이언트입니다.

2. 중간 티어 : 데이터를 액세스하고 분석하는 데 사용되는 분석 엔진으로 구성됩니다.

3. 하단 티어 : 데이터가 로드되고 저장되는 데이터베이스 서버입니다

 

데이터 웨어하우스의 특징

특 징	의 미
주제지향성 Subject Oriented	업무 중심이 아닌 주제 중심
통합성 Integrated	혼재한 DB로부터의 데이터 통합
시계열성 Time Variant	시간에 따른 변경 정보를 나타냄
비휘발성 Non-volatile	데이터 변경 없이 리포팅을 위한 read only 사용

 

데이터 파이프라인

ETL : Extract(추출), Transform(변환), Load(적재) 의 줄임말로 데이터를 추출, 변환, 이동하는 작업을 칭함.

데이터 파이프라인은 이런 ETL을 포함하는 광범위한 용어.

 

주요 단계로는 데이터 생성, 데이터 수집, 데이터 가공 및 저장, 데이터 시각화 등이 있음.

 

 

데이터 파이프라인 아키텍쳐 예1

데이터 파이프라인 아키텍쳐 예2

 

 

참고 :

https://m.blog.naver.com/PostView.naver?blogId=vae3085&logNo=220686438394&proxyReferer=https:%2F%2Fwww.google.com%2F 

https://aws.amazon.com/ko/data-warehouse/ 

https://livetodaykono.tistory.com/84