안녕하세요. 항상배고파입니다.
이전에는(현재포함) 많은 데이터를 서비스가 가능한 정형 데이터 형태로 가공 정제하여 저장소에 저장(Oracle, MySQL, MSSQL 등)하여 활용하였으나, 최근에는 사물인터넷, SNS 등을 통해 텍스트, 영상, 이미지 등 다양한 비정형 데이터가 생성되고 있습니다.
OLAP 데이터 웨어하우스는 정형데이터를 정제하고 ETL방식으로 처리하였으나, Data Lake는 정형, 비정형 데이터 모두 수용하는 데이터 저장소(MongoDB, Redis 등)이며 ELT 방식으로 데이터를 로드하기 전에 데이터를 변환할 필요가 없으며, 형식이나 데이터 종류에 관계 없이 모든 유형을 Raw 데이터 형태로 적재가 가능합니다.
- Data Mart는 필요에 따라 쉽게 소비할 수 있도록 정제 되어 필요 시 활용이 가능한 상태
- Data Lake는 정제되지 않는 모든 데이터 상태를 있는 그대로 수집된 상태