数据仓库架构详解

一、基本概念

数据仓库（Data Warehouse）是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据，借助数据仓库的分析能力，为企业指定决策，帮助企业改进业务流程、提高产品数量

一般数仓分为离线数仓（spark）和实时数仓（flink）

二、核心框架

数据采集

数据通过DataX或者sqoop可以将业务数据等导入到数据仓库，通过Flume可以将用户行为数据等导入到数据仓库；

数据分析

数据通过处理获取有用的数据指标

• ODS层：原始数据层，用来数据备份
• DWD层：明细数据层，用来数据清洗
• DWS层： 汇总数据层，用来数据预聚合
• ADS层：数据应用层，用来数据统计和计算
• DIM层：公共维度层，用来数据分类的

数据可视化

将处理好的数据指标用在各种模块中

1. 可视化的报表
2. 用户画像
3. 推荐系统
4. 机器学习