数据仓库你需要知道的3个区别

最新推荐文章于 2024-09-24 19:37:38 发布
最新推荐文章于 2024-09-24 19:37:38 发布
阅读量1.2k 收藏 13
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 数据仓库 文章标签： 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hsl971105/article/details/108164044
本文对比了OLTP和OLAP的区别，包括它们的应用场景、核心特性及关注点；阐述了传统数仓与互联网数仓在行业、技术栈、建模方式等方面的差异；并解析了数据仓库与数据库在数据范围、变化、应用场景等方面的不同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、OLTP和OLAP的区别 

OLAP

OLTP

全称

On-line Analytical Processing

On-line Transaction Processing

应用场景

数据仓库

数据库

核心

维度、度量、下钻、上卷、切片、切块、旋转

ACID(原子性、一致性、孤立性、持续性)

关注点

事后的分析，从统计的角度去看待业务发生的节点

关注完成这件事情，准确无误的执行


二、传统数仓和互联网数仓的区别

传统数仓

互联网数仓

行业

金融、电信、保险、证券

电商、短视频、出行、团购、外卖

行业特点

业务简单、周期长、业务缓慢改变

业务复杂、敏捷开发、业务变化快、临时需求多

技术栈

mysql、oracle、sql server

Hadoop、spark、flink

建模方式

范式建模

维度建模+范式建模的混合建模方式

数据类型

结构化

结构化+非结构化

应用场景

经分、结算、风控

经分、数分、挖掘(广告、推荐)

准确性

高

较高


混合建模是什么？

dwd层采用范式建模，dwd层以上维度建模

好处是什么？

dwd层采用范式建模能快速响应业务的变换，维护成本低。上层采用维度建模考虑到下游的易用性

什么时候使用它？

业务发展初期，推荐使用维度建模，目的是快速出结果，因为互联网行业是一个不断探索和迭代的过程。业务稳定后，对于重业务的公司，比如美团、淘宝，dwd层推荐使用范式建模，dwd以上使用维度建模。目的是为了快速响应业务的变化，维护成本低。因为维度建模有个缺点就是，维度变化对数据的更新量大。

 三、数据仓库和数据库的区别

数据仓库

数据库

数据范围

存储历史的数据

存储最新状态的数据

数据变化

可添加、可查询、无删除、无变更

支持增删改查

应用场景

分析、决策、服务于分析系统

业务交易、服务于业务系统

设计理论

反范式、有意引入冗余

严格遵循范式、避免冗余

处理量

非频繁、大批量、高吞吐、延迟高

频繁、小批次、高并发、低延迟

设计理念

面向主题设计、为分析数据而生

面向事务设计、为捕获数据而生


总结

OLTP和OLAP

OLTP 作为 OLAP的一种数据源，但不是唯一的数据源，当服务于线上业务使用时，比如报表、通过接口的方式提供服务等。OLAP计算的数据也会流向OLTP。OLTP=>OLAP=>OLTP  形成一个闭环，而不是单向的。

建模方式的选择

业务发展初期，维度建模，业务稳定，尤其重业务的公司，混合建模

数据库和数据仓库的区别

都是存储数据的。

数据库是基本的、日常的事务处理，例如银行交易。

数据仓库支持复杂的分析操作，侧重决策支持。不仅是一个存储引擎，也是一套数据组织和应用的方法论

数据仓库【用户行为数仓】02：数据仓库介绍、数据仓库的特性、数据仓库基础、数据仓库分层、数据仓库系统架构、需求分析
weixin_40612128的博客
03-10 1475
数据仓库介绍、数据仓库的特性、数据仓库基础、数据仓库分层、数据仓库系统架构、需求分析
一文搞懂：数据湖、数据仓库、数据中台究竟区别在哪儿
wakedata2018的博客
10-29 396
数字化转型浪潮卷起各种新老概念满天飞，数据湖、数据仓库、数据中台轮番在朋友圈刷屏，有人说“数据中台算个啥，数据湖才是趋势”，有人说“再见了数据湖、数据仓库，数据中台已成气候”…… 企业还没推开数字化大门，先被各种概念绊了一脚。那么它们3者究竟有啥区别？别急，先跟大家分享两个有趣的比喻。 图书馆VS地摊 如果把数据仓库比喻成“图书馆”，那么数据湖就是“地摊”。去图书馆借书（数据），书籍质量有保障，但你得等，等什么？等管理员先查到这本书属于哪个类目、在哪个架子上，你才能精准拿到自己想要的书；而地摊上没有人
业务数据库、传统行业数据仓库、互联网行业数据仓库和数据湖的区别！
木东居士
03-12 1424
0x01 前言 最近朋友聊到了业务数据库、传统行业的数据仓库、互联网行业的数据仓库和数据湖的区别，关于这点，今天居士从范式的角度来分享。0x02 从范式...
数据库与数据仓库的区别是什么?
半亩方塘
03-19 2307
不能简单的说数据仓库是数据库的扩大版，它们是针对不同的服务而产生的，传统的数据库针对（OLTP）联机事务处理，主要应用与业务处理。而数据仓库针对（OLAP）联机分析处理，主要为决策服务。个人感觉在大小上面，没有必然的大小的区别，但是通常数据仓库要比数据库大，因为数据仓库是通过集成各种不同的异构数据库而成的。 简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数
数据仓库与数据库的区别
象在舞的技术专栏
09-15 920
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 （1） 面向主题：指数据仓库中的数据是按照一定的主题域进行组织。 （2）集成：指对原有分散的数据库数据经过系统加工, 整理得到的消除源数据中的不
数据仓库与数据库的不同
最新发布
xieyichun_的博客
09-24 1285
分享了数据仓库和数据库的不同
数据仓库介绍
热门推荐
woaini886353的博客
05-10 1万+
数据仓库简介 什么是数据仓库 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。 数据仓库的特点 1．数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。什么是主题呢？首先，主题是一个抽...
数据仓库基础知识
小猪宝宝的博客
06-08 2264
数据仓库基础知识介绍
数据仓库概述
weixin_41812379的博客
10-20 1207
数据仓库概述 数据仓库（Data Warehouse），简称DW或DWH，是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反应历史变化（Time Variant）的数据集合，用于支持管理、运营决策。 面对主题的：数据仓库里的数据面向主题作为大分类，例如用户分析主题、流量分析主题等等。这种主题往往也是我们处理数据的目的。 集成的：数据仓库的数据不只是通常数据库表里写下的业务数据，也记录下了用户行为相关的埋点数据等，例如用户访问的日志
数据仓库和数据库的区别
To be a better man
10-28 4413
浅谈dataware house 与 database的区别？ 首先数据库软件、数据库和数据仓库是什么？ 数据库软件:是一种软件（并不是链接数据库的图形化客户端）。用来实现数据库逻辑过程，属于物理层。 数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、MySQL、Sybase、...
数据库和数据仓库的区别（个人理解）
MicoOu的博客
12-04 2352
数据库和数据仓库的区别 针对导入数据的操作 1） 数据库：OLTP，一定会对要插入的数据进行严格的检查，不满足要求不能插入。 2） 数据仓库：OLAP，对插入的数据不会检查。 Hive数据仓库会存储非常大量的数据，一次导入可能就是几百G，几十T，hive不检查是不想让导入的数据效率过于低下。 而mysql数据库就很严谨，如果格式不对，就不让插入数据。 ...
数据仓库和数据库有什么区别？
杨荧的CSDN博客
06-16 2031
数据仓库和数据库是两种不同类型的数据存储解决方案，它们在设计、用途和功能上存在显著差异。首先，数据库主要用于事务处理系统，它们支持日常操作，如数据的插入、更新和删除。数据库通常具有高度规范化的结构，以减少数据冗余并确保数据一致性
数据库与数据仓库区别
Listron的专栏
09-18 4013
在具体学习数据仓库之前先看一下数据中心的整体构架以及数据流向。 DB 是现有的数据来源，可以为mysql、SQLserver、文件日志等，为数据仓库提供数据来源的一般存在于现有的业务系统之中。 ETL 是 Extract-Transform-Load 的缩写，用来描述将数据从来源迁移到目标的几个过程： Extract，数据抽取，也就是把数据从数据源读出来。 Transform，数据转换，把原始数据转换成期望的格式和维度。如果用在数据仓库的场景下，Transform也包含数据清洗，清
数据仓库以及OLTP和OLAP
活出别致的高傲
12-26 2253
1.什么是数据仓库? 数据仓库是决策支持系统（DSS）和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。 数据仓库的特征是面向主题，集成性，稳定性和时变性。用于支持管理决策。 数据仓库存在的意义在于对企业的所有数据进行汇总，为企业各个部门提供统一的，规范的数据出口。 面向主题：数据仓库中的数据按照一定的主题进行组织，每一个主题对应一个宏观的分析领域。数据仓库排除对于...
[FineReport帆软]OLTP与OLAP
云丶峰的博客
09-14 636
数据从何而来？ 企业日常的各个环节都会产生数据，一个企业从小到大的过程中，最初建设IT系统的时刻是一个分隔点。 在此之前，数据零散分布在邮箱、发票、单据、APP等各种地方。 零散的数据分布 企业规模达到一定程度时则必须要建设IT系统，此时，数据开始在各种系统（ERP、CRM、MES等）中积累。 IT系统中的数据分布 数据价值随着其体量不断的累积也在一直增加。 获取其中的知识，能够帮助企业发现问题与机遇并进行正确的决策，以达到赢得市场之目的。 数据分析则是实现以上目标的重要手段之一。
高级DBA进阶：掌握数据仓库技术要点
高级DBA需要清楚地知道在什么时候需要构建数据集市，以及数据集市与数据仓库在架构和设计上的不同。 ### 6. 数据仓库的安全性和维护 数据仓库通常存储了企业的核心数据，因此数据安全性和备份恢复策略变得至关重要...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值