数据库和缓存强一致性设计

最新推荐文章于 2024-11-22 15:21:41 发布

依旧清风

最新推荐文章于 2024-11-22 15:21:41 发布

阅读量442

点赞数

CC 4.0 BY-SA版权

分类专栏：解决方案

本文链接：https://blog.csdn.net/h675107964/article/details/115799819

本文探讨了数据库从单库到多库分表、读写分离的发展过程，重点解析了在数据库+缓存场景下，如何处理读写请求以确保数据一致性。针对写请求的四种操作顺序可能导致的问题，提出了使用分布式锁来解决并发一致性问题，并提到了通过消费数据库binlog来保证缓存操作的原子性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一般来说，一个业务会经历一下几个阶段

单库

刚开始流量较小，读写请求都落到同一个库无压力。

多库

随着业务发展,单库QPS逐渐变高,甚至出现读瓶颈。这时候可以将数据库读写流量分发到多个节点。

分库分表

基于路由策略(比如对主键求hash),将读写请求落到指定库中。业务可以通过集成比较成熟的中间件降低复杂度:如ShardJdbc(推荐),Mycat等

但是这并不是一颗完美的银弹,首先需要考虑如何设计分库,避免将热点数据落到同一个库。另外DML逻辑变得复杂,比如排序,分布式事务。

最低0.47元/天解锁文章

新学期VIP享超值加赠

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

依旧清风

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

分布式缓存—缓存与数据库强一致场景下的方案

Linuxhus的博客

04-19

954

1. 概述缓存与数据库的强一致性，也称线性一致性，核心要求是：数据库中的值发生变更，缓存数据要实现同步复制，并且一旦操作完成，随后任意客户端的查询都必须返回这一新值。以下图为例，一旦写入b完成，必须保证读到；而写入过程中，认为值的跳变可能发生在某一瞬间，因此读到a或b都是可能的。数据库与缓存作为一个整体，在向外提供服务的过程中，无论数据是否变更过，都时刻保持数据一致，因为它内部的数据仿佛只有一份，即使并发访问不同节点。 2. 场景秒杀是一个比较典型的强一致场景，一般秒杀系统的库存同时保持在

【数据库与缓存保持一致性】

小呆鸟blog

12-28

1568

数据库和缓存一致性

参与评论您还未登录，请先登录后发表或查看评论

4 种数据库缓存最终一致性的优缺点对比？最终选择方案四！

这个时代，作为程序员可能要学习小程序

11-04

424

大家好，我是你们的小于哥，今天我们来聊一下数据库缓存问题。缓存是软件开发中一个非常有用的概念，数据库缓存更是在项目中必然会遇到的场景。而缓存一致性的保证，更是在面试中被反复问到，这里进行...

架构设计：系统存储（23）——数据一致性与Paxos算法（上）

JAVA入门中

03-13

9431

从本文开始，笔者将花三到四篇文章的篇幅，介绍Paxos算法。包括它的理论基础、基本实现、变种实现，其它保证最终一致性的算法，等等。

8种方案，保证缓存和数据库的最终一致性

mnhpo_Q的博客

03-18

5020

我们通常使用缓存机制来提升系统的性能，缓存系统下的读写操作，一般都需要操作数据库与缓存。对于读操作，一般是先查询缓存，查询不到再查询数据库，最后回写进缓存。而对于写操作，究竟是先删除(更新)缓存，再更新数据库，还是先更新数据库，再删除(更新)缓存呢？由于对数据库以及缓存的整体操作，并不是原子性的，再加上读写并发，究竟什么样的方案可以保证数据库与缓存的一致性呢？下面介绍8种方案，配合读写时序图，希望你能从其中了解到保证一致性的设计要点。简单直接，适用于对数据一致性要求较低或者写请求很少的业务。

最强的缓存数据库一致性技术方案

qq_36181310的博客

11-06

629

一、背景面对高qps场景，单纯mysql的技术架构容易出现瓶颈，常见的解决方案是引入分布式缓存挡住大部分读流量，但增加了依赖项则意味着需要考虑的异常场景就更多，最典型的莫过于如果保证缓存和数据库一致性。二、缓存一致性问题原因并发的场景下，导致读取老的 DB 数据，更新到缓存中。缓存和 DB 的操作，不在一个事务中，可能只有一个操作成功，而另一个操作失败，导致不一致。三、业内常用方案（Cache Aside Pattern）应用程序先从cache取数据，没有得到，则从数据库中取

分布式之数据库和缓存双写一致性方案解析

01-27

本文由以下三个部分组成1、讲解缓存更新策略2、对每种策略进行缺点分析3、针对缺点给出改进方案先做一个说明，从理论上来说，给缓存设置过期时间，是保证最终一致性的解决方案。这种方案下，我们可以对存入缓存的...

数据库和缓存如何保证一致性？

m0_67698950的博客

06-28

1254

有了这个想法后，就准备开始着手优化服务器，但是挡在在他前面的是这样的一个问题。由于引入了缓存，那么在数据更新时，不仅要更新数据库，而且要更新缓存，这两个更新操作存在前后的问题：没想到太多，他觉得最新的数据肯定要先更新数据库，这样才可以确保数据库里的数据是最新的，于是他就采用了「先更新数据库，再更新缓存」的方案。经过几个夜晚的折腾，终于「优化好了服务器」，然后就直接上线了，自信心满满跑去跟老板汇报。老板不懂技术，自然也没多虑，就让后续阿旺观察下服务器的情况，如果效果不错，就谈画饼的事情。观察了好几天，发现

数据库和缓存不一致的问题及解决方案

一位努力搬砖程序员。在这里，我会分享关于编程技巧、项目实战经验以及对新技术的见解。希望通过我的文章能够帮助你在技术路上更进一步。期待与你共同学习和成长！

08-22

1338

数据库和缓存不一致的问题是在实际应用中常见的挑战之一。为了解决这个问题，可以采用更新数据时同步更新缓存、使用缓存失效策略以及读取数据时先从缓存获取等策略。此外，延迟双删也是一种常见的解决方案，用于增加数据删除的可靠性和缓解缓存雪崩效应。在实际应用中，根据系统的需求和性能要求，选择合适的解决方案，可以保证数据库和缓存之间的一致性，提高系统的可靠性和性能。

面试官问：缓存与数据库一致性如何解决？先操作数据库，还是缓存？

程序员小乐

01-29

957

点击上方 "编程技术圈"关注,星标或置顶一起成长后台回复“大礼包”有惊喜礼包！每日英文You never know how strong you really are ...

关于缓存与数据库：要求强一致性的场景以及解决方案

流楚丶格念的博客

11-22

729

在分布式系统中，如果业务对缓存与数据库的一致性要求非常高，以下是几种。，确保同一时刻只有一个写操作生效，避免缓存和数据库之间的数据不一致。数据库更新较慢时，可能会有读操作读取到缓存中已删除但未更新的数据。，即所有数据读写操作都通过缓存完成，缓存与持久化数据库同步更新。选择方案时需权衡一致性、复杂性和性能，结合业务需求找到最优解。对同一个 key 的写操作引入。

缓存与数据库的一致性

我的E家

04-02

712

目录背景缓存的衡量指标使用缓存可能带来的问题缓存使用/更新套路测试思路参考：背景 cache如memcache，redia等缓存来缓存数据库读取出来的数据，以提高读性能。但凡是使用缓存的项目，几乎都会遇到一个普遍的问题：在不断增删改数据的过程中，如何保持缓存与数据库中数据的一致性。在支付、下单类业务中，此类问题尤为普遍。下面就自己对此的一些理解...

缓存一致性

define_us的专栏

10-24

482

缓存穿透一般的缓存系统，都是按照key去缓存查询，如果不存在对应的value，就应该去后端系统查找（比如DB）。如果key对应的value是一定不存在的，并且对该key并发请求量很大，就会对后端系统造成很大的压力。这就叫做缓存穿透。缓存并发缓存失效问题引起这个问题的主要原因还是高并发的时候，平时我们设定一个缓存的过期时间时，可能有一些会设置1分钟啊，5分钟这些，并发很高时可能会出在某一个时...

数据一致性设计的概念

weixin_34294649的博客

02-09

409

操作异步、并发成功失败副本、回滚二阶提交时间：有跨度或先后；空间：有并发。

数据一致性设计理念

石头视角

08-11

319

在分布式存储领域，为了增加系统的高可用性，经常将同一份数据存储多个副本，常见的做法的三备份。但是此做法也引来了数据一致性的问题。为了解决数据一致性的问题，业界常用的有CAP、ACID、BASE等理论模型。 CAP原则 CAP是对强一致性（Consistency）、可用性（Availability）、分区容忍性（Partition Tolerance）的一种简称。 强一致性：即在分布式系统中同...

缓存和 DB 的一致性保证（一）

shaolong1013的博客

03-08

539

先看业务，业务是不是需要强一致：弱一致：缓存设定过期时间，过期后自动从db中更新缓存； 强一致：使用分布式锁； 1、线程A先对该key加上分布式锁（锁一定要设置过期时间！！！） 2、线程A删除缓存（其他线程在查询到缓存数据为空时，尝试去获取分布式锁，获取不到锁，说明有线程正在更新缓存数据，则等待锁或者直接查询数据库） 3、线程A更新数据库 4、线程A更新缓存 5、线程A解锁（如...

redis缓存与数据库一致性问题

lsy90的博客

02-24

2062

转自：http://blog.csdn.net/liubenlong007/article/details/53690312不一致产生的原因我们在使用redis过程中，或者网上一些资料，通常会这样做：先读取缓存，如果缓存不存在，则读取数据库。伪代码如下： Object stuObj = new Object(); public Stu getStuFromCache(String ...

干| 携程最终一致和强一致性缓存实践

m0_67322837的博客

05-26

337

一、前言携程金融从成立至今，整体架构经历了从0到1再到10的变化，其中有多个场景使用了缓存来提升服务质量。从系统层面看，使用缓存的目的无外乎缓解DB压力（主要是读压力），提升服务响应速度。引入缓存，就不可避免地引入了缓存与业务DB数据的一致性问题，而不同的业务场景，对数据一致性的要求也不同。本文将从以下两个场景介绍我们的一些缓存实践方案：最终一致性分布式缓存场景 强一致性分布式缓存场景注：我们DB用的是MySQL，缓存介质用的是携程高可用Redis服务，存储介质的选型及存储服务的

分布式锁 数据库缓存强一致性