tbase 01-分布式数据库概述V1.1.pdf

【分布式数据库概述】 分布式数据库是现代信息技术领域的重要组成部分，它源于对传统非分布式数据库的演进需求。在数据库发展的历程中，从最初的GB级存储到现在的TB甚至EB级的海量数据，以及面对高并发和低延迟的需求，分布式数据库应运而生。本课程旨在帮助学习者了解从非分布式到分布式数据库的转变过程，掌握分布式数据库的基本概念，并理解分布式架构对数据库使用者和业务带来的影响。 1.1 数据库发展史 数据库自1970年代以来经历了重大变革。最初，非分布式SQL系统主要用于联机事务处理(OLTP)，处理日常的流水事务，适合数据量较小、并发较低的场景。随着互联网的发展，数据量急剧增长，单一数据库无法应对大规模数据和高并发的挑战，于是出现了非关系型的NoSQL数据库，牺牲了部分事务一致性（ACID特性）以换取更高的性能和大数据处理能力。近年来，为了兼顾高性能和事务处理，分布式SQL和混合事务/分析处理（HTAP）系统被开发出来，实现了OLTP和OLAP的优势结合。 1.2 为什么需要分布式架构 从业务角度来看，大数据时代的到来使得数据量爆炸性增长，业务并发量增大，对降低延迟、提高性能和用户体验的需求也随之增加。例如，微信支付商户订单系统需要处理大量实时交易，对高可用性和扩展性有极高的要求。从技术角度，单个数据库节点的性能和存储有限，无法线性扩展以应对流量高峰，而且大量历史数据的存储成本高昂。因此，分布式架构成为了必要的选择，它可以实现线性平滑扩展，进行冷热数据分离，降低存储成本，并通过自动化sharding减少业务影响。 1.3 分布式面临的问题 尽管分布式数据库提供了诸多优势，但它也带来了挑战。数据分片需要避免数据分布不均导致的热点问题；强一致性在分布式环境中难以实现，主从高可用架构可能导致性能和数据安全性的权衡；服务的可用性和扩展性需要在不停机的情况下进行，而数据库优化在复杂的分布式集群中变得更加复杂。 1.4 分布式数据库如何切分 分布式数据库通常采用垂直切分和水平切分两种策略。垂直切分是按照功能将数据库分成多个实例，如会员库、交易库等，但这种方式不能彻底解决单台服务器的负载和容量问题。因此，水平切分成为更常见的解决方案，通过某种规则（如哈希、范围等）将数据分散到多个物理独立的数据库服务器上，形成数据库分片，从而实现负载均衡和容量扩展。 总结起来，分布式数据库是应对大数据时代挑战的关键技术，它通过垂直和水平切分实现数据的分布式存储，提供高并发、高性能和高可用性。然而，这也带来了数据分布、一致性、服务扩展等问题，需要数据库设计者和使用者深入理解和掌握相关技术，以确保系统的稳定性和效率。TBase作为腾讯公司的分布式数据库产品，正是这一领域的实践代表，为业务提供了强大的支撑。