文章目录
MySQL 读写分离的概述
MySQL 作为目前世界上使用最广泛的免费数据库,相信所有从事系统运维的工程师都一定接触过。但在实际的生产环境中,由单台 MySQL 作为独立的数据库是完全不能满足实际需求的,无论是在安全性,高可用性以及高并发等各个方面。
因此,一般来说都是通过主从复制(Master-Slave)的方式来同步数据,再通过读写分离(MySQL-Proxy/Amoeba)来提升数据库的并发负载能力,这样的方案来进行部署与实施的。
读写分离工作原理
基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理 SELECT 查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
数据内部交换过程:
为什么要读写分离
- 面对越来越大的访问压力,单台的服务器的性能成为瓶颈,需要分担负载
- 主从只负责各自的写和读,极大程度的缓解 X(写)锁和 S(读)锁争用
- 从库可配置 myisam 引擎,提升查询性能以及节约系统开销
- 增加冗余,提高可用性
实现读写分离的方式
一般有两种方式实现
-
应用程序层实现,网站的程序实现
应用程序层实现指的是在应用程序内部及连接器中实现读写分离
优点:
应用程序内部实现读写分离,安装既可以使用;
减少一定部署难度;
访问压力在一定级别以下,性能很好。
缺点:
架构一旦调整,代码要跟着变;
难以实现高级应用,如自动分库,分表;
无法适用大型应用场景。 -
中间件层实现:
中间件层实现是指在外部中间件程序实现读写分离
常见的中间件程序
- Cobar:
阿里巴巴 B2B 开发的关系型分布式系统,管理将近 3000 个 MySQL 实例。 在阿里经受住了考验,后面由于作者的走开的原因 cobar 没有人维护 了,阿里也开发了 tddl 替代 cobar。 - MyCAT:
社区爱好者在阿里 cobar 基础上进行二次开发,解决了 cobar 当时存在的一些问题,并且加入了许多新的功能在其中。目前 MyCAT 社区活跃度很高,已经有一些公司在使用 MyCAT。总体来说支持度比
较高,也会一直维护下去。 - OneProxy:
数据库界大牛,前支付宝数据库团队领导楼总开发,基于 mysql 官方 的 proxy 思想利用 c 进行开发的,OneProxy 是一款商业收费的中间件,楼总舍去了一些功能点,专注在性能和稳定性上。有人测试过说在高并发下很稳定。 - Vitess:
这个中间件是 Youtube 生产在使用的,但是架构很复杂。 与以往中间件不同,使用 Vitess 应用改动比较大,要使用他提供语言的 API 接口,我们可以借鉴他其中的一些设计思想。 - Kingshard:
Kingshard 是前 360Atlas 中间件开发团队的陈菲利用业余时间 用 go 语言开发的,目前参与开发的人员有 3 个左右, 目前来看还不是成熟可以使用的产品,需要在不断完善。 - Atlas:
360 团队基于 mysql proxy 把 lua 用 C 改写。原有版本是支持分表, 目前已经放出了分库分表版本。在网上看到一些朋友经常说在高并发下会经常挂掉,如果大家要使用需要提前做好测试。 - MaxScale 与 MySQL Route:
这两个中间件都算是官方的,MaxScale 是 mariadb (MySQL 原作者维护的一个版本)研发的,目前版本不支持分库分表。MySQL Route 是现在 MySQL 官方 Oracle 公司发布出来的一个中间件。
优点:
架构设计更灵活
可以在程序上实现一些高级控制,如:透明化水平拆分,failover,监控
可以依靠技术手段提高 mysql 性能
对业务代码的影响小,同时也安全
缺点:
需要一定的开发运维团队的支持。
什么是 MyCAT
一个彻底开源的,面向企业应用开发的大数据库集群;
支持事务、ACID、可以替代 MySQL 的加强版数据库;
一个可以视为 MySQL 集群的企业级数据库,用来替代昂贵的 Oracle 集群;
一个融合内存缓存技术、NoSQL 技术、HDFS 大数据的新型 SQL Server;
结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品;
一个新颖的数据库中间件产品。
MyCat 服务安装与配置
MyCat 有提供编译好的安装包,支持 Windows、Linux、Mac、Solaris 等系统上安装与运行。官方下载主页 http://www.mycat.org.cn/
架构
192.168.1.63 mycat
192.168.1.64 主
192.168.1.65 从
Mycat 需要安装 JDK 1.7 或者以上版:
第一步:下载 jdk-8u191-linux-x64.tar.gz 文件
[root@xuegod63 local]# wget http://download.oracle.com/otn-pub/java/jdk/8u191-
b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz
#如果在Linux 上下载的程序包有问题,需要把链接复制到 Windows 上下载再上传到 Linux。
第二步:新建/usr/java 文件夹,将 jdk-8u191-linux-x64.tar.gz 解压到该目录中
[root@xuegod63 local]# mkdir /usr/java
[root@xuegod63 local]# tar xf jdk-8u191-linux-x64.tar.gz -C /usr/java/
第三步:配置环境变量 在/etc/profile 底部加入如下内容:
[root@xuegod63 local]# vim /etc/profile.d/java.sh #/etc/profile.d/目录下创建
java.sh 文件并定入如下内容
JAVA_HOME=/usr/java/jdk1.8.0_191
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar
export PATH JAVA_HOME CLASSPATH
[root@xuegod63 local]# source /etc/profile.d/java.sh #使环境变量生效
[root@xuegod63 local]# java -version#查看 java 版本
java version "1.8.0_191"
Java(TM) SE Runtime Environment (build 1.8.0_191-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.191-b12, mixed mode)
安装 mycat
Linux 下可以下载 Mycat-server-xxxxx.linux.tar.gz 解压在某个目录下,注意目录不能有空格,在 Linux(Unix)下,建议放在 usr/local/Mycat 目录下,如下:
[root@xuegod63 ~]# tar -xf Mycat-server-1.5-RELEASE-0301083012-linux.tar.gz -C
/usr/local/
[root@xuegod63 local]# ls /usr/local/mycat/
下面修改 MyCAT 用户密码(仅供参考):
[root@xuegod63 ~]# useradd mycat
[root@xuegod63 ~]# passwd mycat #修改时输入两次密码 成功
[root@xuegod63 ~]# chown -R mycat.mycat /usr/local/mycat #修改权限
目录解释如下:
bin 程序目录,存放了 window 版本和 linux 版本,除了提供封装成服务的版本之外,也提供了nowrap 的 shell 脚本命令,方便大家选择和修改,进入到 bin 目录:
Linux 下运行:./mycat console,首先要 chmod +x *
注:mycat 支持的命令{ console | start | stop | restart | status | dump }
conf
目录下存放配置文件,server.xml
是 Mycat
服务器参数调整和用户授权的配置文件,schema.xml
是逻辑库定义和表以及分片定义的配置文件,rule.xml
是分片规则的配置文件,分片规则的具体一些参数信息单独存放为文件,也在这个目录下,配置文件修改,需要重启 Mycat 生效。
lib
目录下主要存放 mycat
依赖的一些 jar
文件。
日志存放在 logs/mycat.log
中,每天一个文件,日志的配置是在 conf/log4j.xml
中,根据自己的需要,可以调整输出级别为 debug,在 debug 级别下,会输出更多的信息,方便排查问题。
MyCat 服务启动与启动设置
MyCAT 在 Linux 中部署启动时,首先需要在 Linux 系统的环境变量中配置 MYCAT_HOME,操作方式如下:
[root@xuegod63 local]# vim /etc/profile.d/mycat.sh #在/etc/profile.d 目录下创建
mycat.sh 文件,并写入如下。
MYCAT_HOME=