Optimzing mysql

I feel the need....the need for speed. 壮志凌云（ top gun ）

性能监控 10 分性能优化 20 分常见的架构 10 分 Tools and tips 10 分

性能监控操作系统级别的 Mysql 级别

操作系统 vmstat iostat free top sar mpstat uptime, netstat strace

mysql Show processlist Mysqlreport http://hackmysql.com/mysqlreportguide Mysqladmin -uxxx –p -i 1 -r extendedstatus|grep -v “| 0” Innotop http://www.xaprb.com/blog/2006/07/02/innotop-mysql-innodb-monitor/ Show global status,show inondb status show session status; Mytop Explain Profiling Mysqldumpslow mysqlsla sysbench

vmstat 基本的物理和虚拟内存的使用和一些基本的系统统计信息 Vmstat –S M Vmstat 5 5 Swap 颠簸现象 Top ps axl

iostat 度量磁盘 i/o,cpu 和设备 io 使用 Iostat -c iostat –dx 5 %iowait 并发请求的数量并发 = （ r/s+w/s ） *(svctm/1000)( 从头到尾服务请求时间 )

谁可能导致高的 cpu usage query ， joins,every 进程切换，锁表内存排序临时表加密算法谁可能导致高的 disk usage 临时表硬盘上排序 start with an idea ,then look for infromation support it

netstat 服务链接状态 netstat -nat |awk '{print $6}' | sort | uniq -c | sort -n 是否被 dos ： netstat -atun | awk '{print $5}' | cut -d: -f1 | sed -e '/^$/d' |sort | uniq -c | sort -n /bin/netstat -na|grep ESTABLISHED|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -rn|grep -v -E '172.16|127.0'|awk '{if ($2!=null && $1>10) {print $1,$2}}'

其它 Top ： Ps ： ps aux|awk '{ if ($6 >(1024*15)){print $2}}'|grep -v PID ………………

分析服务器 Mysqlreport Mysqladmin mysqladmin extended -r -i 10| grep –v “| 0 ” -uroot –p Innotop …. Show global status Show innodb status

分析查询 Show processlist Flush status Show session status like ‘Select%’ Show session status like ‘Handler%’ Show session status like ‘Sort%’ Show session status like ‘Create%’ Set profiling

性能优化操作系统 mysql 应用程序

操作系统不要交换区。如果内存不足，增加更多的内存或配置你的系统使用较少内存。 flick:echo 0 > /proc/sys/vm/swappiness innodb_flush_method=O_DIRECT 不要使用 NFS 磁盘 ( 会有 NFS 锁定的问题 ) 。增加系统和 MySQL 服务器的打开文件数量。 ( 在 safe_mysqld 脚本中加入 ulimit -n #) 。增加系统的进程和线程数量。选择使用哪种文件系统。在 Linux 上的 Reiserfs 对于打开、读写都非常快。文件检查只需几秒种。

Mysql 配置 Mysiam 缓存 key_buffer_size key_buffer_1.key_buffer_size=1G show variables like 'key_buffer_size'; show global status like 'key_read%'; key_cache_miss_rate ＝ Key_reads / Key_read_requests * 100% du –sch `find /mysqldatapath/ -name “*.MYI”` Innodb 缓冲池 innodb_bufer_pool_size 80% show status like 'Innodb_buffer_pool_read%' Innodb_buffer_pool_read_requests/Innodb_buffer_pool_reads show innodb status\G BUFFER POOL AND MEMORY Total memory allocated 4668764894;

查询缓存 show global status like 'Qcache%'; show variables ‘like query_cache%'; 查询缓存利用率 = (query_cache_size – Qcache_free_memory) / query_cache_size * 100% 查询缓存命中率 = (Qcache_hits – Qcache_inserts) / Qcache_hits * 100% http://www.day32.com/MySQL/

innodb 刷写日志缓冲 Innodb_flush_log_at_trx_commit 0 1 2 打开并清写日志和文件 innodb_flush_method

myisam 初始化： initial =key_buffer_size + query_cache_size 连接 per_connection=(sort_buffer_size +read_rnd_buffer_size + join_buffer_size + read_buffer_size + thead_stack ) 总和： initial + max_connections * per_connection initial + ((max_connections * per_connection)/3)

innodb 初始化： initial =innodb_buffer_pool_size + query_cache_size 连接 per_connection = (sort_buffer_size + join_buffer_size + thead_stack + binlog_cache_size + read_buffer_size + read_rnd_buffer_size) 总和： initial + max_connections * per_connection initial + ((max_connections * per_connection)/3)

数据类型选择更小通常更好 , 慷慨并不明智简单就好使用 mysql 内建的类型保存日期和时间，使用 timestamp 保存，空间是 datetime 一半使用整数保存 ip 15 bytes for char(15) vs. 4 bytes for the integer ip2long() 和 long2ip() inet_aton 3 尽量避免 null 4 Char /varcha 的选择对于 MyISAM 而言，如果没有 VARCHAR ， TEXT 等变长类型，那么每行数据所占用的空间都是定长的（ Fixed ），俗称静态表，相对应的就是动态表。当执行一次查询时， MySQL 可以通过索引文件找到所需内容的实际行号，此时，由于每行数据所占用的空间都是定长的（ Fixed ），所以可以通过查询到的实际行号直接定位到数据文件的具体位置，对于 InnoDB 而言，数据行是没有所谓定长与否的概念的，这是由其结构所决定的：在 InnoDB 中，数据就位于 Primary Key 的 B-Tree 叶节点之上而除 Primary Key 之外的索引被称为 Secondary Index ，它们直接指向 Primary Key 。用 char 来代替 varchar ， MyISAM 是这样， InnoDB 则相反 5 使用 enum 代替字符串类型 select internet + 0 from hotel_info group by internet;

索引隔离列 select * from tablename where id+1=5 Select * where TO_DAYS(CURRENT_DATE) – TO_DAYS(data_col) < =10 Select * where data_col >=date_sub(current_date,interval 10 day) Select * where data_col >= date_sum(‘2010-04-12’,interval 10 day) EXPLAIN SELECT * FROM film WHERE title LIKE 'Tr%'\G EXPLAIN SELECT * FROM film WHERE LEFT(title,2) = 'Tr' \G 组合索引前缀索引覆盖索引合并索引去除多余索引和重复索引 create table test (id int not null primary key, unique(id), index(id) )

合并索引索引合并方法用于通过 range 扫描搜索行并将结果合成一个。合并会产生并集、交集或者正在进行的扫描的交集的并集。在 EXPLAIN 输出中，该方法表现为 type 列内的 index_merge 。在这种情况下， key 列包含一列使用的索引， key_len 包含这些索引的最长的关键元素 SELECT * FROM tbl_name WHERE key_part1 = 10 OR key_part2 = 20;

前缀索引 Key(a,b,c) Order by a ,order by a,b order by a,b,c order by a desc ,b desc,c desc Where a = const order by b,c,where a=const and b =const order by c Where a = const order by b,c where a = const and b > const order by,c Order by a asc,b desc,c desc Where g = const oder by b ,c Where a = const order by c Where a = const order by a ,d Where a>’xx’ order by b,c Where a>’xx’ order by a,b Where a=const order by b desc ,a asc

覆盖索引 Select * from products where actor=‘sean carrey’ and and title like ‘%apollo%’ Select * from products join (select prod_id from products where actor= ‘sean carrey’ and title like ‘%apollo%’) as t1 on (t1.prod_id = products.pro_id)

逆范式化适当的冗余分拆表

产品设计产品设计 -> 数据交互 ->mysql Antoine de Saint—Exupery 是法国作家兼飞机设计师，他曾经说过：“设计者确定其设计已经达到了完美的标准不是不能再增加任何东西，而是不能再减少任何东西。” 分页的实现

http://www.douban.com/group/BigBangTheory/discussion?start=25

优化 count(*) Mysiam: select sql_no_cache count(*) from statistic_go where id > 10; select sql_no_cache (select count(*) from statistic_go) - count(*) from statistic_go where id <=10; Innodb : 在缺少 where 字句的情况下， InnoDB 不对 count(*) 查询进行优化–这个是事实。 SELECT COUNT(*) FROM sbtest1 WHERE id>=0; 建立计数器触发器对同一个表的 select 和 update update hotel_image inner join (select count(*) as cnt from hotel_image) as der set hotel_image.size = der.cnt;

其它一些 Group by 不进行排序，可以 ordery by null 能够快速缩小结果集的 WHERE 条件写在前面，如果有恒量条件，也尽量放在前面使用 UNION 来取代 IN 和 OR 定期执行 optimize / analyze table 往 innoDB 表导入数据时，先关闭 autocommit 模式，否则会实时刷新数据到磁盘对于频繁更改的 MyISAM 表 , 应尽量避免更新所有变长字段 (VARCHAR 、 BLOB 和 TEXT) 分表分库汇总表十大热门话题 create table hotel_infonew like hotel_info; rename table hotel_info to hotel_info_old ,hotel_infonew to hotel_info 放弃关系型数据库 key=>value ，计数表

常见架构方案 Replication 双 master 集群。。。。。

replication 1 数据分发 ,scale out ， sacle up 2 负载均衡 load balance 3 备份，一般不会用作备份，一旦执行 delete 操作， replication 也不会保留 4 高可用 5 可以在不同的主从库上使用不同的存储引擎

简单的讲就是 master 记录其变化到 binlog ， slave 接收到变化后会记录到他的 Relay log ， slave 通过重放 relay log ，然后就写进自己的 log 1) 、 Slave 上面的 IO 进程连接上 Master ，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； 2) 、 Master 接收到来自 Slave 的 IO 进程的请求后，通过负责复制的 IO 进程根据请求信息读取制定日志指定位置之后的日志信息，返回给 Slave 的 IO 进程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到 Master 端的 bin-log 文件的名称以及 bin-log 的位置； 3) 、 Slave 的 IO 进程接收到信息后，将接收到的日志内容依次添加到 Slave 端的 relay-log 文件的最末端，并将读取到的 Master 端的 bin-log 的文件名和位置记录到 master-info 文件中，以便在下一次读取的时候能够清楚的高速 Master“ 我需要从某个 bin-log 的哪个位置开始往后的日志内容，请发给我”； 4) 、 Slave 的 Sql 进程检测到 relay-log 中新增加了内容后，会马上解析 relay-log 的内容成为在 Master 端真实执行时候的那些可执行的内容，并在自身执行

常见问题延迟主从不同步命令复制基于行复制

高可用通过 Heartbert2 让 Mysql Replication 具有 HA

工具 Innotop Maatkit mk-table-checksum mk-table-sync mk-parallel-dump mk-parallel-restore mk-find Optimize table 脚本

Tools and tips \h 命令大批量数据的导入 load data infile ‘/path/to/file’ into table tbl_name; alter table tbl_name disable keys; alter table tbl_name enable keys; 快速复制表结构： create table clone_tbl select * from tbl_name limit 0 Gdb 更改 mysql 配置 show variables like 'log_slave_updates'; set global log_slave_updates=1; system gdb -p $(pidof mysqld) -ex "set opt_log_slave_updates=1" -batch gdb -p $(pidof mysqld) \ -ex "set max_connections=5000" \ -ex "call resize_thr_alarm(5030)" -batch truncate table 不能复制到从库 perl -ne ‘m/^([^#][^\s=]+)\s*(=.*|)/ && printf(“%-35s%s\n”, $1, $2)’ /etc/mysql/my.cnf 美化 my.cnf 加快 alter table Dump 文件中找出 create table sed -e '/./{H;$!d;}' -e 'x;/CREATE TABLE `hotel_info`/!d;q' hotel_new2010-3-1117.sql

同一个团队，同一个梦想 Thanks!

Optimzing mysql

More Related Content

What's hot (20)

Viewers also liked (6)

Similar to Optimzing mysql (20)

More from liufabin 66688 (20)

Optimzing mysql