优化之dirty page

Linux内核由于存在page cache, 一般修改的文件数据并不会马上同步到磁盘，会缓存在内存的page cache中，我们把这种和磁盘数据不一致的页称为脏页，脏页会在合适的时机同步到磁盘。为了回写page cache中的脏页，需要标记页为脏（dirty）。

http://zhumeng8337797.blog.163.com/blog/static/1007689142011215863105/?suggestedreading&wumii

定义：脏页是指那些被应用程序修改过，但尚未同步到磁盘的内存页。这些内存页通常位于内核的Page Cache（页缓存）中。背景：由于硬盘的读写速度远赶不上内存的速度，为了提高读写效率，系统会将读写比较频繁的数据事先放到内存中，形成高速缓存。Linux以页（Page）作为高速缓存的单位，当进程修改了高速缓存里的数据时，该页就被内核标记为脏页。

在看内核文件系统read/write、pagecache、内存回收相关代码时，多多少少应该看过if(PageDirty(page))、if(PageWriteback(page))、if(PageReclaim(page))、if (PageReferenced(page))、if (PageUptodate(page))、trylock_page这样内核代码，依次判断page是否有” Dirty”、”writeback”、” Reclaim”、” Referenced”、” Uptodate”、”loc.

1. top ->'f' ->'v' http://www.linuxforums.org/articles/using-top-more-efficiently_89.html. Note: On 2.6.x, this field is always zero without unknown reason. 2.you can check the size of dirty ...

nr_dirtied_pause：当前task的脏页门限； dirty_exceeded：全局的脏页数超过门限或者该bdi的脏页数超过门限；（dirty_exceeded = (bdi_dirty > bdi_thresh) && ((nr_dirty > dirty_thresh) || strictlimit); ） bdp_ratelimits：percpu变量，当前CPU的脏页数 ratelimit_pages：CPU的脏页门限 调用balance_dirty_pages

1 定时方式: 定时回写是基于这样的原则:/proc/sys/vm/dirty_writeback_centisecs的值表示多长时间会启动回写线程,由这个定时器启动的回写线程只回写在内存中为dirty时间超过(/proc/sys/vm/didirty_expire_centisecs / 100)秒的页(这个值默认是3000,也就是30秒),一般情况下dirty_writeback_centis

[原文] http://www.phpfans.net/article/htmls/201010/MzEwNzAx.html 延伸阅读： cgroup限制用户IOPS，共用文件系统，引发的思考： http://blog.163.com/digoal@126/blog/static/163877040201571403648184/ 系统缓存相关

1. Page Cache 何为Page Cache 为了了解Page Cache我们可以看一下Linux的文件I/O系统 从图中可以看出，Page Cache是由Linux内核进行管理的，而且通过mmap以及bffered I/O将文件读取到内存空间实际上都是读取到Page Cache上的。 如何查看系统的Page Cache? 通过读取cat /proc/meminfo文件，查看系统实时内存情况。 ... Buffers: 117572 kB Cached: 273

个人对于脏页的一些理解，不足之处望指出

Page页

众所周知Linux内核write系统调用采用pagecache机制加速写入过程，避免write系统调用长时间block应用进程，用户态进程执行write调用的时候，内核只是将用户态buffer copy到内核的pagecache当中，write系统调用就返回了，完全不需要等待数据完全写入存储设备，因为存储设备是的写入可能是个耗时很长的过程。内核正在回写page到存储设备的过程中，是否允许应用层同时更新page内容？应用层更新page是否会被block?本文将从理论和内核源码两个方面彻底分析该问题。

● DMA和cache一致性 ● 内存的cgroup ● 性能方面的调优：page in/out, swapin/out ● Dirty 页面的写回，Dirty ratio的一些设置 ● 内存的回收-水位的设置 ● swappiness 为什么内存的大小 会严重影响你系统的性能？ 因为 CPU 操作IO 都是通过 内存来实现的，内存大小直接关系到 IO的速度。 内存大 page cache 大，程序切换时，页表切换就不用挤出匿名页来做交换。程序切换就很流畅。 dirty ...

综述 Page cache是通过将磁盘中的数据缓存到内存中，从而减少磁盘I/O操作，从而提高性能。此外，还要确保在page cache中的数据更改时能够被同步到磁盘上，后者被称为page回写（page writeback）。一个inode对应一个page cache对象，一个page cache对象包含多个物理page。 对磁盘的数据进行缓存从而提高性能主要是基于两个因素：第一，磁盘访问的速度...

当需要在Buffer pool分配一个page，但是已经满了，并且所有的page都是dirty的（否则可以释放不dirty的page），通常是不会发生的。这时候必须 flush dirty pages to disk。这种情况将会记录到Innodb_buffer_pool_wait_free中。一般地，可以可以通过启动参数 innodb_max_dir...