深入理解存储器层次结构

概述

对于一个简单的计算机系统模型，我们可以将存储器系统看做是一个线性的字节数组，而 CPU 能够在一个常数时间内访问每个存储器的位置。实际上，存储器系统（memory system）是一个具有不同容量、成本和访问时间的存储设备的层次结构。CPU 寄存器保存着最常用的数据。靠近 CPU 的小、快速的高速缓存存储器（cache memory）做为一部分存储在相对慢速的主存储器（main memory）中数据和指令的缓冲区域。主存缓存存储在容量较大的、慢速磁盘上的数据，而磁盘常常作为存储在通过网络连接的其他机器的磁盘的缓存。

Cache 基本模型

问题

CPU 通过总线从主存取指令和数据，完成计算之后再将结果写回内存。这个模型的瓶颈在于 CPU 的超级快的运算速度和主存相对慢的多的运算速度无法匹配，导致大量的时间都浪费在内存上。既然内存比较慢那么就尽量减少 CPU 对内存的访问，于是在 CPU 和 主存之间增加一层 Cache，如下图所示。

cache

在计算机中，Cache 就是访问速度快的计算机内存被用来保存频繁访问或者最近访问的指令和内存。通常 Cache 的造价比较高，所以相对 Memory 来说，容量比较小,保存的数据也有限。总而言之，由于 CPU 和内存之间的指令和数据访问存在瓶颈，所以增加了一层 Cache，用来尽力消除 CPU 和内存之间的瓶颈。这个模型如下图所示。

Cache 模型

局部性原理

你可能会问为什么在CPU 和内存之间增加一层 Cache，就可以尽力消除 CPU 和内存之间的瓶颈呢？

why cache work

如上图所示，是局部性原理（principle of locality）让 Cache 更好的工作。一个编写良好的计算机程序通常都具有良好的局部性（locality）,程序倾向于引用邻近于其他最近引用过的数据项的数据项，或者最近引用过的数据项本身，这种倾向性被称作局部性原理。局部性通常有 2 种不同的形式：时间局部性（temporal locality）和空间局部性 (spatial locality)。在一个具有良好时间局部性的程序中，被引用过一次的内存地址很可能在不远的将来会再被多次引用。在一个具有良好空间局部性的程序中，如果一个内存位置被引用了一次，那么程序很可能在不远的将来会引用附近的一个内存