Something about cache

http://www.tyut.edu.cn/kecheng1/2008/site04/courseware/chapter5/5.5.htm

5.5 高速缓冲存储器cache

随着CPU时钟速率的不断提高，当它访问低速存储器时，不得不插入等待周期，这就明显降低了高速CPU的效率。为了与CPU的速率相匹配，可以采用高速存储器，但它的成本很高，用来组成大容量的主存储器很不经济。成本较低的存储器适宜制作大容量的主存储器，但是速度过低。为了折中地解决速率与成本两者之间的矛盾，兼顾高速与低成本各自的优势，在现代微机系统中，采用了高速缓冲存储器cache技术。cache通常采用与CPU同样的半导体材料制成，速度一般比主存高5倍左右。由于其高速而高价，故容量通常较小，一般为几KB到几十KB，仅用来保存主存中最经常用到的一部分内容的副本。

　　统计表明，利用一级cache，可使存储器的存取速度提高4～10倍。当速度差更大时，可采用多级cache。目前大多数PC的高速缓存都分为两个级别：L1 cache和L2 cache。L1 cache集成在CPU芯片内，时钟周期与CPU相同；L2 cache通常封装在CPU芯片之外，采用SRAM芯片，时钟周期比CPU慢一半或更低。就容量而言，L2 cache的容量通常比L1 cache大一个数量级以上，从几百KB到几千KB不等。80486CPU芯片内有8KB的cache，存放程序和数据，并支持L2 cache。cache在微机系统中的位置如图5.24所示。



图5.24 cache在微机系统中的位置

5.5.1 cache的工作原理

在CPU的所有操作中，访问内存是最频繁的操作。由于一般微机中的主存储器主要由MOS型动态RAM构成，其工作速度比CPU低一个数量级，加上CPU的所有访问都要通过总线这个瓶颈，所以，缩短存储器的访问时间是提高计算机速度的关键。采用在CPU和内存之间加进高速缓冲存储器cache的办法较好地解决了这一问题。所谓“cache”原意是指勘探人员的藏物处，这里引申为“高速缓存”。在保证系统性能价格比的前提下，使用速度与CPU相当的SRAM芯片组成小容量的高速缓存器，使用低价格、小体积能提供更大存储空间的DRAM芯片（或内存条）组成主存储器。

　　下面，以取指为例对cache的工作原理进行说明。命中率是高速缓存子系统操作有效性的一种测度，它被定义为高速缓存命中次数与存储器访问总次数之比，用百分率来表示，即



　　例如，若高速缓存的命中率为92%，则意味着CPU可用92%的总线周期从高速缓存中读取数据。换句话说，仅有8%的存储器访问是对主存储器子系统进行的。假设经过前面的操作cache中已保存了一个指令序列，当CPU按地址再次取指时，cache控制器会先分析地址，看其是否已在cache中，若在，则立即取来，否则，再去访问内存。因为大多数程序有一个共同特点，即在第一次访问了某个存储区域后，还要重复访问这个区域。CPU第一次访问低速DRAM时，要插入等待周期。当CPU进行第一次访问时，也把数据存到高速缓存区。因此，当CPU再访问这一区域时，CPU就可以直接访问高速缓存区，而不访问低速主存储器。因为高速缓存器容量远小于低速大容量主存储器，所以它不可能包含后者的所有信息。当高速缓存区内容已装满时，需要存储新的低速主存储器位置上的内容，以代替旧位置上的内容。高速缓存器的设计目标是使CPU访问尽可能在高速缓存器中进行，其工作原理如图5.25所示。



图5.25 cache工作原理图

5.5.2 cache的读/写策略

1．读策略

2．替换策略

3．写策略

5.5.3 cache的地址映射

为了把数据从主存中取出送入cache中，必须使用某种地址转换机制把主存地址映射到cache中定位，称为地址映射。实现方法是：将主存和cache都分为大小相等的若干块（或称页），每块的大小为2n个字节，通常为29（512B），210（1 024B）或211（2 048B）等，以块为单位进行映射。假设某系统的cache容量为1MB，若每块容量为1KB，则被分为1 024块；cache容量为8KB，每块容量也是1KB，则被分为8块。下面以此为例，介绍三种cache的地址映射方法。

1．直接地址映射（direct mapping）

2．全相联地址映射（fully associative mapping）

3．组相联地址映射（set associative mapping）

http://blog.csdn.net/efan_linux/article/details/4584807
Cache 的write back和write through

为了保证cache和memory的数据一致性，通常有三种方法：

1〉write through：CPU向cache写入数据时，同时向memory也写一份，使cache和memory的数据保持一致。优点是简单，缺点是每次都要访问memory，速度比较慢。

2〉post write：CPU更新cache数据时，把更新的数据写入到一个更新缓冲器，在合适的时候才对memory进行更新。这样可以提高cache访问速度，但是，在数据连续被更新两次以上的时候，缓冲区将不够使用，被迫同时更新memory。

3〉write back：ＣＰＵ更新cache时，只是把更新的cache区标记一下，并不同步更新memory。只是在cache区要被新进入的数据取代时，才更新memory。这样做的原因是考虑到很多时候cache存入的是中间结果，没有必要同步更新memory。优点是CPU执行的效率提高，缺点是实现起来技术比较复杂。

回写与透写

对于cache的算法。大方面有两种，Write-Through(通写)和Write-Back(回写). Write-Through，也就是说OS发送的处理data的请求，一直要等到全部memory里面的data正确写到稳定存储media(如硬盘)中，然后返回给OS报告处理完毕，然后OS才会去update其状态;这种情况下，通常不会有dirty cache. 而Write-Back,就是在OS发送处理data的请求后，该算法会将它用buffer存起来，并在没有正确写到稳定存储media(如硬盘)中前，就告诉OS处理完毕，然后OS就会去update；但是要是此时掉电或其他故障，buffer的数据没有被写入稳定存储media(如硬盘)，那么os update的信息就和media中的信息不一致.为了避免这样，所以才用NVRAM，它在调电后数据仍然不丢失，但是在被重新上电后，其数据会是dirty的，也就是楼主所提到的dirty cache(如何将dirty cache更新到media，这是Write-Back应该做的事)。 这和买卖东西相似，Write-Through就相当于你亲自去买东西，你买到什么就可以亲手拿到；而Write-Back就和中介差不多，你给了中介钱，然后它告诉你说你的东西买到了，然后就相信拿到这个东西了，但是要是出现特殊情况中介跑了(掉链子了)，你再去检查，东西原来没有真正到手。

1.Cache的两个类型
--Write Through
当写数据进Cache时，也同时更新了相应的Memory里的内容
--Write back
只是写到Cache里，Memory的内容要等到cache保存的要被别的数据替换或者系统做cache flush时，才会被更新。

2.Cache的两个函数
--Flush
把Cache内容写回Memory,当Cache为Write through,不需要Flush
--Invalidate
把Cache内容直接丢掉不要。

3.Cache的使用场合
当有DMA在使用memory的时候，一般要用到cache的处理。因为DMA在访问memory时是不经过cache的。比较典型的比如在Ethernet，wireless,USB等driver里，DMA会操作descriptors和packet buffers,Driver要做这些处理
--如果driver使用descripter和packet buffer的地址都是cache的地址，那么
a).Driver在读descripter里一些状态比如Owned by CPU/DMA,有没有收到包时，要对descripter当前结构里的内容做cache invalidate,收到packet后，也要对packet buffer做cache invalidate
b).Driver在写descripter里一些状态比如Owned by DMA,要发送包时，要对descripter当前结构里的内容做cache flush,发送packet时，也要对packet buffer做cache flush
--有些driver会对descripter使用uncache 地址，那么上面两种情况里invalidate/flush就不用做了。一般很少会对packet buffer也用uncache地址的，因为对packet内容的处理将会很频繁，使用uncache会很慢。而descripter一般由于结构比较小，如果也使用cache地址的话，做invalidate/flush的时间消耗可能会比uncache的还要多。