您的位置:首页 > 其它

体系结构学习12-Cahce

qq_40891899 2020-05-11 04:13 89 查看 https://blog.csdn.net/qq_40891

1、Cache的必要性:

CPU处理速度远超内存访问速度(Processor-Memory Gap)
主要体现在

  • latency :主存50~100ns,CPU <1ns
  • Bandwidth:指令和数据都需要访问内存
  • Bandwidth-Delay Product:Little‘s Law

现实中存储单元的问题

  • 越大地址越多驱动单元越多线越长访问越慢
  • 越快越昂贵
  • 带宽越宽越昂贵

2、存储层次结构与访存局部性

数据管理方式:

  • Manual:程序负责管理数据访问
  • Automatic:硬件管理数据访问

时间局部性、空间局部性

3、cache的性能

  • block:利用空间局部性
  • frame:存放block的空间
  • hit/miss:
  • miss ratio
  • hit time
  • miss penalty

计算平均访问时间需要从外向内计算访问时间,因为内部miss就需要向外部继续请求。(Ti = ti + mi*Ti+1)
系统对内部的cahce miss更敏感,外层的miss变化对内部的访问时间影响较小。

4、Cache的结构

  • 块划分
    直接映射、全相联(最慢,比较器最多)、组相联

  • cache替换
    一般不针对直接映射,主要是组相联,全相联。
    (1)随机替换:简单但是性能无法保证。
    (2)LRU:替换最不经常访问。
    (3)FIFO:简单但是没考虑块使用频率。
    (4)NMRU:LRU的简化版本,替换不经常访问的。

  • LRU算法
    需要额外空间存储访问情况、需要修改所有块的访问状态信息。
    采用状态机记录块的状态以及变化,但是路数增加会导致状态机膨胀。
    LRU不是最优的算法。

  • Belady’s OPT:miss rate最优算法,替换最久之后会用到的块。(但是没有考虑内存访问的并行性,所以stall不是最优)

  • NMRU:只记录最常使用的组以及组内最常用的块。

  • Victim/Next Victim Policy:确定需要替换的块,随机选择Victim,动态调整Victim。只需要记录Victim和Next Victim

  • cache写回策略
    cache hit
    直写法:覆盖cache和memory内容,确保两者一致。
    回写法:只写cache,在被替换出去时写回主存。(Dirty 位)

    cache miss
    非写分配:不写回cache,直接写回内存(+直写法)
    写分配:把数据取回cache然后写 (+回写法)

5、Cache的性能

  • 降低hit time
    (1)在判断hit时提前读取其data
    (2)cache使用虚拟地址寻址会导致更多的冲突以及虚拟地址重名,不同虚拟地址指向同一个物理地址;cache应该使用物理地址寻址,但TLB转换地址会增加时延——>可以使用虚拟地址的offset中的部分位作为索引,与物理地址转化并行来提高速度,但是index大小限制于页大小从而限制了cache大小——>把部分index放入虚地址tag,page部分index检索所有可能性 / page color 确保虚拟地址的tag低位index和物理地址一样,需要tlb分配时做额外工作。
    (3)预测:(争取达到直接映射的速度)
    (4)降低指令cache 的hit time:Trace cache 按照指令历史执行顺序存放在Icache
    (5)降低写入cache的hit time:写错了会导致数据丢失——>采用并行执行,但是会备份原数据——>Piplined:分成两个步骤写回:匹配、写入

  • 降低miss ratio
    常见类型
    (1)Compulsory miss:第一次访问一定会miss
    (2)Capacity miss:cache容量不够产生
    (3)Conflict miss:不同内存映射在同一个cache地址,需要替换
    (4)Coherence miss:多CPU执行时的数据问题
    解决方式
    (1)增大cache 容量:速度增快但芯片面积变大
    (2)增大block:利用空间局部性,tag减小匹配更快。但是容易浪费带宽,增加conflict。(多为64bits)
    (3)增加组内路数
    (4)增加cache级数:Global miss rate 和 local miss rate
    Inclusive multilevel cache:不同级cache可以保存一样的数据
    Exclusive Multilevel cache:不同级cache只保存一份数据
    (5)优化软件代码:利用局部性

  • 降低miss penalty
    (1)Victim cache:miss时访问victim cache可以避免访存,但是增加了计算复杂度
    (2) Critical word first:内存优先反汇需要的数据,其他的慢慢返回
    (3)Early Restart:得到需要的数据后就开始执行,可以不用等待cache全部填完
    (4)Write Buffer:写数据时记录在buffer中,可以在之后的周期写,也可以整合同一地址写数据
    (5)Non-Blocking cache:Memory level parallel
    hit under miss:让miss与之后指令的hit并行执行
    miss under miss:让miss后再多执行指令,同时发现多个miss,统一发送访存请求。
    数据结构:MSHRs(Miss status handling register)
    (6)Increase Cache bandwidth:多端口cache(实现起来比较困难,处理读写操作)实际上可以用虚拟多端口——前半周期读,后半周期写;也可以用Multi cache copies,可以同时读,但是写需要重复写几份;cache banking——按地址类别(比如低地址0/1)访问不同端口,但是也会有conflict,不能达到真正的多端口cache,类似于memory banking。让每一个小的bank独立处理读写请求,增加系统带宽。

淡定路过的我 原创文章 19获赞 1访问量 684 关注 私信
标签: