性能优化1 CPU 缓存

分享汇总

并非原创文章，仅作为 极客时间 课程学习笔记

CPU 缓存是由高性能的 SRAM 组成，并且距离 CPU 更近，所以从缓存中的数据要比内存块很多。CPU 缓存的运行规则对分布式集群里各种操作系统、编程语言都有效。所以，一旦你能掌握它，集群中巨大的主机数量便能够放大优化效果。

多级缓存

综合硬件布局，性能等因素，CPU 缓存分为大小不等的三级缓存。当前 CPU 都是多核心的，每个核心都有自己的一，二级缓存，但三级缓存却是一颗 CPU 上所有核心共享的。

提升数据缓存命中率

for(i = 0; i < N; i+=1) { 
  for(j = 0; j < N; j+=1) { 
    array[i][j] = 0; // array[j][i] = 0;
  } 
}

array[i][j] 会比 array[j][i] 快 8 倍。因为数据会有预加载机制，比如将 array[0][0] 加载入内存的时候，会一并把 array[0][1] 等数组元素加载入缓存。

那当载入数组的元素时，会一次性载入多少元素呢？

这与 CPU Cache Line 有关，它定义了从内存中一次载入缓存数据的大小

其他应用

在 Nginx 中，使用哈希表存储域名 HTTP 域名等数据的，其中桶大小应该是 CPU Cache Line 的整数倍。

提高指令缓存命中率

有一小段代码是要讲数组里面的大于 128 的数字值置为 0，并将其排序。一种是先排序，后遍历。另一种是先遍历，后排序。哪种快呢？其实是先排序快，因为先排序可以提高指令缓存命中率。

如何提高的呢

CPU 含有分支预测器，如果可以预测 if else 究竟是那段代码被执行，就可以提前将要运行的代码加载入缓存。

提高多核CPU 下的缓存命中率

在多核 CPU 下，一二级缓存是面向单颗 CPU 的，第三级缓存是面向所有 CPU 的。如果 「甲进程」在某个时刻在 CPU1 上运行，并填充了三级缓存。之后「甲进程」又被调度到了 CPU2 上，这样缓存就失效了。解决方式是可以通过操作系统提供的系统调用，将一个进程和某一颗特定的 CPU 进行绑定。

思考题

多线程并行访问不同的变量，这些变量在内存布局是相邻的（比如类中的多个变量），此时 CPU 缓存就会失效，为什么？又该如何解决呢？

参考：

https://time.geekbang.org/column/article/230194