FlashAttention 1 和 FlashAttention 2 的区别
记录学习 FlashAttention 1 和 FlashAttention 2 时,对 HBM IO、GPU 并行度和 kernel 优化的理解。
打开专业选择小游戏,马上开始体验
按分类、标签和关键词快速定位内容
了解我、博客定位与未来更新计划
用你习惯的阅读器追更,不错过每次灵感
记录学习 FlashAttention 1 和 FlashAttention 2 时,对 HBM IO、GPU 并行度和 kernel 优化的理解。
galgame 开发日记
记录学习 RoPE 旋转位置编码时,从二维旋转、点积关系到代码实现的理解过程。
记录学习残差连接、BatchNorm、LayerNorm、RMSNorm 以及 Pre-Norm 时的一些理解和困惑。
记录学习 HTTP 协议栈时,从网络分层、HTTPS、HTTP/2/3 到工程排障的理解和心得。
记录学习现代大语言模型架构与输入输出流水线时的理解、困惑和阶段性总结。
Linux 内核系列重定向页,包含 Linux 内核源码分析的所有文章目录。
26届泰迪杯算法详解
记录学习 Linux 内核 struct page 时,对字段含义、页生命周期和内存管理主线的理解。
记录学习内存虚拟化时,对地址空间、页表、TLB、缺页、COW、mmap 和排障方法的理解。
记录学习 CPU 虚拟化时,对 vCPU、VM Exit、调度、I/O 路径和排障方法的理解。