Tag: efficient-attention-flashattention

用’访问字节数’衡量算法成本；roofline 用算术强度（FLOPs/字节）判断算力受限还是带宽受限。

FA2 优化并行度与 warp 调度、减少非 matmul FLOPs；FA3 面向 Hopper 用 TMA 与 warp specialization。

decode 每步只算 1 个 query，但需读取全部 KV cache；并行度不足导致 GPU 空闲，Flash-Decoding 用’切分 KV + 两阶段归约’提升并行。

把多个小算子合并为一个 kernel，减少中间张量的 HBM 往返与 kernel 启动开销；compile 可自动融合并生成高效代码。

保存每行的 (m, ℓ) 与输出 O，反向时用它们重算 S、P（不存 L×L 矩阵），显存 O(L)。

把 KV cache 分成固定大小的块（page），用块表间接映射，实现非连续存储、按需分配与共享，消除碎片。

把序列维切到多设备，各设备算局部注意力并用环形传递 K/V 块，实现超长序列的分布式注意力。

IO 优化（Flash）不改数学、只减访存；稀疏只算部分位置；近似用低秩/核/采样降复杂度。三者可叠加。

注意力是 memory-bound：不物化 L×L 矩阵，用分块 + 在线 softmax 在 SRAM 内完成计算，减少 HBM 读写。

逐块处理时维护 running max 与 running sum，用 e^{m_old−m_new} 重缩放已累积结果，实现与全量 softmax 等价。