所属模块：
M4 · 序列与 Transformer (Sequences & Transformers)| 专题分类：注意力变体 (Attention Variants (MHA / MQA / GQA))| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
只让每个 token 关注部分位置（局部窗口 / 固定稀疏模式 / 学习式），把 O(L²) 降到 O(L·w) 或 O(L·k)。
Sparse attention restricts tokens to attending to local sliding windows, dilated strides, or global anchor tokens, cutting $O(N^2)$ complexity to $O(N cdot W)$ linear time.
二、核心考点要义 (Key Insights)
- 📌 滑动窗口：每个 token 只看前后 w 个（Mistral/Longformer）
- 📌 固定稀疏模式（strided/dilated）或学习式稀疏（Top-k）
- 📌 局部 + 少量全局 token 的混合可保持全局信息通路
English Insights:
– Sliding Window Attention (SWA / Mistral): token $i$ attends only to tokens within $[i – W, i]$; reduces complexity from $O(N^2)$ to $O(N cdot W)$
– Receptive field accumulation: stacking $L$ layers expands effective receptive field to $L times W$ through recursive multi-hop information routing
– Global tokens: BigBird and Longformer add full bidirectional attention to special anchor tokens (e.g., [CLS]) to bridge global context
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{sliding window}: text{Attn}{i}=mathrm{softmax}(Q_iK=O(Lw)$$}^{top})V_{i-w:i};qquad text{cost
数学机理：动机——标准注意力复杂度 O(L²d)，长序列下不可行；而经验观察显示注意力高度局部化（大部分权重集中在邻近位置）与稀疏（只有少数位置被显著关注）。滑动窗口注意力（SWA）——限制每个 query 只关注最近的 w 个 key：Attn_i=softmax(Q_iK_{i−w:i}ᵀ)V_{i−w:i}，复杂度降到 O(L·w·d)（线性于长度）。关键问题——纯局部窗口使信息无法跨越超过 w 的距离；解法有两条：(a) 堆叠扩大感受野——L 层窗口 w 的网络，感受野为 L·w（类似 CNN）；(b) 混合全局 token——保留少量’全局 token’（如序列开头、特殊标记）供所有位置关注，或每隔几层插入一层全注意力（层间交替，如 Gemma-2/Mistral 的’SWA + 全注意力交替’）。其他稀疏模式：(a) 固定模式（strided/dilated，如 Longformer 的’局部窗口 + 空洞窗口 + 全局’）；(b) 学习式稀疏（Top-k 注意力，只保留分数最高的 k 个位置）；(c) 块稀疏（把序列分块，只算部分块的注意力）。为什么 GPU 上加速有限——稀疏注意力的 FLOPs 虽降低，但 (a) 内存访问不规则（难以利用 GPU 的连续访存与张量核心）、(b) 仍需读取被屏蔽位置的信息（除非有专门的稀疏 kernel）、(c) 负载不均衡（不同 query 的稀疏模式不同）。故朴素稀疏实现常不比稠密快，需专门 kernel（如 FlashAttention 的块稀疏变体）才能兑现加速。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Mathematical Formulations:
① Sliding Window Attention (Beltagy et al., Longformer; Jiang et al., Mistral 7B):
Let window size be $W$. Attention mask is defined as:
$M_{text{SWA}}[i, j] = begin{cases} 0 & text{if } 0 le i – j le W \ -infty & text{otherwise} end{cases}$.
– Complexity: Memory and FLOPs scale as $O(N cdot W)$, strictly linear in sequence length $N$.
– Theoretical Multi-Hop Receptive Field:
At layer 1, token $i$ sees $[i – W, i]$.
At layer 2, tokens inside $[i – W, i]$ have already attended to their own predecessors up to $i – 2W$.
After $L$ stacked Transformer layers, the effective theoretical receptive field expands to: $text{RF}_L = L times W$.
For Mistral ($L=32, W=4096$), the theoretical receptive field covers $32 times 4096 = 131,072$ tokens!
② Rolling Buffer KV Cache:
During inference, cache size is capped at $W$. Position $i$ overwrites position $i pmod W$ in circular buffers, capping VRAM memory permanently.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
深度剖析与工程权衡：① ‘稀疏 ≠ 快’的教训——这是高效注意力领域的核心工程现实；FLOPs 降低只是必要条件，还需 (a) 规则化稀疏模式（块对齐）、(b) 定制 kernel、(c) 与 Flash Attention 的 IO 优化结合。② 滑动窗口的实用性——SWA 因模式规则（连续窗口）、易于 kernel 实现，是最成功的稀疏方案；Mistral-7B、Gemma-2 等采用’SWA + 全注意力交替’，在保持长上下文能力的同时大幅降低计算。③ 与 KV cache 的关系——SWA 使 KV cache 只需保留最近 w 个（环形缓冲），显存从 O(L) 降到 O(w)（常数）；这是长上下文推理的重要优势（StreamingLLM 即基于此）。④ ‘注意力汇聚’的必要性——纯 SWA 若无全局 token，会导致注意力模式退化（模型需一个’垃圾桶’位置）；故 SWA 模型常保留初始 token（attention sink）或专门的全局 token。⑤ 学习式稀疏的进展——NSA（Native Sparse Attention）等用可学习的分块选择 + 硬件友好设计，在长上下文上取得接近全注意力的质量与显著加速。⑥ 面试要点——被问’稀疏注意力’，应给出’滑动窗口（最实用）+ 全局 token/层间交替（保全局通路）+ 块稀疏（硬件友好）‘的分类，并强调’FLOPs 降低不等于加速，需规则模式 + 定制 kernel‘；这是区分’读过论文’与’做过部署’的关键。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
GPU Hardware Reality: Irregular or dynamic sparsity patterns achieve zero hardware speedup on GPUs due to non-coalesced memory access. Sliding Window Attention succeeds because fixed, regular band-diagonal matrices are easily accelerated via custom FlashAttention kernels.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 以为稀疏注意力一定更快（需规则模式与定制 kernel）
- ⚠️ 纯滑动窗口不保留全局 token 导致全局信息通路断裂
English Pitfalls:
– Using pure Sliding Window Attention without global tokens or interleaved full-attention layers on retrieval tasks, causing complete loss of long-range single-hop recall
– Confusing theoretical multi-hop receptive field ($L times W$) with effective single-hop attention capability
六、高频深度面试追问与预测 (Follow-Up Questions)
- 滑动窗口为什么需要’全局 token’或’层间交替’？
- How does Mistral’s Rolling Buffer Cache cap inference KV-cache memory to a fixed window size $W$?
- 稀疏注意力为什么在 GPU 上加速有限？
- Why do arbitrary graph-based sparse attention patterns fail to accelerate execution on modern GPU architectures?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
注意力变体：Multi-Head (MHA)、Multi-Query (MQA) 与 Grouped-Query (GQA)(Attention Variants: MHA, MQA & Grouped-Query Attention (GQA)) - 🗺️ 知识图谱模块：
AI 基础设施工程导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。