Tag: attention-variants-mha-mqa-gqa
-
【AI 核心深度 M4-045】解释 softmax 之外的注意力替代（sigmoid attention、归一化变体）（Alternatives to Softmax Attention: Sigmoid Attention and Normalization Variants）深度数理推导与工程落地解析
用 sigmoid 逐元素门控替代 softmax 的行归一化，去掉’必须分配满权重’的约束，缓解 sink 与熵崩塌。
-
【AI 核心深度 M4-046】解释注意力与外部记忆/检索的融合（kNN-LM、RETRO）（Fusing Attention with External Memory and Retrieval: kNN-LM and RETRO）深度数理推导与工程落地解析
把外部语料库的表示作为额外 key/value 参与预测：kNN-LM 在输出分布上插值检索分布；RETRO 用分块交叉注意力注入检索邻居。