Tag: transformer
-
【AI 架构指南】工业级手撕算法与核心算子实战完全手册 (Science Coding 69 题全景版图与通关路径)
TalentMe 团队重磅发布 Science Coding 69 题工业级手撕算法实战库，涵盖基础算子、Transformer 核心注意力、前沿对齐强化学习、分布式通信与显存推理优化等十二大板块。
-
【AI 工业核题 D5】Cross-Attention 跨模态/跨序列注意力（Cross-Attention Mechanism）深度实现与原理解析
Query 来自解码器/当前序列，Key 与 Value 来自编码器/跨模态提示条件，文本生成与 Diffusion 条件注入基石。
-
【AI 工业核题 D3】GQA / MQA 分组查询注意力（共享 KV 头）（Grouped-Query & Multi-Query Attention）深度实现与原理解析
大幅降低自回归解码阶段 KV Cache 显存占用的关键创新，MHA 到 MQA 的完美折中。
-
【AI 工业核题 D2】Multi-Head Attention 多头注意力（MHA 分头与拼接）（Multi-Head Attention (MHA)）深度实现与原理解析
输入线性映射切分多头、多子空间并行计算、拼接输出残差降维，Transformer 骨架核心。
-
【AI 工业核题 D1】Scaled Dot-Product Attention 与因果掩码（Scaled Dot-Product Attention with Causal Mask）深度实现与原理解析
除以根号 d 保持方差稳定，融入上三角无穷大掩码阻断未来信息泄漏。
-
【AI 工业核题 C4】RoPE 长度外推（NTK-Aware Scaled 动态基频缩放）（NTK-Aware Scaled RoPE Extrapolation）深度实现与原理解析
解决直接线性插值造成高频信息丢失的缺陷，基于神经正切核理论动态非线性缩放基频。
-
【AI 工业核题 C3】ALiBi 线性偏置注意力（斜率衰减与外推）（Attention with Linear Biases (ALiBi)）深度实现与原理解析
无需位置向量嵌入，直接在 Query-Key 点积上添加静态线性距离惩罚偏置，外推能力极强。
-
【AI 工业核题 C2】RoPE 旋转位置编码（复数旋转矩阵与张量分块）（Rotary Position Embedding (RoPE)）深度实现与原理解析
现代大模型（LLaMA/Mistral/DeepSeek/Qwen）通用标配，复数平面 2D 旋转保持点积内积的纯相对位置依赖。
-
【AI 工业核题 C1】Sinusoidal 绝对位置编码（正余弦几何交变）（Sinusoidal Positional Encoding）深度实现与原理解析
Attention Is All You Need 原文经典，偶数正弦奇数余弦，具备相对位置线性变换性质。