Tag: dl_kernel

Tri Dao 经典突破，SRAM 分块平铺计算与指数动量增量合并，避免向 HBM 回写 N×N 注意力矩阵。

训练期按 1/(1-p) 进行倒置缩放，保证输出数学期望在训练与推理期恒定一致，使推理期实现完全零计算开销。

何恺明团队经典架构，将通道划分为 G 个组独立归一化，彻底解除对 Batch Size 大小的依赖。

面试官深度必问考点：训练期用当前 Batch 统计并以动量更新全局均值方差，推理期冻结并采用全局统计量。

抛弃均值偏移计算，仅通过均方根进行缩放，加速 10%~50% 的现代化 LLM 归一化方案。

跨特征维度归一化，训练与推理行为完全一致，包含可学习参数 gamma 和 beta。

Softplus 的阈值截断防溢出实现，以及 LeakyReLU 负斜率泄漏机制。

现代大模型最核心的 FFN 算子，由 Gate/Up 投影与 SiLU 逐元素相乘并 Down 投影降维。

基于高斯累积分布的自适应随机正则化门控激活，现代 GPT/BERT 标配算子。

正负区间分段避免大负数指数溢出，Log-Sigmoid 采用 logaddexp 解决二元损失下溢。