Tag: applied-scientist

绝对编码加到输入、位置固定；相对编码建模位置差；RoPE 用旋转实现相对位置；ALiBi 用线性衰减偏置，外推性最好。

NTK-aware 按’插值低频、保留高频’非均匀缩放位置；YaRN 在 NTK 基础上加温度校正与注意力缩放，外推更稳。

把位置线性压缩 s 倍使超出训练长度的位置落入训练范围；代价是局部位置分辨力下降与注意力熵增大。

因果 mask 使位置信息可从’可看多少上下文’中隐式推断；此外 token 频率/局部模式也携带位置线索。

RoPE 可写成复数乘法（q·e^{ipθ}）；实现用预计算 sin/cos 做逐元素乘加；基频 θ 决定可区分的最大距离。

不加位置编码，直接在注意力 logits 上加 −m_h·(i−j) 的线性衰减；不同头用不同斜率，外推性极强且零参数。

把 RoPE 的维度分成若干段，分别编码时间/高度/宽度等维度；M-RoPE 用这种方式统一处理文本与图像。

用 PPL 随长度曲线、needle-in-a-haystack、长文档 QA、RULER 等综合基准；单看 PPL 会高估外推能力。