Tag: seq2seq-attention-origins

编码器把整个输入压成固定维向量，解码器从该向量生成输出；瓶颈在于所有信息必须挤进一个固定维状态。

解码器每步用当前状态与全部编码器状态算相似度、softmax 得权重、加权求和得上下文向量，再与解码状态拼接生成。

注意力用 softmax 权重对源位置做加权平均，权重连续可微、可端到端训练；硬对齐（argmax/离散选择）不可微。

teacher forcing 训练时用真实前缀，推理时用模型自己的输出；训练-推理输入分布不一致导致误差累积（exposure bias）。

beam search 保留 top-k 候选序列逐步扩展；因每步累加对数概率，短序列得分天然更高，需长度归一化校正。

编码器-解码器适合序列到序列转换；仅编码器适合理解/表示；仅解码器适合生成与通用任务，已成为 LLM 主流。