Tag: sequence-modeling-trade-offs
-
【AI 核心深度 M4-093】对比 RNN、CNN、Transformer 在序列建模上的归纳偏置。（Inductive Biases in Sequence Modeling: RNN, CNN, and Transformer）深度数理推导与工程落地解析
RNN 有序列递归偏置（顺序、可变长）；CNN 有局部性/平移等变偏置；Transformer 偏置最弱（需数据学结构）。
-
【AI 核心深度 M4-094】什么场景仍应选择 RNN/LSTM？（When to Still Choose RNN/LSTM Over Transformers: Low-Latency Edge, Microcontrollers, and Infinite Streaming）深度数理推导与工程落地解析
流式/在线（O(1) 状态、低延迟）、极长序列且状态可压缩、边缘设备（小模型）、以及强顺序依赖的状态机任务。
-
【AI 核心深度 M4-095】如何为长序列任务选择架构？（Architecture Selection Guide for Long-Sequence Tasks）深度数理推导与工程落地解析
按’是否需要精确检索、序列长度、算力/延迟约束’决策：需检索用注意力（或混合），纯统计用 SSM，超长用稀疏/线性。
-
【AI 核心深度 M4-096】解释位置敏感任务与位置无关任务对架构的不同要求。（Architectural Requirements for Order-Sensitive vs. Order-Invariant Tasks）深度数理推导与工程落地解析
位置敏感任务（检索、复制、算术）需强位置信息（RoPE/位置编码）；位置无关任务（分类、情感）可弱化位置。
-
【AI 核心深度 M4-097】如何评估长序列模型的真实能力？（Systematic Evaluation of Long-Context Models: Beyond Needle-in-a-Haystack to RULER and Reasoning）深度数理推导与工程落地解析
用多任务基准（RULER：检索/多跳/聚合/QA）+ 不同位置与长度的热力图 + 与’仅局部基线’对比，而非只看 PPL。
-
【AI 核心深度 M4-098】解释序列模型的长度外推与长度泛化。（Length Extrapolation vs. Length Generalization in Sequence Models）深度数理推导与工程落地解析
外推指超出训练长度的表现；长度泛化指能否处理任意长度（含训练内插）。二者都受位置编码与注意力模式限制。