Tag: state-space-models-mamba-s4
-
【AI 核心深度 M4-081】解释状态空间模型（SSM）的基本形式。（Fundamental Formulation of State Space Models (SSM)）深度数理推导与工程落地解析
用线性递归 h'(t)=Ah(t)+Bx(t)、y=Ch(t) 描述序列；离散化后用卷积或扫描并行计算，复杂度线性。
-
【AI 核心深度 M4-082】解释 Mamba 的选择性机制（selective SSM）。（Selective State Space Models (Selective SSM) in Mamba）深度数理推导与工程落地解析
让 B、C、Δ 依赖输入（时变），使模型能’选择性’记忆或忽略信息；代价是无法用卷积，改用并行扫描。
-
【AI 核心深度 M4-083】比较 SSM 与注意力的复杂度与能力。（Complexity and Expressive Capability: SSM vs. Self-Attention）深度数理推导与工程落地解析
训练：注意力 O(L²) vs SSM O(L)；推理：注意力每步 O(L)（KV）vs SSM O(1)（状态）；能力：注意力可精确检索，SSM 是压缩记忆。
-
【AI 核心深度 M4-084】解释混合架构（Attention + SSM）的设计动机。（Design Motivations for Hybrid Architectures Combining Attention and SSM）深度数理推导与工程落地解析
用少量注意力层提供精确检索能力，大量 SSM/线性层提供线性复杂度，兼得能力与效率。
-
【AI 核心深度 M4-085】解释 Mamba 的硬件感知实现（并行扫描 + 核融合）。（Mamba Hardware-Aware Implementation: Parallel Scan and Kernel Fusion）深度数理推导与工程落地解析
把离散化、选择性扫描、输出投影融合进一个 kernel，中间数据留在 SRAM，避免 HBM 往返（同 Flash Attention 思想）。
-
【AI 核心深度 M4-086】SSM 的初始化与数值稳定性有什么特殊之处？（SSM Initialization and Numerical Stability: HiPPO Matrix and Discretization Precision）深度数理推导与工程落地解析
A 的初始化决定记忆特性（HiPPO/S4D 用特定结构）；离散化 exp(ΔA) 易溢出，需参数化约束（如 A 用负实部）。