AirSOTA
Air School of Thoughts AtoZAirSOTA 知识矩阵：聚合大模型算法架构、科学育儿情境成长、加州地产考牌实战与全球数字化商业出海的权威专栏。
TalentMe · AI 学习与系统架构
工业级 AI 算法核心 69 题、前沿大模型系统架构演进与北美技术面试全流程备考深度长文。
【AI 核心深度 M4-081】解释状态空间模型（SSM）的基本形式。（Fundamental Formulation of State Space Models (SSM)）深度数理推导与工程落地解析
用线性递归 h'(t)=Ah(t)+Bx(t)、y=Ch(t) 描述序列；离散化后用卷积或扫描并行计算，复杂度线性。
【AI 核心深度 M4-082】解释 Mamba 的选择性机制（selective SSM）。（Selective State Space Models (Selective SSM) in Mamba）深度数理推导与工程落地解析
让 B、C、Δ 依赖输入（时变），使模型能’选择性’记忆或忽略信息；代价是无法用卷积，改用并行扫描。
【AI 核心深度 M4-083】比较 SSM 与注意力的复杂度与能力。（Complexity and Expressive Capability: SSM vs. Self-Attention）深度数理推导与工程落地解析
训练：注意力 O(L²) vs SSM O(L)；推理：注意力每步 O(L)（KV）vs SSM O(1)（状态）；能力：注意力可精确检索，SSM 是压缩记忆。
【AI 核心深度 M4-084】解释混合架构（Attention + SSM）的设计动机。（Design Motivations for Hybrid Architectures Combining Attention and SSM）深度数理推导与工程落地解析
用少量注意力层提供精确检索能力，大量 SSM/线性层提供线性复杂度，兼得能力与效率。
【AI 核心深度 M4-085】解释 Mamba 的硬件感知实现（并行扫描 + 核融合）。（Mamba Hardware-Aware Implementation: Parallel Scan and Kernel Fusion）深度数理推导与工程落地解析
把离散化、选择性扫描、输出投影融合进一个 kernel，中间数据留在 SRAM，避免 HBM 往返（同 Flash Attention 思想）。
【AI 核心深度 M4-086】SSM 的初始化与数值稳定性有什么特殊之处？（SSM Initialization and Numerical Stability: HiPPO Matrix and Discretization Precision）深度数理推导与工程落地解析
A 的初始化决定记忆特性（HiPPO/S4D 用特定结构）；离散化 exp(ΔA) 易溢出，需参数化约束（如 A 用负实部）。
【AI 核心深度 M4-087】解释 GNN 的消息传递框架。（Message Passing Neural Network (MPNN) Framework in GNNs）深度数理推导与工程落地解析
每层分三步：邻居发消息（message）、聚合（aggregate，置换不变）、更新自身（update）；堆叠 L 层即聚合 L 跳邻域。
【AI 核心深度 M4-088】比较 GCN、GraphSAGE 与 GAT。（Comparison of Graph Convolutional Networks: GCN, GraphSAGE, and GAT）深度数理推导与工程落地解析
GCN 用归一化的固定权重平均；GraphSAGE 采样邻居并学习聚合（可归纳）；GAT 用注意力学习邻居权重。
【AI 核心深度 M4-089】解释 GNN 的过平滑与过挤压问题。（Oversmoothing and Oversquashing in Deep GNNs）深度数理推导与工程落地解析
过平滑：层数增加使节点表示趋同；过挤压：远距离信息需挤过瓶颈节点，导致长程依赖丢失。
【AI 核心深度 M4-090】解释 GNN 在大规模图上的训练策略。（Large-Scale Graph Training Strategies: Node Sampling, Layer Sampling, and Subgraph Partitioning）深度数理推导与工程落地解析
邻居采样（GraphSAGE/邻居爆炸）、子图采样（Cluster-GCN）、以及分布式训练与图分区。
【AI 核心深度 M4-091】解释异构图与关系图卷积（R-GCN）。（Heterogeneous Graphs and Relational Graph Convolutional Networks (R-GCN)）深度数理推导与工程落地解析
异构图有多种节点/边类型；R-GCN 为每种关系用独立权重矩阵，参数随关系数增长，用基分解/块对角降参。
【AI 核心深度 M4-063】解释 chunked prefill 与混合批处理调度。（Chunked Prefill and Piggyback Hybrid Batch Scheduling）深度数理推导与工程落地解析
把长 prompt 的 prefill 切成小块，与 decode 请求混在同一批中，兼顾 TTFT 与吞吐（算力与带宽互补）。
【AI 核心深度 M4-064】解释投机解码的变体（Medusa / EAGLE / MTP）。（Speculative Decoding Variants: Medusa, EAGLE, and Multi-Token Prediction）深度数理推导与工程落地解析
Medusa 加多个预测头一次预测多 token；EAGLE 在特征层自回归预测；MTP 在训练时加多 token 预测目标。
【AI 核心深度 M4-065】解释推理的吞吐-延迟权衡（TTFT / TPOT / 批大小）。（Throughput vs. Latency Trade-offs in Inference: TTFT, TPOT, and Batch Size）深度数理推导与工程落地解析
增大 batch 提升吞吐但增加单请求延迟（TTFT/TPOT）；服务需在 SLO 约束下最大化吞吐。
【AI 核心深度 M4-066】解释 PD 分离（prefill-decode disaggregation）。（Prefill-Decode Disaggregation Architecture）深度数理推导与工程落地解析
把 prefill 与 decode 部署在不同实例（各自优化），通过高速网络传 KV cache；消除两阶段互相干扰。