Tag: foundations

> **核心摘要**：任何 ML 平台都要回答同一个核心问题：给定 $N$ 台节点（CPU/GPU/内存），如何为 $M$ 个任务分配资源，使利用率最高、用户之间公平、且故障不拖垮整个作业？本指南从第一性原理拆解集群调度基本问题（资源分配/优先级/公平性），深入 Kubernetes 调度管线（过滤/打分两阶段、污点/

> **核心摘要**：非线性激活函数、损失函数与计算图反向传播共同构成了现代神经网络训练的三大数理基石。激活函数为网络注入非线性表征能力，使得多层神经元能够逼近任意复杂的连续函数（通用近似定理）；损失函数定义了优化目标的几何曲面与物理约束；而基于自动微分 (Autograd) 的计算图与反向传播算法则是高效率求解参数梯

> **核心摘要**：预训练与 Supervised Fine-Tuning (SFT) 赋予了大语言模型 (LLM) 强大的语言建模与指令遵循能力，但模型依然可能生成有害、偏见或不符合人类期望的回复（即 **Alignment Tax 现象**）。人类偏好对齐技术通过引入人类或 AI 反馈，引导模型向**有用性 (H

> **核心摘要**：大语言模型 (LLM) 的文本处理管道由**前端文本离散化 (Tokenization)**、**中端自回归 Logit 预测**与**后端概率采样解码 (Decoding & Sampling)** 三大核心阶段构成。本指南系统剖析 BPE、WordPiece、Unigram、SentenceP

> **核心摘要**：为什么深度学习模型（如 700 亿参数大模型）拥有远超训练样本数的参数量，却不会发生严重的过拟合，反而展现出惊人的泛化能力？**泛化理论 (Generalization Theory)** 解释了这一现代 AI 奇迹。通过 **Inductive Bias (归纳偏置)** 注入先验架构约束，借助

> **核心摘要**：生成式 AI 的两大支柱分别是自回归模型 (Autoregressive LLMs) 与 **扩散模型 (Diffusion Models)**。扩散模型借鉴了非平衡态热力学 (Non-equilibrium Thermodynamics) 原理，通过向数据添加高斯噪声（前向过程）并学习一步步恢复

> **核心摘要**：学习 System Design 的最高境界是研读业界顶级科技巨头的真实架构。本指南全量解构两个经典工业案例——**Pinterest**（视觉搜索与推荐：图像嵌入、PinSage 式图神经网络表征、HNSW 近似最近邻检索、混合检索、多模态表征）与 **Netflix**（流媒体推荐：显式 +

> **Core Executive Summary**: Single GPU VRAM cannot host 100B+ LLM training parameters, gradients, and optimizer states (a 70B FP16 model requires 1.12TB train

> **Summary**: Computer vision architectures evolved from handcrafted local inductive biases (CNNs) to data-driven global self-attention (ViT). This 100% exhaus

> **Core Executive Summary**: LLMs often generate plausible-sounding but unfactual or logically contradictory text, known as **Hallucination**. Hallucinations r