Tag: architecture
-
Industry System Case Studies: Pinterest Visual Search & Netflix Recommendation
> **Core Executive Summary**: Real-world system design mastery comes from studying architectures that actually run at scale. This guide dissects **Pinterest** (
-
AIE Agent 生产系统:编排模式、上下文预算、可靠性工程与可观测性
> **核心摘要**：Agent 本质是一个循环——目标、观测、策略、行动、记忆——但生产级 Agent 是一个**带护栏的循环**。本指南覆盖 LLM Agent 上线的完整工程栈：编排模式（ReAct / Plan-and-Execute / Reflexion / 多 Agent）、具备硬终止保证的循环与图式编排
-
MLE 算法手写实战：零基础 Pure Numpy 手写 LR、K-Means、Self-Attention 与 NMS
> **核心摘要**：全量拆解 MLE 面试高频机器学习算法手写 (Whiteboard / Live Coding) 实战。深入剖析零依赖 Pure Numpy 实现逻辑回归 (Logistic Regression)、K-Means 迭代聚类、Softmax 数值防溢出技巧与 Self-Attention / NM
-
RS 论文拆解与研究 Vision：如何向面试官复述 SOTA 论文创新点
> **核心摘要**：在算法研究科学家（Research Scientist, RS）面试中，面试官最看重的是候选人的**独立科研品味（Research Taste）、前沿技术视野（Research Vision）以及对 SOTA 论文的批判性深度解构能力**。面试绝不是简单复述论文摘要，而是展现“从第一性原理审视问题
-
集群调度与 Ray：K8s 调度管线、Raylet 架构、分布式对象存储、弹性扩缩容与 GPU 调度全景
> **核心摘要**：任何 ML 平台都要回答同一个核心问题：给定 $N$ 台节点（CPU/GPU/内存），如何为 $M$ 个任务分配资源，使利用率最高、用户之间公平、且故障不拖垮整个作业？本指南从第一性原理拆解集群调度基本问题（资源分配/优先级/公平性），深入 Kubernetes 调度管线（过滤/打分两阶段、污点/
-
深度学习基础全景：激活函数族全演进(GELU/SwiGLU)、损失函数大一统 (CE/KL/Huber/InfoNCE/ArcFace) 与计算图反向传播极客指南
> **核心摘要**：非线性激活函数、损失函数与计算图反向传播共同构成了现代神经网络训练的三大数理基石。激活函数为网络注入非线性表征能力，使得多层神经元能够逼近任意复杂的连续函数（通用近似定理）；损失函数定义了优化目标的几何曲面与物理约束；而基于自动微分 (Autograd) 的计算图与反向传播算法则是高效率求解参数梯
-
大模型偏好对齐全景：RLHF 3 阶段、PPO 截断损失、DPO 隐式奖励代换、GRPO 与 PRM/ORPO 深度剖析
> **核心摘要**：预训练与 Supervised Fine-Tuning (SFT) 赋予了大语言模型 (LLM) 强大的语言建模与指令遵循能力，但模型依然可能生成有害、偏见或不符合人类期望的回复（即 **Alignment Tax 现象**）。人类偏好对齐技术通过引入人类或 AI 反馈，引导模型向**有用性 (H
-
Tokenizer 分词器与 LLM 采样解码全景：BPE、WordPiece、SentencePiece、Temperature、Top-k/p、Min-p、Gumbel-Max、Penalty 与 Sequence Packing 打包优化
> **核心摘要**：大语言模型 (LLM) 的文本处理管道由**前端文本离散化 (Tokenization)**、**中端自回归 Logit 预测**与**后端概率采样解码 (Decoding & Sampling)** 三大核心阶段构成。本指南系统剖析 BPE、WordPiece、Unigram、SentenceP
-
泛化理论全景：归纳偏置 (Inductive Bias)、Double Descent 双重下降与 PAC 学习范式
> **核心摘要**：为什么深度学习模型（如 700 亿参数大模型）拥有远超训练样本数的参数量，却不会发生严重的过拟合，反而展现出惊人的泛化能力？**泛化理论 (Generalization Theory)** 解释了这一现代 AI 奇迹。通过 **Inductive Bias (归纳偏置)** 注入先验架构约束，借助
-
扩散模型全景：DDPM 数理推导、Latent Diffusion (LDM)、DiT 架构与 GPT-4o Native 生成
> **核心摘要**：生成式 AI 的两大支柱分别是自回归模型 (Autoregressive LLMs) 与 **扩散模型 (Diffusion Models)**。扩散模型借鉴了非平衡态热力学 (Non-equilibrium Thermodynamics) 原理，通过向数据添加高斯噪声（前向过程）并学习一步步恢复