Tag: architecture
-
Agentic RL & Reasoning Search: MCTS, Process Supervision & RLVR
> **Core Executive Summary**: As LLMs evolve toward **Autonomous Agents** and **System 2 Slow-Thinking**, static single-pass generation gives way to trajectory
-
Industry Recommendation System Design: 3-Stage Pipeline, Two-Tower Models & Feature Store
> **Core Executive Summary**: No single model can score a hundred-million-item corpus within a ~50ms latency SLA. Production systems decompose inference into a
-
AIE 大模型系统设计：千万级 RAG、Code Agent 与推理服务架构
> **核心摘要**：大模型系统设计（LLM System Design）是 AI 应用架构师与 AIE 资深工程师面试的核心考核关卡。与传统分布式系统相比，大模型系统面临四大独特挑战：长上下文吞吐与显存墙瓶颈、非确定性生成的安全沙箱隔离、海量知识库高精度混合召回、以及端到端秒级流式响应。本指南深度拆解企业级多租户 R
-
MLE 模型评估与调试工程：交叉验证策略、数据泄漏、偏差方差诊断、漂移检测与 A/B 验证
> **核心摘要**：模型的价值取决于验证它的评估闭环。本指南完整覆盖 MLE 面试与生产落地中的评估-调试工程链路：如何划分数据并选择正确的交叉验证策略（K-Fold / Stratified / GroupKFold / TimeSeriesSplit / 留一法）、数据泄漏如何静默地虚高每一个离线指标、如何通过
-
LLM-as-a-Judge 自动化评估全景：Pointwise 与 Pairwise 范式、三大 Bias 消除与 Cohen’s Kappa 统计一致性
> **核心摘要**：随着 LLM 生成内容的日益复杂，传统基于 N-gram 重合度的 BLEU 和 ROUGE 指标无法衡量深刻的语义连贯性与事实准确性。**LLM-as-a-Judge** 采用更强大的 LLM (如 GPT-4) 作为裁判对生成结果进行自动化打分。本指南系统解构 Pointwise 与 Pair
-
高并发 AI 系统设计全景：SSE 流式打字机推送、语义缓存 (Semantic Cache) 与 ML Runtimes
> **核心摘要**：传统的 Web 系统处理的是毫秒级响应的轻量 HTTP 请求，而 AI 大模型服务单次生成可能长达数秒乃至数分钟。**高并发 AI 系统设计**必须解决流式长连接推送、GPU 计算资源的高效批处理、语义缓存加速以及突发流量下的熔断限流。本指南系统解构 HTTP SSE 打字机长连接、Semanti
-
生成对抗网络 (GAN) 全景：Minimax 博弈、JS 散度缺陷、WGAN Wasserstein 距离推导、WGAN-GP 梯度惩罚与 Mode Collapse 极客指南
> **核心摘要**：生成对抗网络 (Generative Adversarial Networks, GAN) 是深度学习领域最具震撼力的隐式生成模型 (Implicit Generative Models) 之一。通过生成器 (Generator) 与判别器 (Discriminator) 之间的双人零和博弈 (T
-
MoE 混合专家模型与 DeepSeek MLA/MTP/mHC 架构解构：Top-k 门控、无辅助损失均衡、低秩潜注意力与 KAN 剖析
> **核心摘要**：随着模型参数量迈向万亿关口，稠密 (Dense) 模型前向计算开销急剧飙升。**混合专家模型 (Mixture-of-Experts, MoE)** 通过将 FFN 全连接层替换为多个独立的专家网络，并由**门控路由 (Gating Router)** 对每个 Token 仅动态激活前 $k$ 个
-
决策树与集成学习：CART、GBDT 负梯度拟合、XGBoost 二阶展开与 LightGBM 极客全解
> **核心摘要**：树模型与集成学习是表格数据 (Tabular Data) 领域的无冕之王。本指南系统梳理从单棵决策树的特征选择规则 (ID3 / C4.5 / CART) 到集成学习范式 (Bagging vs Boosting)，深入剖析 GBDT 的负梯度拟合、XGBoost 的二阶泰勒展开与正则化叶子权重推
-
AI 数理基础全景：贝叶斯推断、香农信息熵、交叉熵与 KL 散度非对称证明
> **核心摘要**：概率论与信息论是整个人工智能、机器学习以及深度学习的核心数学支撑。从概率分布的**贝叶斯推断 (Bayesian Inference)** 到量化信息不确定性的**香农信息熵 (Entropy)**，再到深度学习损失函数的基石——**交叉熵 (Cross-Entropy)** 与 **KL 散度