AirSOTA
Air School of Thoughts AtoZAirSOTA 知识矩阵：聚合大模型算法架构、科学育儿情境成长、加州地产考牌实战与全球数字化商业出海的权威专栏。
TalentMe · AI 学习与系统架构
工业级 AI 算法核心 69 题、前沿大模型系统架构演进与北美技术面试全流程备考深度长文。
AIE 大模型系统工程师核心地图：SFT/LoRA/RAG/Agent 面试必考
> **核心摘要**：大模型系统工程师（AI / LLM Systems Engineer, AIE）是当前 AI 工业界最火热的工程岗位。AIE 的技术栈横跨算法微调、系统架构、检索工程与推理基础设施。本核心地图全景拆解 AIE 岗位最高频的六大知识模块：AIE vs MLE 能力矩阵、SFT 数据工程与 Loss
MLE 机器学习工程师核心地图：高频八股、竞赛经验与 Pinterest 案例
> **核心摘要**：MLE 面试核心是一套高频复现的知识点闭环——**正则化与偏差方差权衡、过拟合诊断、特征工程、评估指标 (AUC / PR / F1)、类别不平衡、梯度消失、交叉验证、模型选型与集成方法**。在生产落地（如 Pinterest 规模推荐系统）中，它们汇成一条流水线：过滤万亿级原始日志 → 以无穿越
Structure
> ⚠️ **Auto-generated by `scripts/generate-structure.mjs` — do not edit manually.**
分布式并行训练全景：TP 张量并行、PP 流水线并行、DP 数据并行与 DeepSpeed ZeRO 1/2/3
> **核心摘要**：单张 GPU 的显存（如 H100 80GB）远不足以装载千亿参数大模型的权重、梯度和优化器状态（70B 模型 FP16 训练至少需要 1.12TB 显存）。**分布式 4D 并行体系 (DP, TP, PP, EP)** 与 **DeepSpeed ZeRO** 实现了跨千卡 GPU 集群的高效
视觉架构演进全景：2D 卷积、感受野迭代计算、Depthwise 深度可分离卷积、ResNet 恒等残差映射与 Vision Transformer (ViT) 极客指南
> **核心摘要**：从传统的 2D 卷积神经网络 (CNN) 到打破模态壁垒的 Vision Transformer (ViT)，计算机视觉架构经历了从“人工设计局部归纳偏置”到“数据驱动全局自注意力”的伟大范式转移。本指南系统剖析系统剖析 2D 卷积维度与感受野 (Receptive Field, RF) 通用递推
大模型幻觉与真实性全景：内在/外在幻觉分类、FActScore 评估、RAGAS 框架与 RoPE 位置插值 (PI/NTK/YaRN) 扩展技术
> **核心摘要**：大语言模型 (LLM) 在生成文本时常出现看似合理但违背事实或上下文逻辑的现象，称为**幻觉 (Hallucination)**。幻觉是阻碍 LLM 在医疗、法律、金融等高风险场景落地的最大瓶颈。本指南系统剖析**内在 (Intrinsic)** 与 **外在 (Extrinsic)** 幻觉分类
Transformer 架构解构：Self-Attention、MHA/GQA/MQA、RoPE 与 FlashAttention 1/2/3 算子融合全景
> **核心摘要**：Transformer 架构自 2017 年问世以来，已彻底重塑了自然语言处理、计算机视觉、语音与多模态人工智能的格局，成为生成式大语言模型 (LLM) 的基石。本指南系统剖析 Transformer 的核心数学推导、三大模型范式 (Encoder-Only, Decoder-Only, Enco
线性代数核心：向量空间、四大子空间、SVD/EVD、投影与最小二乘、Jacobian/Hessian 全景
> **核心摘要**：线性代数是机器学习和深度学习的底层基座——每个张量都是矩阵，每一层都是矩阵乘法，每一条损失曲面都是矩阵运算的函数。本指南覆盖 AI 工程师不可妥协的数理核心：向量空间与矩阵运算、带有秩-零化度定理的四大子空间、特征值分解 EVD 与奇异值分解 SVD 的几何意义、正交投影与最小二乘的几何（正规方程
视觉语言大模型 VLM 全景：ViT、Projector 桥接层、LLaVA 阶段训练与 DeepSeek-Janus Pro 原理解构
> **核心摘要**：视觉语言大模型 (Vision-Language Models, VLM) 赋予了大语言模型“看懂世界”的能力。VLM 并非从零开始盲目训练，而是巧妙地通过跨模态投影层 (Cross-Modal Projector) 将预训练视觉编码器 (ViT) 抽取的高维图像 Token 映射至 LLM 的文
大模型 RAG 与 Agent 生产级系统架构：多租户隔离、流式服务与高可用
> **核心摘要**：将 RAG 知识库与 Agent 应用从 Demo 推向企业生产环境，本质上是分布式系统工程与机器学习工程的交叉问题。本指南自上而下拆解完整技术栈：离线索引流水线（解析 → 分块 → 向量化 → ANN 建索引）、在线服务链路（查询改写 → 混合检索 → 交叉编码重排 → 带引用的流式生成）、Ag
AIE Fine-Tuning Guide: Enterprise SFT, LoRA & DPO Alignment
> **Executive Summary**: LLM fine-tuning and alignment empower AI Engineers (AIE) to transform foundation models into domain-specific reasoning engines. In prod
MLE Data & Feature Engineering: Quality Pipelines, Categorical Encoding, Imbalance, Selection & Drift Detection
> **Core Executive Summary**: Model performance is decided before training starts — by data quality and feature engineering. This guide covers the full MLE data
Agent Design Patterns: ReAct Loop, Reflexion Self-Correction, Plan-and-Execute & Graph Engineering
> **Core Executive Summary**: LLMs are evolving from static question-answering engines into autonomous **AI Agents**. Powered by four core pillars—**Brain (LLM)
GPU Hardware Architecture: SM, Tensor Cores, HBM Bandwidth & Roofline Model
> **Core Executive Summary**: AI LLM performance relies directly on underlying GPU hardware physics. Modern GPUs like NVIDIA H100/A100 feature massively paralle
Deep Learning Debugging & Competition Engineering Taxonomy: 4-Step Debugging Framework, Single Batch Overfitting, Gradient Check & Grad-CAM Guide
> **Summary**: Debugging deep learning models is notoriously challenging because bad code often runs without crashing while silently degrading performance. This