所属模块：
M3 · 深度学习基础 (Deep Learning Foundations)| 专题分类：架构组件 (Architecture Building Blocks)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
注意力是’内容自适应的全局加权’，无空间/平移先验；卷积是’位置固定的局部权重’，有强平移等变先验。
Convolution imposes rigid structural inductive biases (spatial locality, translation equivariance); Self-Attention is dynamic, content-based, and permutation-equivariant, trading prior structure for scaling capacity.
二、核心考点要义 (Key Insights)
- 📌 注意力权重依赖输入内容（动态）；卷积权重固定（静态）
- 📌 注意力全局（每 token 看所有）；卷积局部（感受野）
- 📌 卷积有平移等变/局部性先验，数据少时更优
English Insights:
– Convolution bias: strictly local $K times K$ receptive field, weight sharing across space, spatial translation equivariance
– Self-Attention bias: global receptive field at layer 1, dynamic input-dependent weights, permutation equivariance (requires positional encoding)
– Data hunger: weak inductive bias allows Transformers to scale past CNN performance ceilings when provided massive training datasets
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{Attn}(Q,K,V)=mathrm{softmax}(QK^{top}/sqrt{d})V;qquad text{Conv}:y_i=sum_j w_{i-j}x_j$$
数学机理：归纳偏置（inductive bias） 指模型结构内置的假设。卷积的偏置：(a) 局部性——每个输出只依赖局部邻域（k×k 窗口）；(b) 平移等变性——输入平移则输出平移（同一组权重滑动使用）；(c) 权重共享——所有位置用同一组权重。这些偏置在图像上非常正确（局部纹理、平移不变），故 CNN 在小数据上表现好、样本效率高。注意力的偏置：(a) 全局性——每个 token 与所有 token 交互（无局部性假设）；(b) 内容自适应——权重由 Q·K 相似度动态计算（依输入而变），而非固定权重；(c) 排列等变——注意力对 token 的排列是等变的（打乱顺序则输出同样打乱），故需要位置编码注入顺序信息。差异的后果：ViT 缺少’局部性与平移等变’先验，故在小数据上不如 CNN（需 JFT-300M 等大规模数据预训练才超越）；而一旦数据充足，注意力的灵活性（可学习任意长程依赖）使其上限更高。注入偏置的手段：Swin 的窗口注意力（局部窗口 + 移动窗口）、卷积 stem（用卷积做 patch embedding）、以及相对位置编码——都是把’局部性/平移性’重新引入注意力。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Comparative Analysis:
① Convolutional Inductive Bias:
$y_{i, j} = sum_{u, v} W_{u, v} x_{i+u, j+v}$.
– Locality: Only pixels within $K times K$ window interact. Distant dependencies require stacking many deep layers.
– Translation Equivariance: Shifting input image by $(Delta x, Delta y)$ shifts output feature map by identical coordinates.
– Sample Efficiency: Strong built-in spatial prior allows CNNs to train effectively on small datasets (e.g., 50K samples).
② Self-Attention Mechanism:
$y_i = sum_{j=1}^N text{softmax}left(frac{q_i^T k_j}{sqrt{d}}right) v_j$.
– Global Receptive Field: Any token $i$ can attend to any token $j$ at layer 1 with constant interaction distance $O(1)$.
– Dynamic Content Weighting: Attention weights are dynamic functions of input content, not static spatial positions.
– Permutation Equivariance: Invariant to token ordering; explicit Positional Embeddings (RoPE, absolute PE) must be injected to encode sequence order.
– The Scaling Consequence: Weak inductive bias means Transformers underperform CNNs on small data, but continually scale without saturating on massive data (JFT-300M, billions of web pages).
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
深度剖析与工程权衡：① 样本效率 vs 上限——强偏置（卷积）样本效率高但上限受限；弱偏置（注意力）样本效率低但上限高。这是’先验正确性与模型灵活性’的根本权衡，也是’ViT 需大数据、CNN 适合小数据’的原因。② 数据规模的经验规律——ViT 论文显示：在 ImageNet-1k（1.3M）上 ViT 不如 ResNet；在 JFT-300M（300M）上 ViT 超越；交叉点约在数千万到上亿样本。③ 混合架构——ConvNeXt（用卷积模仿 Transformer 设计）、Swin（窗口注意力）、Hybrid ViT（卷积 stem）都在’偏置与灵活性’间找平衡；实践表明’合适偏置 + 足够数据’常优于纯架构之争。④ 注意力的排列等变与位置编码——注意力本身对顺序不敏感，故必须加位置编码（绝对/相对/RoPE）；这也解释了为什么 RoPE 等相对位置编码在长上下文外推上更好。⑤ 与多模态的关系——CLIP 的 ViT 用大规模图文对训练，弥补了数据效率；用户的 VLM 项目（Qwen2.5-VL）也用动态分辨率 + 大规模预训练。⑥ 面试要点——被问’ViT 与 CNN 的区别’，核心是’归纳偏置（局部性/平移等变 vs 全局/内容自适应）→ 样本效率差异‘；能进一步说出’Swin 的窗口注意力如何注入局部性’与’位置编码的必要性’，是深度理解的标志。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Architecture Convergence: Modern vision architectures hybridize both paradigms: Swin Transformer reintroduces local window biases into attention, while ConvNeXt adopts Transformer design principles into pure depthwise convolutions.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 只说’注意力更强大’（忽略样本效率与偏置）
- ⚠️ 忘记注意力需要位置编码（自身排列等变）
English Pitfalls:
– Training a raw Vision Transformer (ViT) from scratch on small datasets (e.g., standard CIFAR-10) without heavy augmentation, leading to severe underfitting
– Omitting positional encodings in self-attention, rendering the network completely blind to token order
六、高频深度面试追问与预测 (Follow-Up Questions)
- 为什么 ViT 需要更多数据？
- Why does Vision Transformer (ViT) require pre-training on 300M images to beat ResNet on ImageNet-1K?
- 如何给注意力注入局部性先验？
- How does Swin Transformer’s shifted window mechanism re-inject local inductive bias into self-attention?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
核心网络组件：Bottleneck、Inverted Residual 与 Gated MLP(Architecture Blocks: Bottleneck, Inverted Residual & MLP) - 🗺️ 知识图谱模块：
深度学习架构导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。