所属模块：
M3 · 深度学习基础 (Deep Learning Foundations)| 专题分类：归一化技术 (Normalization Techniques)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
把通道分组、在组内与空间维度归一化；与 batch 无关，适合小 batch 的检测/分割。
Group Normalization divides channels into groups and normalizes within each group per sample; being batch-independent, it is ideal for memory-heavy vision tasks like object detection.
二、核心考点要义 (Key Insights)
- 📌 分组数 G 是超参（常用 32）
- 📌 batch 无关 → 训练推理一致
English Insights:
– Mechanism: divides $C$ channels into $G$ groups (each with $C/G$ channels) and computes $mu, sigma$ across (group channels $times$ height $times$ width)
– Batch independence: normalizes each image independently, eliminating small-batch degradation
– Special cases: $G=1$ reduces to LayerNorm; $G=C$ reduces to InstanceNorm
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{GN}: mu,sigma text{computed over (C/G, H, W) per sample}$$
机制：把 C 个通道分成 G 组（每组 C/G 个通道），对每个样本的每组在（组内通道 × 空间维度 H×W）上计算均值方差并归一化。与 BN/LN 的关系：(a) G=1 时 GN 退化为 LN（对所有通道+空间归一化）；(b) G=C 时退化为 IN（Instance Norm）（每个通道单独归一化）；故 GN 是 LN 与 IN 之间的插值，G 是可调超参（常用 32）。为什么适合小 batch：GN 的统计量只依赖单个样本（不跨 batch），故 batch=1 时仍有效；而 BN 在 batch 小时统计噪声大。为什么检测/分割的 batch 小：这类任务输入分辨率高（如 800×1333）、模型大（含 FPN 等多尺度结构），显存限制使 batch 常为 1–4；此外检测的输入尺寸可变，BN 的统计量难以一致。实验证据：He et al. (2018) 的 GN 论文显示在 COCO 检测与分割上，batch=1–4 时 GN 显著优于 BN（BN 在小 batch 下 mAP 下降数个百分点）。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Mathematical Formulation (Wu & He, ECCV 2018):
Let input feature map be $x in mathbb{R}^{N times C times H times W}$. Divide channels into $G$ groups (default $G=32$). For each group $g in [1, G]$, the channel index set is $mathcal{S}_g = left{ c mid leftlfloor frac{c cdot G}{C} rightrfloor = g right}$.
For each instance $i$ and group $g$, compute mean and variance across $mathcal{S}_g times H times W$:
$mu_{i, g} = frac{1}{(C/G) H W} sum_{c in mathcal{S}_g} sum_{h=1}^H sum_{w=1}^W x_{i, c, h, w}$,
$sigma_{i, g}^2 = frac{1}{(C/G) H W} sum_{c in mathcal{S}_g} sum_{h=1}^H sum_{w=1}^W (x_{i, c, h, w} – mu_{i, g})^2$.
Normalize: $hat{x}_{i, c, h, w} = frac{x_{i, c, h, w} – mu_{i, g}}{sqrt{sigma_{i, g}^2 + epsilon}} gamma_c + beta_c$.
Relationship with other norms:
– When $G=1$, all channels form 1 group: GN $equiv$ LayerNorm (LN).
– When $G=C$, each group has 1 channel: GN $equiv$ InstanceNorm (IN).
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
实践要点：① G 的选择——常用 32（与通道数匹配）；G 过小（如 1）接近 LN（损失通道特异性）、G 过大（如 C）接近 IN（归一化范围太小、可能损失信息）；实践中 32 是稳健默认。② GN 与 WS 的组合——Weight Standardization + Group Norm（WS+GN）在小 batch 检测上常优于 BN，是许多检测框架（如 Detectron2 的某些配置）的默认。③ GN 的计算成本——与 BN 相当（归一化的元素总数相同），但归约范围不同（GN 在单样本内、BN 跨样本）；在 GPU 上 GN 的效率略低（归约不跨 batch，并行度稍差）。④ 与 LN 的对比——LN 对 (C,H,W) 全体归一化（G=1），会混合不同通道的统计；GN 保留通道分组，更适合卷积特征（不同通道组可能编码不同语义）。⑤ 适用与不适用——适合：检测、分割、视频、3D、以及任何小 batch 的视觉任务；不适合：大 batch 分类（BN 更快且效果好）、序列任务（用 LN）。⑥ 实践建议——若训练时 batch 被迫很小（显存限制），优先试 GN（或 WS+GN）；若可增大 batch，BN 通常仍是更优选择。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Target application scenarios: Object detection (Mask R-CNN, Faster R-CNN), semantic segmentation, and video recognition where high input resolutions ($1024 times 1024$) restrict batch size per GPU to 1 or 2 images. While BatchNorm breaks down at $N le 2$, Group Normalization maintains consistent accuracy invariant to batch size.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 小 batch 检测任务用 BN 导致性能下降
- ⚠️ GN 的分组数 G 设为 1（退化为 LN，损失通道特异性）
English Pitfalls:
– Setting group count $G=1$, which collapses GN into LayerNorm and erases channel-specific spatial representations in vision backbones
– Using GroupNorm in standard ImageNet classification with large batches ($B=256$), where BatchNorm is slightly faster due to optimized cuDNN kernels
六、高频深度面试追问与预测 (Follow-Up Questions)
- GN 与 LN 的关系？
- Why does Group Normalization perform significantly better on vision tasks than LayerNorm ($G=1$)?
- 为什么检测/分割的 batch 很小？
- How does channel grouping in GN relate to classical computer vision representation concepts like SIFT and HOG?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
归一化全解析：BatchNorm 协变量偏移、LayerNorm 与 RMSNorm(Normalization: BatchNorm, LayerNorm & RMSNorm) - 🗺️ 知识图谱模块：
深度学习架构导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。