【AI 工业核题 F4】GRPO 组内相对优势归一化（DeepSeek 核心免 Critic 架构）（Group Relative Policy Optimization (GRPO)）深度实现与原理解析

题目分类：Part F · 大模型对齐与强化学习 (Part F · Alignment & Reinforcement Learning) | 难度等级：Medium | 工业重要度：工业基石 (核心高频)

一、核心题意与背景

DeepSeekMath / DeepSeek-R1 核心基石，彻底砍掉同等规模的 Critic 价值网络，组内自归一化节省 50% 显存。

Industrial-grade implementation and mathematical foundations of Group Relative Policy Optimization (GRPO).

二、数学原理与公式推导

彻底砍掉 Critic 网络的革命性创新

传统 PPO 必须维护一个与 Actor 参数量相同的 Critic（价值基线）网络，显存占用极大且需要极其精细的价值回归调优。
DeepSeek 团队提出 GRPO（Group Relative Policy Optimization）：
1. 组内群组采样：对于同一个 Prompt $q$，Actor 策略直接采样生成一组（$G$ 个，如 $G=64$）候选输出 ${o_1, o_2, dots, o_G}$；
2. 免 Critic 相对优势计算：由外部规则打分器（如数学代码验证工具或奖励模型）为每个输出判定奖励 ${r_1, r_2, dots, r_G}$；
3. 直接计算组内的均值 $mu_r$ 和标准差 $sigma_r$，将优势显式标准化：
$$hat{A}_i = frac{r_i – mu_r}{sigma_r + epsilon}$$
4. 直接利用此相对优势进行带 PPO 裁剪因子的策略更新，同时加入针对 Reference 模型的无偏 KL 散度惩罚。
收益：彻底消除 Critic 显存与通信，使大模型强化学习长链推理训练成为平民化现实。

三、工业级 Python 核心实现

import numpy as np

def compute_grpo_advantages(rewards: np.ndarray, eps: float = 1e-8) -> np.ndarray:
    """
    计算 GRPO 组内相对优势。
    参数:
        rewards: (B, G) 每个 Prompt 生成 G 个采样的奖励标量
    返回:
        advantages: (B, G) 归一化后的组内相对优势
    """
    # 沿组维度 (axis=-1) 独立计算均值与标准差
    mean = np.mean(rewards, axis=-1, keepdims=True)
    std = np.std(rewards, axis=-1, keepdims=True)

    # 组内相对归一化
    return (rewards - mean) / (std + eps)

四、自动化单元测试与边界断言

import numpy as np
# 模拟一个 Prompt 的 4 个生成，得分分别为 [1.0, 0.0, 1.0, 0.0]
rewards = np.array([[1.0, 0.0, 1.0, 0.0]])
advs = compute_grpo_advantages(rewards)
# 均值应为 0，且好回答优势为正，差回答优势为负
assert np.isclose(advs.mean(), 0.0)
assert advs[0, 0] > 0 and advs[0, 1] < 0
assert np.isclose(advs[0, 0], -advs[0, 1])
print("✓ GRPO 组内优势归一化自测通过")

五、张量形状与维度变换流 (Tensor Flow)

• 中文解析：rewards: (B, G) -> 组内求 mean, std -> (B, 1) -> (rewards - mean)/(std + eps) -> advantages: (B, G)
• 英文对齐：rewards: (B, G) -> 组内求 mean, std -> (B, 1) -> (rewards - mean)/(std + eps) -> advantages: (B, G)

六、工业级数值稳定性避坑清单 (Checklist)

• ⚠️ 组大小 G 不宜太小（通常 G >= 8，DeepSeek 采用 64），否则组内标准差估算噪声极大
• ⚠️ 当组内所有采样的奖励完全相同时（如全对或全错），std 为 0，必须加上 eps（1e-8）防止除零错误
• ⚠️ 结合 KL 散度惩罚时，DeepSeek 使用了非负无偏估计器：KL = exp(log_ref – log_pi) – (log_ref – log_pi) – 1

English Checklist:
– Ensure proper multi-dimensional tensor broadcasting and keepdims retention.
– Enforce numerical guards (eps clamping and overflow thresholds) during exponentiation and division.
– Verify train versus eval mode behavioral distinctions (e.g. frozen running statistics and dropout bypass).

七、考场秒记心法口诀

💡 同一提示采多路，组内均方相对度，砍掉 Critic 省半显，深度推理自突围

Master Group Relative Policy Optimization (GRPO): enforce numerical stability, check tensor shapes, and eliminate redundant memory allocations.

八、高频面试追问与答题策略

Q1：在 DeepSeek-R1 的纯强化学习冷启动（Zero-RL）中，GRPO 使用了哪些规则奖励（Rule-based Reward）？
(EN: What are the key trade-offs and memory bottlenecks when deploying Group Relative Policy Optimization (GRPO) in high-throughput inference?)

答：为了彻底规避奖励黑客（Reward Hacking），DeepSeek-R1 完全抛弃了神经网络判分，直接采用确定性规则：1. 准确性奖励（Compiler / SymPy 校验数学答案或代码单元测试通过与否，0 或 1）；2. 格式规范奖励（强制要求回答严格包裹在 <think>...</think> 思考标签中）。

(EN: Memory bandwidth (HBM to SRAM I/O) is the primary latency factor. Fusing element-wise operations and avoiding intermediate tensor materialization significantly outperforms naive implementations.)