【AI 工业核题 K3】CFG（Classifier-Free Guidance 无分类器引导）（Classifier-Free Guidance (CFG)）深度实现与原理解析

题目分类：Part K · 生成模型与多模态扩散 (Part K · Generative Models & Diffusion) | 难度等级：Easy | 工业重要度：工业基石 (核心高频)

一、核心题意与背景

Midjourney / Stable Diffusion / Flux 画质跃升核心，条件与无条件预测按引导系数 w 线性外插。

Industrial-grade implementation and mathematical foundations of Classifier-Free Guidance (CFG).

二、数学原理与公式推导

条件增强与分数外插机制

早期的条件扩散模型依赖外部独立分类器的梯度 $nabla_{x_t} log p(y mid x_t)$ 来引导采样（Classifier Guidance），但这需要额外训练一个在不同加噪程度下都能准确识别分类的分类器，极其繁琐且对抗攻击脆弱。
Jonathan Ho & Tim Salimans 在 2021 年提出 Classifier-Free Guidance (CFG)：
– 训练阶段：同一个网络以 10%~20% 的概率随机将文本 Prompt 条件替换为“空条件”（$emptyset$ 占位符），同时学习条件生成与无条件先验；
– 采样阶段：模型每次前向计算两次（或批次合并计算）：
1. 无条件预测噪声：$epsilon_{text{uncond}} = epsilon_theta(x_t, emptyset)$；
2. 条件预测噪声：$epsilon_{text{cond}} = epsilon_theta(x_t, c)$；
– 外插加权：
$$hat{epsilon} = epsilon_{text{uncond}} + w cdot (epsilon_{text{cond}} – epsilon_{text{uncond}})$$
其中 $w > 1$（如 7.5）。沿着“有提示词比无提示词更好”的向量方向做大步外插，极大提高生成画质与文本契合度（Prompt Alignment）。

三、工业级 Python 核心实现

import numpy as np

def apply_classifier_free_guidance(
    noise_pred_uncond: np.ndarray,  # (B, C, H, W) 无条件输出
    noise_pred_cond: np.ndarray,    # (B, C, H, W) 文本条件输出
    guidance_scale: float = 7.5
) -> np.ndarray:
    """
    CFG 线性外插公式: uncond + scale * (cond - uncond)
    """
    return noise_pred_uncond + guidance_scale * (noise_pred_cond - noise_pred_uncond)

四、自动化单元测试与边界断言

import numpy as np
uncond = np.array([1.0, 2.0])
cond = np.array([1.5, 3.0])
# diff = [0.5, 1.0], scale=7.5 -> 1.0 + 3.75 = 4.75, 2.0 + 7.5 = 9.5
cfg_out = apply_classifier_free_guidance(uncond, cond, guidance_scale=7.5)
assert np.allclose(cfg_out, [4.75, 9.5])
print("✓ CFG 引导计算自测通过")

五、张量形状与维度变换流 (Tensor Flow)

• 中文解析：noise_uncond, noise_cond -> 差值 * scale -> 叠加回 uncond -> 引导后最终预测噪声
• 英文对齐：noise_uncond, noise_cond -> 差值 * scale -> 叠加回 uncond -> 引导后最终预测噪声

六、工业级数值稳定性避坑清单 (Checklist)

• ⚠️ guidance_scale 过大（如 > 15）会导致图像过饱和（Oversaturation）与边缘色彩破损，工业上常用 Dynamic Thresholding 进行范数保护截断
• ⚠️ 在代码实现中，通常在 Batch 维度将 cond 与 uncond 拼接成 (2*B, …) 仅执行单次网络前向，利用 GPU 并行能力

English Checklist:
– Ensure proper multi-dimensional tensor broadcasting and keepdims retention.
– Enforce numerical guards (eps clamping and overflow thresholds) during exponentiation and division.
– Verify train versus eval mode behavioral distinctions (e.g. frozen running statistics and dropout bypass).

七、考场秒记心法口诀

💡 无条件做基底，条件差值指明灯，倍率外插放大推，图文精准细节真

Master Classifier-Free Guidance (CFG): enforce numerical stability, check tensor shapes, and eliminate redundant memory allocations.

八、高频面试追问与答题策略

Q1：CFG 的代价是推理前向计算量直接增加了一倍，工业界有哪些加速技术？
(EN: What are the key trade-offs and memory bottlenecks when deploying Classifier-Free Guidance (CFG) in high-throughput inference?)

答：1. 阶段性 CFG 调度：仅在反向去噪的前半段（形成宏观轮廓结构时）开启 CFG，后半段关闭 CFG 节省算力；2. PAG（Perturbed-Attention Guidance）：利用自注意力矩阵的扰动代替无条件前向；3. 蒸馏（LCM / SDXL-Turbo）：将高 CFG 生成轨迹直接蒸馏进单步生成网络中。

(EN: Memory bandwidth (HBM to SRAM I/O) is the primary latency factor. Fusing element-wise operations and avoiding intermediate tensor materialization significantly outperforms naive implementations.)