【AI 工业核题 A2】Sigmoid 与 Log-Sigmoid（数值稳定）（Numerically Stable Sigmoid & Log-Sigmoid）深度实现与原理解析

题目分类：Part A · 基础算子与激活函数 (Part A · Core Kernels & Activation Functions) | 难度等级：Easy | 工业重要度：核心必练 · 工业基石

一、核心题意与背景

正负区间分段避免大负数指数溢出，Log-Sigmoid 采用 logaddexp 解决二元损失下溢。

Piecewise formulation avoiding overflow on large negatives; Log-Sigmoid powered by logaddexp for robust BCE training.

二、数学原理与公式推导

数学机理与双向防御

当 $z ll 0$ 时，$-z gg 0$，$e^{-z}$ 会迅速引发指数上溢（Overflow）。
当 $z < 0$ 时，分子分母同乘 $e^z$：
$$sigma(z) = frac{e^z}{1 + e^z}$$
此时因 $z < 0$，$e^z in (0, 1)$，上溢彻底消除。

对于 $log sigma(z)$，当 $z$ 极负时，直接计算 $log(sigma(z))$ 会因为 $sigma(z)$ 下溢为 0 而得到 $-infty$。通过等价变换 $-log(1 + e^{-z}) = -mathrm{logaddexp}(0, -z)$，调用底层的 Log-Sum-Exp 保持数值鲁棒。

三、工业级 Python 核心实现

import numpy as np

def stable_sigmoid(z: np.ndarray) -> np.ndarray:
    """Piecewise evaluation to prevent overflow for large negative z."""
    out = np.empty_like(z, dtype=np.float64)
    pos_mask = z >= 0
    out[pos_mask] = 1.0 / (1.0 + np.exp(-z[pos_mask]))
    exp_z = np.exp(z[~pos_mask])
    out[~pos_mask] = exp_z / (1.0 + exp_z)
    return out

def stable_log_sigmoid(z: np.ndarray) -> np.ndarray:
    """Stable log(sigmoid(z)) using logaddexp."""
    return -np.logaddexp(0.0, -z)

四、自动化单元测试与边界断言

import numpy as np
z = np.array([-1000.0, 0.0, 1000.0])
s = stable_sigmoid(z)
assert s[0] == 0.0 and s[1] == 0.5 and s[2] == 1.0
assert not np.isnan(s).any()
ls = stable_log_sigmoid(z)
assert not np.isneginf(ls[0]), "Extreme negatives should not return -inf"
assert np.isclose(ls[0], -1000.0), f"Actual: {ls[0]}"
print("✓ Sigmoid assertion passed")

五、张量形状与维度变换流 (Tensor Flow)

• 中文解析：(...) -> pos/neg 掩码划分 -> 分段 exp 计算 -> 合并输出 (...)
• 英文对齐：(...) -> partition into pos/neg masks -> piecewise exp -> combine back to (...)

六、工业级数值稳定性避坑清单 (Checklist)

• ⚠️ 切忌直接返回 1.0 / (1.0 + np.exp(-z))，在 z < -709 时直接报溢出警告或返回 0
• ⚠️ Log-Sigmoid 切忌写成 np.log(sigmoid(z))，必须使用 np.logaddexp
• ⚠️ 梯度导数计算：d_sigmoid = s * (1.0 – s)

English Checklist:
– Do not evaluate 1.0 / (1.0 + np.exp(-z)) unconditionally
– Never compute Log-Sigmoid as np.log(sigmoid(z)); use np.logaddexp(0.0, -z)
– Sigmoid derivative satisfies d_sigmoid = s * (1.0 – s)

七、考场秒记心法口诀

💡 正用原式负乘分子，log 用 logaddexp

Standard form for positives, multiply exp(z) for negatives; use logaddexp for log-sigmoid

八、高频面试追问与答题策略

Q1：为什么在二元交叉熵损失（BCEWithLogitsLoss）中通常将 Sigmoid 和 BCE 合并为一个算子？
(EN: Why fuse Sigmoid and BCE into a single BCEWithLogitsLoss operator?)

答：合并后损失函数为 $max(x, 0) – x cdot y + log(1 + e^{-|x|})$，省去了一次独立的显存读取，消除了 Sigmoid 极值导致的梯度饱和与 log(0) 崩溃。

(EN: Fusing them eliminates intermediate activation round-trips to HBM and computes $max(x, 0) – xy + log(1 + e^{-|x|})$, preventing gradient vanishing and log(0) errors.)