所属模块：
M2 · 经典机器学习 (Classical Machine Learning)| 专题分类：朴素贝叶斯 (Naive Bayes)| 难度等级：Medium
一、核心一句话结论 (One-Sentence Summary)
高斯适合连续特征；多项式适合计数（词频）；伯努利适合二值出现/不出现。
Gaussian Naive Bayes models continuous features via normal distributions; Multinomial Naive Bayes models word count frequencies; Bernoulli Naive Bayes models binary feature presence/absence while explicitly penalizing non-occurrences.
二、核心考点要义 (Key Insights)
- 📌 文本分类多项式常优于伯努利（考虑词频）
- 📌 短文本伯努利可能更好
English Insights:
– Gaussian NB: $P(x_jmid y=k) = frac{1}{sqrt{2pisigma_{jk}^2}} expleft(-frac{(x_j – mu_{jk})^2}{2sigma_{jk}^2}right)$; for continuous features.
– Multinomial NB: $P(xmid y=k) propto prod_{j=1}^d p_{jk}^{x_j}$; models discrete counts/frequencies (e.g. Word count vectors, TF-IDF).
– Bernoulli NB: $P(xmid y=k) = prod_{j=1}^d [p_{jk} x_j + (1 – p_{jk})(1 – x_j)]$; models binary flags (presence vs absence); explicitly incorporates the absence of words.
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{Gaussian}: P(x_jmid y)=mathcal N(mu_{jy},sigma_{jy}^2)$$
三种变体对应不同的特征似然假设：① 高斯 NB——假设 P(xⱼ|y)=N(μ{jy},σ²{jy})，适合连续特征（需估计每类每特征的均值与方差，共 2Kp 个参数）；前提是特征在类内近似正态，若特征偏态（如收入）可先做变换。② 多项式 NB——假设特征向量是计数（如词频、TF-IDF 权重），P(x|y) 用多项分布建模，等价于’从类别的词分布中独立抽词’；适合文本分类且考虑词频。③ 伯努利 NB——假设每个特征是二值（出现/不出现），显式建模’不出现’的惩罚项 (1−p_{jy})；适合短文本（此时’是否出现’比’出现几次’更重要）与二值特征场景。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Contrast between Multinomial and Bernoulli likelihoods: In text classification, let document $d$ have binary indicator $x_j in {0, 1}$ and word counts $c_j$. In Multinomial NB, log-likelihood is $sum_{j : c_j > 0} c_j log p_{jk}$. Words that do not appear in the document ($c_j = 0$) contribute $0 log p_{jk} = 0$, exerting zero influence on classification. In Bernoulli NB, log-likelihood is $sum_{j : x_j=1} log p_{jk} + sum_{j : x_j=0} log(1 – p_{jk})$. Crucially, words that do NOT appear in the document explicitly contribute $log(1 – p_{jk})$, penalizing the class if that word was expected to appear!
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
选择依据与要点：① 文本分类的经验规律——长文档用多项式 NB（词频信息有价值），短文本（如推文、标题）用伯努利 NB（出现与否更关键，且显式惩罚未出现词）；Rennie et al. (2003) 的实验支持这一规律。② TF-IDF 的处理——多项式 NB 假设计数，若用 TF-IDF（连续值）需注意：可将 TF-IDF 视为加权计数（近似成立），或改用高斯 NB（但通常效果较差）；实践中多项 NB + 词频（或对数词频）常最稳。③ 特征选择的必要性——NB 对无关特征敏感（它们的条件独立假设最易被违反且贡献噪声），故常配合卡方/MI 特征选择（保留 top-k 特征）显著提升效果。④ 对数域计算——所有变体都应在对数域累加（log P(y)+Σlog P(xⱼ|y)），避免下溢；多项式 NB 的 sklearn 实现即内部用对数。⑤ 与线性模型的关系——NB 在对数域是线性分类器，权重为对数似然比 log[P(xⱼ|y=1)/P(xⱼ|y=0)]。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
When to use which: (1) Bernoulli NB: Short texts (e.g. Tweets, SMS spam, search queries) where word presence/absence matters more than frequency. (2) Multinomial NB: Long documents where word frequency carries rich topic signal. (3) Gaussian NB: Physical sensor measurements, biomedical continuous features (requires checking whether features are unimodal).
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 对短文本用多项式 NB 而不考虑伯努利
- ⚠️ 不对连续特征做分布检查就套用高斯 NB
English Pitfalls:
– Using Multinomial NB on negative feature values (Multinomial requires non-negative counts or scaled TF-IDF).
– Using Bernoulli NB on long documents (Bernoulli over-penalizes long documents due to non-occurrence of rare words).
六、高频深度面试追问与预测 (Follow-Up Questions)
- 长文本该选哪个？
- Why does Bernoulli Naive Bayes inherently penalize document length differences?
- 为什么多项式 NB 需要 log 域计算？
- How does Complement Naive Bayes (CNB) address severe class imbalance in text categorization?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
朴素贝叶斯分类器：条件独立性假设与拉普拉斯平滑(Naive Bayes Classifier & Laplace Smoothing) - 🗺️ 知识图谱模块：
经典机器学习思维导图
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。