Tag: mixture-of-experts-moe

微调时路由器易漂移/专家过拟合、显存需求大；部署需多卡 EP、计算不规则、延迟不可预测。

共享专家对所有 token 生效（捕捉通用知识），细粒度专家更多更小（组合更灵活），提升专家专业化与效率。

token-choice Top-k 最常见（token 选专家）；expert-choice 让专家选 token（天然均衡）；soft routing 全加权（失去稀疏优势）。

把 FFN 换成 N 个专家，路由器为每个 token 选 Top-k 个专家计算；总参数大但每 token 激活量小。

路由器倾向只选少数专家（赢者通吃），导致专家利用不均、训练不稳；用辅助损失鼓励均匀分配。

专家分在不同设备上，token 需 all-to-all 发送到对应专家再取回；通信量与路由不均衡是主要开销。

同激活参数下 MoE 质量更好但显存需求 ∝ 总参数、计算不规则；稠密模型显存小、计算规则、吞吐更优。