所属模块：
M5 · NLP 与大语言模型 (NLP & Large Language Models)| 专题分类：指令微调与 SFT (Instruction Tuning & Supervised Fine-Tuning)| 难度等级：Easy
一、核心一句话结论 (One-Sentence Summary)
损失掩码让损失只算在回答上；打包把多条短样本拼成定长序列以提高利用率，需用注意力隔离防跨样本泄漏。
Loss masking restricts gradient backpropagation exclusively to response tokens, while sequence packing concatenates multiple conversations into a single sequence with block-diagonal attention masks to eliminate padding waste.
二、核心考点要义 (Key Insights)
- 📌 损失掩码：只监督回答，避免模型学’生成指令’
- 📌 打包：多条短样本拼成定长，减少 padding 浪费
- 📌 打包需注意力隔离（否则跨样本信息泄漏）
English Insights:
– Loss masking: sets labels for prompt tokens to -100 (PyTorch ignore_index), preventing the model from wasting capacity predicting user instructions
– Padding bubble waste: in conversational datasets with variable lengths (50 to 4096 tokens), naive batch padding wastes $>70%$ of GPU compute on zero-padding tokens
– Sequence packing: packs multiple short conversations into a fixed context window (e.g., 4096 tokens) and uses 2D block-diagonal attention masks to prevent cross-document attention contamination
三、核心数学原理与机理推导 (Mathematical Principles & Derivation)
$$text{mask}: y_t=-100 text{for prompt};qquad text{pack}: text{concat samples to fixed }L + text{block-diagonal mask}$$
数学机理：两个工程技巧。(1) 损失掩码（loss masking）——SFT 的输入是’指令 + 回答’的拼接，但损失只应算在回答部分：实现上把指令部分的 label 设为 −100（PyTorch 的 ignore_index），使交叉熵忽略这些位置。作用：(a) 让模型专注于’生成回答’（与推理行为一致）；(b) 避免模型学会’生成用户指令’（否则会出现’自问自答’）。与 chat template 配合——模板需明确标记’哪些是 assistant 的 token’（如特殊 token <|assistant|>），以便正确掩码。(2) 序列打包（sequence packing）——SFT 数据的长度差异极大（有的几十 token、有的几千）；若按 batch 内最长序列 padding，则大量计算浪费在 padding 上（利用率可能只有 20%~50%）。打包的做法：把多条样本拼接成固定长度（如 4096）的序列，使每条序列都’填满’；配合注意力隔离（block-diagonal mask，让每个样本只能关注自己内部）与位置编码重置（每个样本的位置从 0 开始），避免跨样本信息泄漏。收益——(a) 吞吐提升（减少 padding，利用率接近 100%）；(b) 训练稳定性（固定长度便于批量）；(c) 成本降低（同等数据量下步数更少）。注意点——(a) 打包改变了’注意力可见范围’，必须正确设置 mask（否则模型会学到’跨样本依赖’，表现为对拼接顺序敏感）；(b) 损失掩码需逐样本设置（只监督各样本的回答部分）；(c) 位置编码需重置（否则后一个样本的位置被’推远’，影响长度泛化）。实证——打包可提升 SFT 吞吐 2~3 倍，是工业界 SFT 的标准做法。
📖 查看英文严格数学推导 (English Mathematical Derivation)
Mathematical Mechanism: 1. PyTorch Loss Masking Implementation: Given sequence tokens $X = [x_1, dots, x_L]$ and target labels $Y = [y_1, dots, y_L]$: $$y_t = begin{cases} -100 & text{if } t in text{Prompt Tokens} \ x_t & text{if } t in text{Response Tokens} end{cases}$$ In PyTorch `nn.CrossEntropyLoss(ignore_index=-100)`, tokens with target -100 are completely skipped in both loss summation and gradient computation. 2. Sequence Packing Efficiency: Suppose batch size $B$ contains sequences of lengths $L_1, dots, L_B$. Naive padding pads all sequences to $L_{max} = max(L_i)$: $$text{Efficiency}_{text{pad}} = frac{sum_{i=1}^B L_i}{B times L_{max}}$$ Packing concatenates sequences into a single 1D tensor of length $L_{text{pack}}$: $Z = [S_1 circ S_2 circ dots circ S_K]$, achieving $text{Efficiency}_{text{pack}} approx 100%$. 3. Block-Diagonal Attention Mask: To prevent sequence $S_2$ from attending to tokens in sequence $S_1$, the attention mask $M_{ij}$ is constrained: $$M_{ij} = begin{cases} 0 & text{if } i ge j land text{doc_id}(i) == text{doc_id}(j) \ -infty & text{otherwise} end{cases}$$ Supported natively in FlashAttention via `cu_seqlens` ragged offsets without materializing the 2D mask in memory.
四、工业级落地权衡与工程考量 (Industrial Trade-offs)
深度剖析与工程权衡：① ‘打包必须配隔离’是易错点——朴素拼接会让模型看到前一个样本的内容（信息泄漏），导致 (a) 训练-推理不一致（推理时没有前文）、(b) 模型可能学会’续写上一样本’；(c) 位置编码混乱。故实现时必须用 block-diagonal mask + 位置重置。② 与’padding 效率’的量化——若样本长度分布偏斜（多数短、少数长），朴素 padding 的利用率可能低至 20%；打包可把它提到 >90%。这是’数据管道优化’带来的直接成本收益。③ 打包与’多轮对话’的兼容——多轮对话本身是一条长序列（含多轮），不应被拆散打包；故需按’对话为单位’打包（每条对话是一个不可分割的样本）。④ 损失掩码与’训练目标’的关系——若想让模型学会’多轮中每轮都回应’，则需对所有 assistant 轮都算损失；若只关心最后一轮，则只算最后一轮。这决定模型的多轮行为。⑤ 与其他 SFT 技巧的组合——打包常与 (a) 动态 batch（按 token 数而非样本数组批）、(b) 梯度累积、(c) 序列长度课程 配合使用。⑥ 面试要点——被问’SFT 训练效率怎么优化’，应给出’序列打包（减少 padding）+ 注意力隔离 + 位置重置 + 动态 batch‘的组合，并强调’打包必须配隔离否则泄漏‘；能说明’损失掩码防止自问自答’是深度理解的标志。
⚙️ 查看英文落地权衡分析 (English Systems & Trade-offs)
Deep Dive & Engineering Trade-offs: ① FlashAttention Ragged Implementation: FlashAttention accepts cumulative sequence length pointers (`cu_seqlens = [0, L_1, L_1+L_2, dots]`). It computes attention exclusively within each sequence boundary without padding, eliminating both padding FLOPs and cross-contamination with zero memory overhead. ② Position Embedding Reset: When packing sequences, reset position IDs to 0 at the start of each new conversation ($[0, 1, dots, L_1-1, 0, 1, dots, L_2-1]$) so that positional embeddings match single-sequence inference. ③ Cross-Contamination Pitfall: If sequence packing is implemented without block-diagonal masking (naive concatenation), the model learns invalid causal dependencies (e.g., predicting that an essay should be followed by a Python script), degrading conversational coherence. ④ Throughput Multiplier: Sequence packing combined with FlashAttention ragged kernels routinely delivers a $2times$ to $5times$ training throughput speedup on real-world SFT datasets. ⑤ Interview Strategy: Explain `ignore_index=-100`, sketch the block-diagonal attention mask, and describe how FlashAttention’s `cu_seqlens` achieves padding-free sequence packing.
五、常见面试避坑陷阱 (Common Pitfalls & Traps)
- ⚠️ 打包时不加注意力隔离（跨样本信息泄漏）
- ⚠️ 对指令部分也计算损失
English Pitfalls:
– Concatenating multiple conversations without block-diagonal attention masking (causes cross-conversation information leakage)
– Forgetting to reset positional IDs for packed sub-sequences (causes tokens to be trained with incorrect positional offsets)
– Using naive batch padding on datasets with high length variance (wastes >70% of GPU compute on padding tokens)
六、高频深度面试追问与预测 (Follow-Up Questions)
- 打包时为什么需要注意力隔离？
- How does FlashAttention’s
cu_seqlensparameter implement padding-free block-diagonal attention? - 打包与’损失掩码’如何配合？
- What happens to model generation if sequence packing is trained without resetting position IDs?
七、知识图谱对齐 (Knowledge Graph Anchor)
- 🔗 关联底层卡片：
指令微调 (SFT)：Loss Masking 掩码、Data Packing 样本打包与灾难性遗忘(Supervised Fine-Tuning: Loss Masking & Data Packing) - 🗺️ 知识图谱模块：
大语言模型全景图谱
🔬 算法科学家与机器学习深度考察全量题库 (Science Depth)
本题收录于 TalentMe 算法科学家深度考察真题库 (Science Depth)。全库共 856 道硬核考点，深度覆盖数学统计、经典ML、深度学习、Transformer、大语言模型、多模态、推荐系统与 MLOps。支持 Jev 面经智能匹配、一键离线单文件 HTML 手册导出并直连 Obsidian 本地记忆。