Tag: peft-lora-qlora-prefix-tuning
-
【AI 核心深度 M5-130】解释 LoRA 的原理与超参作用。（LoRA Foundations, Mathematical Formulation, and Hyperparameter Dynamics）深度数理推导与工程落地解析
用低秩增量 ΔW=BA 参数化微调，冻结基座；关键超参是秩 r、缩放 α/r、应用位置与 dropout。
-
【AI 核心深度 M5-131】解释 QLoRA 的三项关键技术。（The Three Pillars of QLoRA: NF4, Double Quantization, and Paged Optimizers）深度数理推导与工程落地解析
NF4 量化（4-bit 正态分位）+ 双重量化（量化常数量化）+ 分页优化器（防显存尖峰），叠加 LoRA。
-
【AI 核心深度 M5-132】解释 LoRA 与全参微调的效果差异及原因。（Performance Discrepancies and Inductive Biases Between LoRA and Full Parameter Fine-Tuning）深度数理推导与工程落地解析
数据少/任务近时 LoRA 接近甚至优于全参；数据多/领域远时全参上限更高；LoRA 有正则效果。
-
【AI 核心深度 M5-133】解释 Prefix/Prompt Tuning 与 LoRA 的差异。（Mechanisms and Architectural Differences: Prefix/Prompt Tuning vs. LoRA）深度数理推导与工程落地解析
Prompt/Prefix Tuning 在输入/每层加可学习前缀（改激活）；LoRA 改权重（加低秩增量）；后者更通用且可合并。
-
【AI 核心深度 M5-134】解释 PEFT 方法的选择依据。（Systematic Decision Framework for Parameter-Efficient Fine-Tuning (PEFT) Selection）深度数理推导与工程落地解析
按’显存约束、任务距离、数据量、部署要求（延迟/多任务）’四维选择：LoRA 为默认，QLoRA 省显存，全参用于远域。
-
【AI 核心深度 M5-135】解释 PEFT 与灾难性遗忘、模型合并的交互。（Interaction of PEFT with Catastrophic Forgetting and Model Merging）深度数理推导与工程落地解析
PEFT 冻结基座天然缓解遗忘；适配器可合并（多任务/任务算术）或分别部署（多 LoRA 服务）。
-
【AI 核心深度 M5-136】解释 LoRA 的变体（DoRA / LoRA+ / rsLoRA）与秩的选择。（LoRA Architectural Variants (DoRA, LoRA+, rsLoRA) and Rank Selection Strategies）深度数理推导与工程落地解析
DoRA 分解为幅度与方向（更接近全参）；LoRA+ 给 B 更大 lr；rsLoRA 修正缩放；秩按任务距离选。