Tag: machine-learning
-
【AI 核心深度 M7-011】解释对比学习中的温度参数与它的作用（Explain the Temperature Parameter in Contrastive Learning and Its Impact on Optimization）深度数理推导与工程落地解析
τ 控制 softmax 锐度：小 τ 聚焦最难负样本、大 τ 更平滑；检索中常用可学习温度（0.01~0.07）。
-
【AI 核心深度 M7-012】解释稠密检索的向量维度与存储成本权衡（Explain the Trade-Off Between Embedding Dimensionality and Storage/Compute Costs in Dense Retrieval）深度数理推导与工程落地解析
维度越高表达力越强但存储与检索成本 ∝ 维度；用 MRL（套娃表示）或量化（PQ/二值）压缩。
-
【AI 核心深度 M7-013】解释跨模态稠密检索的挑战（Explain the Key Challenges and Solutions in Cross-Modal Dense Retrieval）深度数理推导与工程落地解析
需把不同模态（文本/图像/音频）映射到共享空间；挑战是模态间隙、数据对齐质量、以及模态内的细节保留。
-
【AI 核心深度 M7-014】解释稠密检索的’指令式嵌入’与任务特定嵌入（Explain Instruction-Based and Task-Specific Dense Embeddings in Modern Retrievers）深度数理推导与工程落地解析
E5/BGE 等要求查询与文档加不同前缀（如 ‘query:’/’passage:’），使同一模型适配多种任务（检索/分类/聚类）。
-
【AI 核心深度 M7-015】解释稠密检索中的假负样本与去偏（Explain the Problem of False Negatives in Dense Retrieval and Debiasing Strategies）深度数理推导与工程落地解析
in-batch negatives 可能含’实际相关’的样本（如另一问题的正确答案）；把它们当负样本会教模型’推远相关文档’。
-
【AI 核心深度 M7-016】解释稠密检索的领域适配（微调嵌入模型）（Explain Domain Adaptation and Fine-Tuning Strategies for Dense Retrieval Models）深度数理推导与工程落地解析
通用嵌入在专业领域（医疗/法律/代码）表现差；用领域内的（查询，正文档）对做对比学习微调，配难负样本。
-
【AI 核心深度 M7-017】解释多语言稠密检索与跨语言检索（Explain Multilingual and Cross-Lingual Dense Retrieval Architectures and Alignment Techniques）深度数理推导与工程落地解析
用多语言编码器（M-CLIP/mE5）把不同语言映射到共享空间；或用’翻译后检索’；挑战是低资源语言。
-
【AI 核心深度 M7-004】解释 SPLADE 等学习式稀疏检索的思路（Explain the Principles and Architecture of Learned Sparse Retrieval Such as SPLADE）深度数理推导与工程落地解析
用 BERT + MLM 头 + ReLU + 稀疏正则，让每个词扩展为’词表上的稀疏权重’，兼具语义泛化与倒排索引效率。
-
【AI 核心深度 M7-005】解释稀疏检索的局限与改进方向（Explain the Limitations of Sparse Retrieval and Key Directions for Improvement）深度数理推导与工程落地解析
局限：无同义词/语义泛化、词汇失配（vocabulary mismatch）、无法处理拼写变体；改进：查询扩展、学习式稀疏、混合检索。
-
【AI 核心深度 M7-006】解释文档长度对检索打分的影响与处理（Explain the Impact of Document Length on Retrieval Scoring and Common Mitigation Strategies）深度数理推导与工程落地解析
长文档天然命中更多查询词（不公平优势）；用长度归一化（BM25 的 b）、BM25F 的字段加权、或分块处理。