Tag: dense-retrieval-dual-encoders
-
【AI 核心深度 M7-008】解释双塔（Dual Encoder）检索的架构与训练（Explain the Architecture and Training Protocol of Dual Encoder (Bi-Encoder) Retrieval）深度数理推导与工程落地解析
查询与文档各用一个编码器映射到同一向量空间，用内积/余弦算相似度；文档向量可离线预计算。
-
【AI 核心深度 M7-009】解释 DPR 的 in-batch negatives 训练（Explain Dense Passage Retrieval (DPR) Training with In-Batch Negatives）深度数理推导与工程落地解析
DPR 用两个独立编码器 + in-batch negatives（batch 内其他文档作为负样本）训练，配合 BM25 难负样本。
-
【AI 核心深度 M7-010】解释难负样本挖掘的作用与方法（Explain the Role and Methodology of Hard Negative Mining in Dense Retrieval）深度数理推导与工程落地解析
随机负样本太易（梯度小）；难负样本（相似但不相关）提供更强信号；方法：BM25 挖、模型挖、迭代挖。
-
【AI 核心深度 M7-011】解释对比学习中的温度参数与它的作用（Explain the Temperature Parameter in Contrastive Learning and Its Impact on Optimization）深度数理推导与工程落地解析
τ 控制 softmax 锐度：小 τ 聚焦最难负样本、大 τ 更平滑；检索中常用可学习温度（0.01~0.07）。
-
【AI 核心深度 M7-012】解释稠密检索的向量维度与存储成本权衡（Explain the Trade-Off Between Embedding Dimensionality and Storage/Compute Costs in Dense Retrieval）深度数理推导与工程落地解析
维度越高表达力越强但存储与检索成本 ∝ 维度；用 MRL（套娃表示）或量化（PQ/二值）压缩。
-
【AI 核心深度 M7-013】解释跨模态稠密检索的挑战（Explain the Key Challenges and Solutions in Cross-Modal Dense Retrieval）深度数理推导与工程落地解析
需把不同模态（文本/图像/音频）映射到共享空间；挑战是模态间隙、数据对齐质量、以及模态内的细节保留。
-
【AI 核心深度 M7-014】解释稠密检索的’指令式嵌入’与任务特定嵌入（Explain Instruction-Based and Task-Specific Dense Embeddings in Modern Retrievers）深度数理推导与工程落地解析
E5/BGE 等要求查询与文档加不同前缀（如 ‘query:’/’passage:’），使同一模型适配多种任务（检索/分类/聚类）。
-
【AI 核心深度 M7-015】解释稠密检索中的假负样本与去偏（Explain the Problem of False Negatives in Dense Retrieval and Debiasing Strategies）深度数理推导与工程落地解析
in-batch negatives 可能含’实际相关’的样本（如另一问题的正确答案）；把它们当负样本会教模型’推远相关文档’。
-
【AI 核心深度 M7-016】解释稠密检索的领域适配（微调嵌入模型）（Explain Domain Adaptation and Fine-Tuning Strategies for Dense Retrieval Models）深度数理推导与工程落地解析
通用嵌入在专业领域（医疗/法律/代码）表现差；用领域内的（查询，正文档）对做对比学习微调，配难负样本。
-
【AI 核心深度 M7-017】解释多语言稠密检索与跨语言检索（Explain Multilingual and Cross-Lingual Dense Retrieval Architectures and Alignment Techniques）深度数理推导与工程落地解析
用多语言编码器（M-CLIP/mE5）把不同语言映射到共享空间；或用’翻译后检索’；挑战是低资源语言。