Tag: constrained-decoding-structured-outputs

在每个解码步把’不合语法的 token’的 logits 置为 −∞，使采样只落在合法 token 上，从而保证输出符合语法。

把 schema 编译为自动机，跟踪解析状态，逐步限制 token；需处理嵌套、枚举、可选字段与数值格式。

约束解码在生成时保证合法（一次成功）；后处理在生成后修复（可能失败、需重试、有延迟）。

工具参数必须符合 schema（类型/枚举/必需字段）；结构化输出（约束解码）保证参数可解析、可执行。

性能：每步掩码计算有开销（现代实现已优化到 <5%）；质量：约束可能迫使模型偏离自然输出，损害内容质量。

用编程语言的语法（CFG）约束生成，保证语法正确（可编译）；对代码补全/结构化生成价值大。