21.15 推理部署与工具执行循环:Transformers、vLLM 与 SGLang#
本节要点:推理框架只负责把模型输出解析成结构化调用;真正的工具使用是一条由应用 Runtime 驱动的循环,它必须校验参数、执行受控函数、回灌带调用 ID 的结果,并在预算、权限和终止条件内继续生成。
学完本节应能完成
- 区分 chat template、tool parser、约束解码和工具执行器的职责;
- 使用 Transformers 观察原始工具调用 token,并理解本地 parser 的模型耦合;
- 用 vLLM 或 SGLang 暴露 OpenAI 兼容工具调用接口;
- 实现支持多轮与并行调用、schema 校验、超时和审计的 Runtime 循环;
- 将 MCP
tools/list与tools/call接入同一执行层,并定位常见部署错误。