21.15 推理部署与工具执行循环:Transformers、vLLM 与 SGLang#

本节要点:推理框架只负责把模型输出解析成结构化调用;真正的工具使用是一条由应用 Runtime 驱动的循环,它必须校验参数、执行受控函数、回灌带调用 ID 的结果,并在预算、权限和终止条件内继续生成。

学完本节应能完成

  • 区分 chat template、tool parser、约束解码和工具执行器的职责;
  • 使用 Transformers 观察原始工具调用 token,并理解本地 parser 的模型耦合;
  • 用 vLLM 或 SGLang 暴露 OpenAI 兼容工具调用接口;
  • 实现支持多轮与并行调用、schema 校验、超时和审计的 Runtime 循环;
  • 将 MCP tools/listtools/call 接入同一执行层,并定位常见部署错误。

登录后才可看