21.14 工具调用模型训练实战：TRL、LLaMA-Factory 与 ms-swift#

本节要点：三个框架都能完成工具调用监督微调，但它们的数据角色、模板选择与 loss mask 接口不同；可靠训练必须先核对目标模型模板编码，再启动 LoRA 或全参数优化，最后用真实 parser 和执行器验收，而不能只观察训练 loss。

学完本节应能完成

• 为目标模型选择与部署端一致的工具调用 chat template；
• 使用 TRL、LLaMA-Factory 或 ms-swift 启动工具调用 SFT/LoRA；
• 检查工具 schema、调用、观测和最终回答分别对应哪些监督 token；
• 将单轮、并行与多步数据转换成框架要求的角色格式；
• 以调用级、执行级和任务级指标验收检查点，并判断何时继续 DPO 或 RL。