7.8 RL 训练框架：TRL、OpenRLHF 与 verl#

RL 后训练的核心难点不在损失函数，而在于让训练引擎、推理引擎与奖励计算三个子系统在有限 GPU 上协同工作的分布式系统设计。TRL 以少量代码提供统一接口，OpenRLHF 借助 Ray 将各角色拆分为独立 actor 以支持异步执行，verl 则以 HybridFlow 将调度与计算解耦，成为千卡规模的事实标准。