6.6 · 坑与权衡:SFT 会越训越差的四种方式#

SFT 并非向模型追加新内容,而是用一小批窄分布数据去覆写一个规模巨大、能力已强的既有分布;覆写不当会导致遗忘、复读、格式僵化,甚至在教授新事实时系统性推高幻觉。

登录后才可看