31.1 从零预训练与手写 LLM#

亲手把数据 → tokenizer → 模型结构 → 预训练 →（可选）SFT/对齐全链路跑一遍，训出一个几十 M 到几百 M 参数、能对话的小模型，这是理解大模型怎么诞生最有效的一课，且一张消费级显卡即可完成。