5.1 · Tokenizer、模型与优化器：预训练的三根地基#

从零训练一个大模型，须先确定三项基础设施，将文本映射为整数的分词器（Tokenizer）、承载参数并预测下一个 token 的网络（模型），以及依据梯度更新参数的优化器（Optimizer）。三者决定了后续训练的稳定性、成本与可学习性。