1.1 什么是大语言模型（LLM）#

大语言模型在数学上是一个下一个 token 的条件概率模型，其训练目标是最小化对真实文本的预测误差；当模型规模与数据规模同步放大到一定量级，推理、翻译、代码生成等能力随之显现。

核心问题

• LLM 的形式化定义：给定上文，输出下一个 token 的条件概率分布，再将采样结果拼回上文循环生成，即自回归（autoregressive）；

• 为什么最小化下一个 token 预测误差这一目标会诱导出复杂能力，以及学界围绕涌现是否为真正的质变的分歧；

• 参数（parameters）、训练（training）、推理（inference） 三者各自的确切含义与发生时机；

• 模型每步输出的是概率分布而非唯一答案，温度（temperature） 仅调节采样的集中程度，不改变模型已编码的知识；

• 预训练（pre-training） 与后训练（post-training） 的分工，以及模型产生幻觉（hallucination） 的两层根因。

一、LLM 以条件概率逐 token 生成#

大语言模型（Large Language Model, LLM）的核心任务是语言建模（language modeling）：给定一段上文 $x_1, x_2, \dots, x_{t-1}$，估计下一个符号 $x_t$ 的条件概率分布 $P(x_t \mid x_1, \dots, x_{t-1})$。

生成时，模型据此分布采样出一个符号，将其追加到上文之后，再对新的上文重复同一过程，直至产生终止符。整段文本的概率由链式法则分解为逐位置条件概率之积：

这一定义澄清了一个常被误解之处：LLM 回答问题时并非从某个存储库中检索答案，而是逐个符号地生成它所估计的最可能续写。整门课程的技术主线都建立在这一形式化目标之上。

LLM 的基本建模单位是 token（词元），而非完整的汉字或英文单词。token 是对文本的一种切分结果，可能对应一个字、一个词的片段或若干字符的组合。切分方式及其动机是下一节的主题；在本节中，上文所述词均指 token，即模型基于已有的一串 token 估计下一个 token 的条件概率。

语言模型的技术演进#

预测下一个符号的建模目标长期保持稳定，实现方法则自 1990 年代以来经历多次变化。技术演进主要沿可利用的上文长度与对罕见组合的泛化能力两条路径展开，主要阶段及其顺序见图 1。

统计语言模型（N-gram，主导至约 2010 年） 直接统计频率。

• 以 bigram（2-gram）为例，模型将天气真之后各候选词的出现次数除以总次数作为条件概率：设语料中天气真共出现 1000 次，其后接好600 次、接差150 次，则估计 $P(\text{好}\mid\text{天气真})=0.6$、$P(\text{差}\mid\text{天气真})=0.15$。
• 该方法结构简单、可解释、开销低，并以平滑（smoothing）与回退（back-off）缓解未见组合的零概率。
• 但其上文长度受限，n-gram 仅依赖前 $n-1$ 个词；且随上文加长，词序列组合数指数增长，语料无法为每种组合提供足够样本，这一现象称为维度灾难（curse of dimensionality） 或数据稀疏（data sparsity）。
• 因此它难以建模长距离依赖，生成文本易前后失连。

神经概率语言模型（Bengio 等，2003） 首次以神经网络替代频率统计[^bengio2003]：将每个词映射为一个可学习的稠密向量（分布式表示 / 词向量），再用一个前馈网络据上文向量预测下一个词。

• 其关键贡献是让语义相近的词在向量空间中彼此接近，从而使针对某个词学到的规律泛化到罕见的近义词，n-gram 框架下猫与猫咪是互不相关的离散符号，神经网络将二者置于相近位置，从机制上缓解了数据稀疏。
• 这一用连续向量表示离散符号的思想成为其后一切神经语言模型的基石。
• 稍晚的 word2vec（Mikolov 等，2013） 与 GloVe（Pennington 等，2014） 使高效词向量得以普及、成为 NLP 的标准输入，并揭示了向量空间的语义几何（详见下一节）[^word2vec][^glove]；但这类嵌入是静态的，一个词无论上下文如何都对应同一向量。

循环神经网络（RNN / LSTM，语言建模约 2010–2016） 为突破固定窗口而生。

• RNN 引入一个随序列逐词更新的隐状态 $h_t$，理论上可把任意长的历史压缩进该状态；Mikolov 等 2010 年将其用于语言建模，效果明显超过 n-gram。
• 但朴素 RNN 训练中梯度随距离指数衰减（梯度消失），难以保留远距离信息，长短期记忆网络（LSTM，Hochreiter & Schmidhuber，1997） 遂以门控机制缓解此问题、成为其后多年序列建模的主力[^lstm]。
• RNN 系有两处根本局限：隐状态是固定维度的信息瓶颈，长序列仍会被稀释；且逐词串行、无法在序列维度并行，难以扩展到超大规模。

序列到序列与注意力（2014） 是承前启后的一环。

• Sutskever 等提出的 seq2seq 用一个 LSTM 把输入句压成固定向量、另一个 LSTM 解码输出，成为机器翻译的通用框架[^seq2seq]；但把整句压进单一向量对长句是明显瓶颈，Bahdanau 等遂提出注意力（attention），让解码每一步都回看输入所有位置、按相关度加权取用，而非依赖那个压缩向量[^bahdanau]。
• 值得强调的是，注意力机制正是在这一步诞生：它先作为 RNN 的增强出现，三年后才被推到舞台中央。

Transformer（2017 年至今） 做出关键一跃，去掉循环、仅用自注意力建模序列内部依赖[^attention]。

• 这一步同时解决了 RNN 的两个痛点：任意两位置一步直连（长依赖易学），且同层所有位置可并行（可大规模扩展），其机制详见 1.3 · 注意力与 Transformer。
• 此后几乎所有主流模型都以 Transformer 为骨架。

预训练范式的确立（2018） 由三项工作奠定。

• ELMo（Peters 等）用双向 LSTM 语言模型产出上下文相关的词向量，使同一个词随上下文取不同表示、突破静态嵌入的局限[^elmo]；GPT-1（Radford 等）用 Transformer 解码器做生成式预训练、再迁移到下游任务，确立了 decoder-only 路线。
• BERT（Devlin 等）用 Transformer 编码器加掩码语言建模（masked LM） 做双向预训练，在一大批理解类任务上大幅刷新纪录[^bert]。
• 三者共同确立了在海量无标注文本上预训练一个通用模型、再迁移到具体任务的范式，是现代 LLM 的直接前身。

规模化与对齐（2019 年至今）：主线转向放大规模。

• GPT-2（2019）以更大模型展示了不经微调即可零样本完成多种任务的潜力；GPT-3（2020，1750 亿参数）进一步显现上下文学习（in-context learning），仅凭提示中的少量示例即可适应新任务、无需更新参数。
• 规模放大到此量级后，能力出现前文所述的显著变化。
• 2022 年前后 InstructGPT 与 ChatGPT 又引入基于人类反馈的对齐（RLHF），把会续写的基座变成会听指令的助手（详见本节第五部分）。

这条脉络的各关键节点汇总如下。

综观这条脉络，建模目标始终未变，都是预测下一个符号；改变的是模型可利用的上文长度、对罕见组合的泛化能力，以及可承载的数据量与参数量。当后几者被同步放大到足够规模，模型行为发生了显著的性质变化。这正是大语言模型中大的实质含义：它标示的是一个使性质发生改变的规模门槛，而非单纯的量级修饰。

二、下一个 token 预测为何能诱导出复杂能力#

要将下一个 token 预测得足够准确，模型必须习得远超记忆语料的能力，因为许多续写只有在掌握了文本背后的规律时才可能正确。若语料中包含大量算式，则准确续写 3 + 5 = 要求模型建模加法运算；准确续写这段 Python 报错的原因是要求模型建模程序的语义与常见错误模式；准确续写爱因斯坦出生于要求模型记住具体事实（1879 年）；

准确续写因为下了一整夜的雨，所以早上地面则要求模型建模因果关系，从而以高概率输出湿了而非干燥。这些例子表明，语言承载语法、事实、逻辑与因果信息，将预测下一个 token的误差优化到足够低，会促使模型把可复用规律编码进参数。该过程的抽象结构见图 2。

这一观察可精确地与压缩联系起来。信息论中，对一段文本预测得越准，等价于用越少的比特对其无损编码；反之，一个能对海量文本实现高压缩率的模型，必然内化了大量关于文本生成规律的结构化信息。因此有研究者将语言建模的本质概括为压缩即智能。

这并非修辞：模型的参数容量远小于其训练语料的原始比特数，它无法逐字存储语料，只能提炼出可复用的规律，而对规律的提炼正是通常所称的理解。这一机制解释了为何模型能够回答语料中未直接出现、但可由既有规律推导的问题。

当模型规模与数据规模同步增大到一定量级，一些小规模模型无法完成的能力开始显现，这构成了大语言模型之大的实际后果。

涌现能力：证据、质疑与共识#

涌现能力（emergent abilities）是近年争议最集中的概念之一。作为入门课程，此处客观呈现分歧双方的立场与代表工作，不预设结论。

真实涌现观点

• 支持一方以 Wei 等人（TMLR 2022）为代表，其定义为：小规模模型不具备、模型放大到某一规模后突然具备、且无法通过外推小模型性能曲线加以预测的能力。
• 典型例证是思维链推理（Chain-of-Thought, CoT），即引导模型显式输出中间推理步骤。
• 实验显示，在小模型上要求其输出推理步骤反而降低准确率；只有当训练算力约达 $10^{23}$ FLOPs、参数规模约 100B 时，思维链的效果才明显超过直接作答¹。
• 相应的性能曲线在临界规模前近乎平坦、越过临界点后陡然上升，形态类似物理系统中的相变。

度量假象观点

• 质疑一方以 Schaeffer 等人（NeurIPS 2023）为代表，主张相当一部分突变是评测指标选择所致的假象（mirage）。
• 若采用精确匹配这类 0/1 离散指标，模型从几乎全错过渡到偶尔全对会表现为骤然跃升；但若改用连续指标，例如按正确字符数计分或考察模型赋予正确答案的概率，则同一批模型的性能曲线呈平滑渐进上升。
• 据此，模型能力实为稳步提升，离散指标将连续的量变呈现为跳变²。
• 两派对同一现象因度量方法不同而得出不同解释，其论点、证据与共同结论见图 3。

涌现能力的观点对照

• 真实涌现观点：小模型长期不具备某项能力，越过临界规模后任务准确率陡增；思维链在约 100B 参数量级才明显有效，被解释为类似相变的质变。
• 度量假象观点：精确匹配把部分正确全部记为零分，容易制造突然跃升；改用正确字符数或正确答案概率等连续指标后，同一批模型呈平滑改善。
• 双方共识：模型能力会随规模持续增强。尚未确定的是内部机制是否发生真正质变，以及小模型曲线能否可靠外推大模型能力。

图中的四组柱形代表相同规模档位，而不是两组不同实验。左图把所有不完全正确的答案压缩到接近 0 的区域，因此模型即使已经学会部分步骤，分数也几乎不动；右图保留这些中间进展，能力积累便能提前显现。工程上比较模型时，不能只看一条最终准确率，还应同时检查过程得分、正确答案概率与误差类型，否则可能把指标阈值误判为模型内部突然出现的新机制。

两派共识在于：模型能力随规模确实持续增强，这一点无争议；分歧在于是否存在真正的质变或相变，此为尚未定论的解释之争。这一区分对工程实践具有实际意义。若涌现主要源于评测指标，则相当多能力可由小模型的性能曲线外推预测，从而无需先训练巨型模型即可判断其可行性；若确实存在相变，则规模投入的决策需更为审慎³。

规模的来源、成本核算及其可预测性，是 第 3 章 · Scaling Laws 的主题。

常见误解辨析：LLM 内部并不存在可逐条检索的数据库，也不在回答时即时查阅资料。它将语料中的规律压缩进数以千亿计的参数中，回答时依据这些内化规律现场生成。该机制既是其能够举一反三的来源，也是其产生幻觉的根源，本节第六部分详述。

三、参数、训练与推理的定义及边界#

参数、训练与推理分别描述模型状态、参数优化过程和固定参数下的计算过程。三者的定义与发生阶段如下表所示。

参数的数学本质#

参数可由线性函数 $y = w x + b$ 说明：给定输入 $x$，斜率 $w$ 与截距 $b$ 决定输出 $y$，因此 $w$ 与 $b$ 均为参数。神经网络将大量此类可调数值组织为计算图，并在层间加入非线性变换，其输入为上文的向量表示，输出为下一个 token 的概率分布。所谓模型拥有 1750 亿参数，即该计算图包含 1750 亿个可调数值。

训练持续调整这些数值，使输出分布逼近真实语料分布；训练结束后参数固定，推理阶段只读不写。参数量、训练 token 数与训练计算量的关系见图 4。

以一组具体数字建立量感：GPT-3 具有 1750 亿（175B）参数，在约 3000 亿（300B）个 token 上完成训练⁴。这两个数字含义不同且不可混淆：175B 刻画模型的容量，即可调数值的规模；300B token 刻画训练数据的规模，即模型所处理文本的总量。

二者需匹配放大，容量过大而数据不足，或数据充足而容量不足，都会导致性能欠佳，这一匹配关系正是 第 3 章 · Scaling Laws 所要精确刻画的规律。

综上，训练对应学习，推理对应使用。训练发生在模型发布之前，一次性消耗巨额算力；推理发生在每次提问时，单次开销远低于训练，但调用频次极高，全球累计推理算力甚至可能超过单次训练。如何将推理做得更快、更经济，是 第 9 章 · 训推系统 的核心议题；

单次训练与推理的算力、显存与成本核算，则见同章 1.4 · 资源核算。

训练所优化的目标函数#

前文将训练描述为反复调整参数以降低预测误差，该误差对应明确的数学目标。语料中每一处都可视作一道预测任务：遮去某位置的 token，令模型预测之。模型输出一个概率分布，训练关注它赋予真实 token 的概率 $p$。采用负对数可将概率最大化转化为损失最小化，单步损失为 $-\log p$。当 $p=1$ 时损失为 0；$p$ 越小损失越大；

当 $p\to 0$ 时损失趋于无穷大，因此高置信度错误受到较大惩罚。对语料所有位置的 $-\log p$ 取平均，即得交叉熵损失（cross-entropy loss），亦称负对数似然（negative log-likelihood）。损失计算与参数更新的顺序见图 5。

训练通过梯度下降（gradient descent） 逐步降低该平均损失，其做法是计算每个参数的调整方向以使损失下降最快，随后所有参数朝该方向移动一小步，如此迭代。梯度下降的细节见 1.5 · 从零训一个 Transformer；

此处需把握的要点是：使模型习得语法、事实、逻辑等能力这一目标，其可操作形式即为使模型在海量预测任务上赋予正确答案的概率尽可能高。这些能力并非被逐项显式教授，而是模型为降低交叉熵损失而从数据中提炼出的产物。这一事实再次印证压缩即智能：交叉熵损失越低，等价于对文本的压缩越充分。

四、单次生成的内部过程：自回归与概率分布#

将预测下一个 token展开到单步计算，可描述完整的生成循环。模型先读取当前 token 序列，经 Transformer 前向计算得到全词表 logits，再由 softmax 转成概率分布并采样一个 token。被选中的 token 随即追加到上下文中，成为下一轮计算的新输入，完整数据流见图 6。

预测一个符号、追加到上文、再预测下一个的循环称为自回归生成（autoregressive generation）。其名称中的自回归意指模型将自身已输出的符号作为预测后续符号的输入，即每一步的输出都成为下一步输入的一部分。

这一机制解释了一个可直接观察到的现象：模型逐 token 输出文本，因为第 $k$ 个 token 尚未生成时，第 $k+1$ 个 token 的预测所依赖的上文并不完整。这种串行依赖既带来流式输出的交互形态，也构成推理难以并行、速度受限的根本原因；其加速是 第 9 章 · 训推系统 的核心命题之一。

由此还可澄清一个要点：模型并不先规划整句再输出，而是在每一步仅估计给定当前上文，下一个 token 最可能为何，逐步拼出完整文本。之所以仍能保持连贯，是因为已生成的内容被回填为下一步的上文，前文对后文形成约束，从而由局部的逐步选择组合出全局上看似经过规划的表达。

softmax：从分数到概率分布#

图 6 中的概率归一化步骤是理解温度的前提。模型对词表中每个候选 token 输出一个原始分数 $z_i$，称为 logit，其取值可正可负、量纲不受约束。要将其转化为合法的概率分布，须满足两条约束：每个取值落在 $0$ 与 $1$ 之间，且全部取值之和为 $1$。实现这一转化的函数为 softmax⁵：

其含义是：先对每个分数取指数 $e^{z}$，使所有值变为正数并放大彼此差距，再除以所有指数之和以归一化到总和为 $1$。之所以先取指数而非直接归一化，是因为 logit 可为负，直接归一化会产生负概率；取指数既保证结果恒正，又能温和放大差距，使较高的 logit 对应显著更高的概率。

因此 logit 越高的候选获得的概率越大，logit 很低的候选其指数趋近 $0$，几乎不分得概率。

以具体数值说明这一两步计算（取指数、再归一化）。设黑是指三个候选的 logits 为 $z=[2.0,\ 1.0,\ 0.5]$，则取指数得 $e^{2.0}\approx 7.39$、$e^{1.0}\approx 2.72$、$e^{0.5}\approx 1.65$；三者之和为 $7.39+2.72+1.65 = 11.76$；

归一化后 $p=[0.63,\ 0.23,\ 0.14]$，其和恰为 $1$。故模型此步赋予黑约 63% 的概率。值得注意的是，模型输出的是一个完整的概率分布而非唯一答案，这正是同一问题多次提问可能得到措辞不同回答的原因：只要采样不总是选取最高概率者，生成过程即带有随机性。

温度：调节采样集中程度#

既然每步输出的是分布，如何从分布中选取 token 便成为一个可调环节。最保守的策略是贪心（greedy），即恒取概率最高者（此例中为黑）；但在需要多样性的场景下，可放宽这一选择。控制该行为的参数是温度（temperature） $T$，其做法是在应用 softmax 之前将每个 logit 除以 $T$⁶：

温度对分布的作用可分三种情形说明。当 $T \lt 1$，除法放大了 logit 间的差距，分布更为尖锐、更确定，模型更倾向于选取最高概率的候选，输出更稳定但更保守；当 $T \gt 1$，logit 间差距被压缩，分布更为平坦、更随机，低概率候选亦有机会被选中，输出更具多样性但更易偏离；当 $T \to 0$，采样退化为贪心，几乎总是选取最高概率者，输出最确定，代价是可能重复或单调。

沿用上例可量化这一效果。原始概率为 $[0.63, 0.23, 0.14]$。取 $T=0.5$ 时，logits 变为 $[4.0, 2.0, 1.0]$，重新计算 softmax 约得 $[0.84, 0.11, 0.04]$，黑被进一步凸显，模型几乎确定选取它；

取 $T=2$ 时，logits 变为 $[1.0, 0.5, 0.25]$，softmax 约得 $[0.44, 0.27, 0.21]$，三者概率趋于接近，低概率候选被选中的机会明显增大。

温度的作用范围：温度不改变模型知道什么，因为 logit 的相对排序不变（黑始终居首），它只改变采样对高概率候选的集中程度。要求精确输出（如代码生成）时宜用低温甚至 $T=0$；追求多样性（如创意写作、头脑风暴）时宜用较高温度。

至于 top-k、top-p 等其他采样策略，属 1.2 · Token 与嵌入 之后生成与采样相关章节的内容，此处只需把握其共性：它们均只影响如何从分布中选取，不影响模型对各候选概率的估计。

上下文窗口：单次可处理的最大长度#

自回归的每一步都需读入上文，因而存在单次可处理上文长度的上限，称为上下文窗口（context window），以 token 数计。超出窗口的早期内容不进入当前步的输入，模型无法访问。这解释了长对话中模型遗忘开头信息的现象：其原因并非记忆能力不足，而是超出窗口的内容未被纳入当前步的输入。

窗口大小是近年模型能力竞争的焦点之一。早期模型单次仅能处理两三千 token，其后迅速扩展至数万、数十万乃至上百万 token，可容纳整本书或整个代码仓库。窗口越大，模型单次可综合的材料越多，越适于长文档问答、整库代码理解等任务。但扩展窗口存在代价：注意力的计算量大致随窗口长度的平方增长，窗口翻倍所增加的算力与显存开销远超一倍；

且窗口大小并不等同于有效利用能力，长上下文中普遍存在中间信息被忽略的问题。窗口扩展的成本、长上下文的固有缺陷及其工程实现，是后续长上下文相关章节的主题。此处需把握的要点是：上下文窗口界定了模型单次的可见范围，超出窗口的内容对当前推理不产生影响。

五、预训练与后训练：分工概述#

文本预测能力与指令响应能力对应不同的优化阶段。现代 LLM 的训练管线通常分为预训练与后训练，其功能分工与依赖关系见图 7⁷。

这条管线存在明确的依赖关系。SFT 与强化学习都从已经完成预训练的 Base 模型出发，它们使用的数据量通常远小于预训练语料，但样本质量、任务结构和奖励信号更加集中。若 Base 模型缺乏某项底层知识，后训练很难凭少量偏好数据补齐；若 Base 模型已有知识却不会按指令调用，后训练则可以显著改善其行为。

因此选择训练方案时应先判断问题属于能力缺失还是行为失配，前者通常需要更充分的预训练数据或继续预训练，后者才主要由 SFT、RLHF 或 RLVR 解决。

预训练（Pre-training） 在超大语料上反复执行下一个 token 预测，训练出一个知识广博但不擅长遵循指令的基座模型，业内称 base 模型。对于用一句话解释黑洞这一输入，base 模型可能并不作答，而是续写出类似……的问题在考试里经常出现，下面我们来看第二题的文本，因为其学习目标是续写文本而非回应用户。

它在语料中见过该短语出现于各类上下文，故其补全的是该短语最可能出现在何种文档之中，而非用户期望的回答。

后训练（Post-training） 在 base 模型之上重塑行为，通常包含两步。首先是指令微调（Supervised Fine-Tuning, SFT），用大量问题 → 优质答案的示范教模型作出恰当回应；

随后是人类反馈强化学习（Reinforcement Learning from Human Feedback, RLHF） 或近年兴起的可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards, RLVR），依据人类偏好或客观正误信号进一步调整行为。

RLHF 的做法是让人对模型的多个回答排序，据此训练一个代表人类偏好的打分模型，再引导模型朝高分方向优化；RLVR 则应用于答案可由程序自动判定正误的领域（如数学题、单元测试），其奖励信号更客观、更省人力，在数学与编程等结构化推理任务上带来显著提升，是近两年受到关注的方向。

后训练通常不承担大规模新增语言能力或事实知识的功能，这些能力主要在预训练阶段形成。后训练主要重塑行为，使基座从续写模型转变为遵循指令并按预期形式作答的助手。因此，后训练可以改变表达方式与响应倾向，却难以注入预训练中未覆盖的系统性知识。这一功能边界将在 SFT 与强化学习章节中进一步讨论。

base 模型与对话模型的区分：开放平台上的模型常提供两个版本，xxx-base（仅经预训练，为续写模型）与 xxx-instruct / xxx-chat（经过后训练，为助手）。通过 API 进行对话时面对的几乎都是后者。混淆二者会导致困惑：base 模型不会作答，只会续写；若以 base 模型构建客服问答，它可能反过来续写出更多用户提问。

六、能力、局限与幻觉的根源#

一旦确立LLM 的本质是按条件概率生成最可能的续写，其优势与局限便可由此推导。

LLM 擅长改写、翻译、摘要、代码骨架生成、头脑风暴以及将模糊需求转化为结构化文本等任务。这些任务的共性在于其答案不唯一，只要输出通顺、合理即可接受，恰与生成最可能的续写这一能力相契合，因而 LLM 在语言中存在大量可循模式的场景下表现优异。

自回归机制还可解释模型为何具备一定推理能力。要求模型显式输出中间推理步骤（即前述思维链）往往显著提升其准确率，其原因仍在于自回归：每一步生成都读入此前写下的中间步骤，将一道难题分解为若干小步并把中间结论显式置于上文，使后续步骤能够基于前序结论继续推进，而无需在单步之内直接跳至最终答案。

由此可得一条实用方法：对需要推理的问题，与其令模型直接给出结论，不如提示其分步思考，其实质是将推理过程分摊到多步自回归中完成。

这一建模范式具有超出文字的普适性。将输入切分为一串符号并自回归地预测下一个符号，同样适用于将图像切分为图块、将语音切分为音频片段、将动作序列切分为指令等情形，这正是当今多模态大模型的底层思路之一。因此，本节所述的下一个 token 预测是一个可迁移至多个领域的通用建模框架，而非仅限于文字的特定技巧。

LLM 的一项固有局限是幻觉（hallucination），即模型会以高置信度生成看似合理、实则错误的内容。其根源在于模型的目标是生成最可能的续写，而非核验内容真伪。OpenAI 于 2025 年发表的《Why Language Models Hallucinate》给出了两层根因⁸。

其一，部分事实在原理上无法由模式预测得到。诸如某位普通人的生日这类低频、任意性的事实，在语料中不存在可循规律，模型只能猜测，从统计上即注定会出错。若某一信息在训练数据中仅出现一次甚至从未出现，模型便无从记忆，只能依据生日通常呈现的格式生成一个格式正确的日期。论文将幻觉刻画为一种二元分类误差：判定一句陈述真伪本身存在理论误差下界，模型无法实现零错误。

其二，训练与评测的激励存在错位。绝大多数评测奖励猜测、惩罚拒答：猜对得分，猜错与回答不确定同为零分。在此激励下，模型的最优策略是宁可猜测也不承认不确定。因此幻觉不仅源于模型能力不足，也源于训练与评测机制对猜测行为的鼓励。使模型表达不知道需要调整评测激励，例如对错误答案倒扣分、对不确定给予部分分，而非仅增大参数规模。

数据边界、生成目标、评测激励与外部核验之间的因果关系见图 8。

与搜索引擎、数据库的本质区别#

LLM 与搜索引擎、数据库可从存储对象、返回内容、未知问题处理方式及知识更新机制四个维度区分，如下表所示。

由此可知，LLM 不应被当作搜索引擎使用：它不保证检索的准确性，其保证的是生成结果的合理外观。这一区分具有实践意义。需要精确、可溯源、可更新的场景（如查询法条、库存、最新新闻）应采用检索系统；需要灵活生成与泛化的场景（如改写、摘要、代码编写）才是 LLM 的适用范围。

若需兼顾生成能力与检索准确性，通常为模型外接一个检索库，令其先检索真实资料、再基于资料生成，这即是检索增强生成（Retrieval-Augmented Generation, RAG） 的动机，是后续 RAG 相关章节的主题。

一个典型陷阱：要求 LLM列出若干关于 X 的论文并附链接，其输出可能是格式完整但并不存在的论文标题与 URL，因为论文引用具有强格式模式，模型能够以假乱真地补全其形式，却无法保证所指实体真实存在。同理，它给出的 API 用法、库函数名、法条编号也可能是形似而实伪的编造。凡涉及精确事实（人名、日期、数字、引用、法条、代码接口），均须外部核实，不应仅凭模型输出采信。

三种常见误解的辨析#

初学阶段有三种误解较为普遍，此处逐一辨析。

其一，模型内部存有知识库，回答时从中查询。实际情况是，模型仅有一组固定的参数，其回答是依据条件概率现场生成的，不存在可逐条检索、可溯源的条目。若需可溯源的回答，须外接检索系统（即 RAG）。

其二，模型答错只因能力不足，规模更大即可消除错误。此说不完全成立。对于低频、任意性的事实（如某位普通人的生日、某次会议的确切日期），语料中不存在可循规律，再大的模型也只能猜测；幻觉中的一部分是原理性的，无法仅靠增大参数消除。

其三，提高温度可使模型更准确。事实恰恰相反。温度只调节采样的集中程度，不改变模型对各候选的概率估计；要获得更准确、更稳定的输出，应调低温度（甚至采用贪心），提高温度只会增加输出的随机性与偏离风险。

把握上述辨析，可将对 LLM 的预期校准至务实位置：它是一个能力很强的语言模式生成器，而非无所不知的事实数据库。

小结#

• 大语言模型是一个下一个 token 的条件概率模型：给定上文，经 softmax 输出完整的概率分布，采样一个 token 并追加至上文循环生成，此即自回归生成
• 将这一目标优化到足够低的误差，推理、编程、翻译等能力随规模显现（是否构成真正的质变仍有争议）
• 三个核心概念中，参数是编码知识的可调数值，训练是一次性、开销极高的学习过程，推理是每次提问时的使用过程
• 温度仅调节采样的集中程度，不改变模型所编码的知识
• 模型先经预训练得到知识广博的基座，再经后训练成为遵循指令的助手
• 正因其本质是生成最可能的续写，它会产生幻觉，不应将其当作搜索引擎或数据库，涉及精确事实务必核实

下一节：1.2 · Token 与嵌入：模型眼里的文字 → ｜ 本章总览：第 1 章 · 大模型基础

参考文献#

https://arxiv.org/abs/1810.04805