Как работают большие языковые модели: от функции потерь до ограничений предсказания

(2026-09-08 07:14:15) 下一个 《How Large Language Models Work》 作者：Edward Raff、Drew Farris、Stella Biderman（Manning, 2025） 第四章 — LLMs 如何学习 本章揭开训练过程的神秘面纱，解释 gradient descent 及 LLMs 采用这种训练方式的原因——以及这种训练方式在何处会失灵。 Loss functions。 训练需要一个 loss function：一个单一的数值分数，用以量化模型当前表现有多差，训练过程会试图将其最小化。一个好的 loss function 需要具备三种属性：specificity（它必须真正与你所关心的现实目标相关——"造一台智能计算机"这样的目标不够具体，无法据此优化）；computability（它必须能够从你实际拥有的数据中计算出来——像"某人有多努力工作"这样的因素无法被直接测量）；以及 smoothness（输入的微小变化应当带来微小且连续的 loss 变化，而不是突兀的跳跃——例如 accuracy 就不是 smooth 的，因为它只能取一组固定的值，比如正确预测的计数）。当理想的目标（如 accuracy）不是 smooth 时，从业者会用一个更平滑的替代目标来代替，称为 proxy problem——对于分类任务，这通常是 cross-entropy loss。 Gradient descent 。 有了 loss function 之后，gradient descent 就是用来迭代调整模型内部 parameters 以降低 loss 的机械化过程。gradient 会告诉你应当朝哪个方向、以多大幅度微调每个 parameter。这一过程被形象地比喻为一个球在 loss "地形"上向下滚动，寻找最低点（即最低 loss）——但由于这是一种 贪婪的（greedy） 算法，只能看到其周围的局部情况，因此它可能会卡在一个并非全局最优的"局部最小值"（即所谓"nonconvex"的地形）中。在实践中，一次性对整个数据集计算 gradient 是不可行的，因此训练会使用 stochastic gradient descent（SGD），即用一小批随机抽取的数据来估计 gradient 的方向——这种方法几乎与使用全部数据一样有效，但速度快得多。一种常见的改进方法 Adam，会为更新过程添加"动量"（momentum），使那些持续朝同一方向移动的更新加速前进，从而帮助算法越过较小的局部最小值，代价是训练过程中所需的内存大约增加至三倍（不过这部分开销在最终训练完成的模型中并不会保留）。 LLMs 被训练来模仿文本，而非追求正确性 。 一个关键但经常被忽视的点是：LLMs 的训练目标仅仅是预测下一个 token，使其与训练数据相似——它们 并非 被直接训练来记忆事实、产生原创想法、构建对世界的模型或追求真实性。训练的方式是不断向模型展示真实文本中长度递增的前缀，并在其正确预测接下来内容时给予奖励（由于可以在整篇文档上并行完成这一过程，这与旧式的 recurrent neural networks 不同——后者必须按顺序逐步处理，这正是 LLMs 能如此高效扩展规模的主要原因之一）。由于互联网——主要的训练来源——包含大量虚假、带偏见和存在缺陷的内容，一个在匹配训练数据方面表现越来越好的 LLM，可能同时在那些网络上常被错误呈现的话题上变得 更不 真实（例如 Inverse Scaling Prize 中记录的现象）。这也解释了为什么模型会自信地回答带有虚假前提的问题（例如"为什么干意面这么坚固？"），它会通过模式匹配生成一个听起来合理的解释结构，而完全不去验证该前提本身是否成立。 为何预测看起来像推理 。 尽管缺乏真正的理解，但 LLM 可用的上下文规模之大，使它能非常有效地缩小可能延续内容的范围——这与人类利用上下文线索猜测缺失单词的方式类似，只不过是通过在数十亿个样本上进行更加暴力的统计关联来实现的。 新颖任务是薄弱环节 。 LLMs 在与训练数据中常见内容相似的任务上表现良好（例如为常见任务编写正确的 Python 代码），但在不寻常的推演任务上表现会下降（例如将同一段代码翻译成像 Modula-3 这样冷门的语言，此时模型可能会自信地借用更常见语言中的模式来"发明"根本不存在的语法）。本书还着重指出了两种植根于模型 autoregressive、模式匹配本质的具体失败模式：(1) 无法正确识别任务本身——例如，即使经典逻辑谜题（狐狸/山羊/白菜过河问题）的约束条件已经被改变，模型仍可能反复套用"标准"解法，因为改动后的提示词与熟悉的版本仍非常相似；以及 (2) 无法进行规划——例如在玩 20 Questions 游戏时，模型并不会像人类那样在一开始就真正确定一个具体的隐藏物体，而是逐题给出局部看似合理的回答，只有在事后才"凑巧"与某个具体答案保持一致。 设计上的启示。 由于大多数现实世界的请求并非真正新颖，LLMs 仍然广泛有用——但理解其能力在何处开始下降，有助于合理限定应用范围：与其让 LLM 面对不受约束的任意用户输入，不如限制用户可以提出的请求范围（例如提供有限的提示菜单，或限定在已知数据集范围内），这样往往能构建出更可靠的系统。 更大是否更好？ 本章最后结合 Rich Sutton 提出的 "bitter lesson" 观点：能够随更多计算资源扩展的通用方法，往往优于精心设计的巧妙方法，而 transformer 由于其出色的可并行性（不同于 RNN 或 GAN），在规模扩展上表现异常出色。但更大的模型意味着真实的部署成本——响应延迟、硬件需求以及电力/电池限制——因此设计决策必须在原始能力与实际可部署性之间权衡。 本章要点 ： 训练需要一个 specific、computable、且 smooth 的 loss function；gradient descent 通过逐步微调模型 parameters 来降低该 loss；LLMs 的训练目标纯粹是模仿人类文本模式，这与真实性、推理能力等目标并不完全一致；LLMs 在与训练数据相似的任务上表现最好，任务越新颖，表现越差。 （本篇有AI帮助整理）