\section{本章小结}

本章围绕大语言模型从预训练到应用部署的完整技术链路，构建了一套系统性的认知框架。我们从最基础的语言建模目标出发——利用链式法则将序列联合概率分解为逐步条件概率的乘积，进而理解了仅解码器Transformer架构如何为这一概率分解提供可计算的神经网络实现。预训练的本质被还原为一个看似朴素却极其强大的目标：在海量文本上最大化逐token预测的对数似然。缩放定律则揭示了模型参数量与训练数据量之间的幂律关系，Chinchilla定律进一步指出二者必须等比例增长才能达到计算最优，这一洞见直接指导了从GPT-3的0.5T到Qwen3的36T训练数据的规模跃迁。分布式训练中的数据并行、流水线并行与张量并行则为这种规模扩张提供了工程上的可行性保障。

在预训练奠定的通用能力之上，我们学习了如何通过提示学习将模型适配到具体任务。零样本、单样本与少样本提示构成了上下文学习的基本谱系，而思维链提示通过强制模型生成中间推理步骤，显著提升了多步推理任务的准确率。提示工程从人工设计走向自动化优化，软提示则突破了离散文本的限制，将提示表示为可学习的连续向量，在效率与灵活性之间取得了平衡。

微调技术是将通用预训练模型转化为任务专用模型的核心手段。有监督微调通过精心设计的指令--响应对激活模型的指令遵循能力，其数据量远小于预训练却能有效唤醒潜在能力，这与表面对齐假说高度一致。参数高效微调方法，尤其是LoRA，通过低秩分解将权重更新压缩为两个小矩阵的乘积，以极少的可训练参数达到接近全量微调的效果，且推理时零额外延迟，使大模型微调真正走向了普及化。

偏好对齐技术解决了模型``能做什么''与``应该做什么''之间的鸿沟。RLHF通过人类偏好排序训练奖励模型，再以PPO等强化学习算法优化策略，使模型输出符合人类期望。DPO则通过数学推导将奖励建模与策略优化合二为一，将复杂的四模型训练流程简化为一个监督式分类任务，大幅降低了对齐的工程门槛。偏好数据的自动生成进一步缓解了对人类标注的依赖，使对齐过程具备了更强的可扩展性。

推理增强是本章的最后一个主题，也是当前最活跃的研究前沿。测试时缩放将计算资源从训练阶段转移到推断阶段，通过采样多条推理路径或构建结构化搜索来动态分配``思考时间''。基于可校验奖励的强化学习为推理过程提供了可靠的监督信号，过程奖励模型、生成式验证器和形式符号系统各有适用场景。从推理模型到智能体的演进——ReAct的``思维--动作--观察''循环、Reflexion的失败反思机制、Tree of Thoughts的树搜索规划——标志着大语言模型正从被动的文本生成器走向能够感知、规划、行动与自我修正的自主系统。

展望未来，大语言模型的技术演进仍面临诸多开放性问题。缩放定律尚未触及天花板，但算力与数据的边际成本正在攀升，如何在有限资源下实现更高效的训练与推理将是持续的工程挑战。对齐问题远未解决，人类价值观的复杂性与动态性决定了这不可能是一次性的训练目标，而需要模型在与真实世界的持续交互中不断校准。推理能力的边界仍在拓展，如何将形式化验证的严谨性与神经网络的灵活性深度融合，如何让智能体在开放环境中实现长程规划与鲁棒决策，都是亟待突破的方向。此外，多模态融合、长上下文处理、模型安全与可解释性等议题也将在后续章节中逐步展开。本章所建立的预训练、提示、微调、对齐与推理增强的技术体系，既是理解当前大模型能力边界的钥匙，也是通往更强大、更安全、更通用的人工智能系统的起点。



\begin{exercisebox}
  \begin{enumerate}
    \item 设一个 token 序列为 $\{x_0,x_1,x_2,x_3\}$，其中 $x_0=\langle s\rangle$。根据链式法则，写出该序列的联合概率 $\Pr(x_0,x_1,x_2,x_3)$ 的分解式。
    
    \item 判断下列说法是否正确，并简要说明理由：  
    “根据 Chinchilla 缩放定律，若要提升模型性能，应优先增加模型参数量，而非增加训练数据量。”
    
    \item 下面哪个选项是思维链（Chain-of-Thought）提示的核心特征？  
    A. 在提示中提供多个完整的问答示例  
    B. 强制模型生成中间的推理步骤后再给出答案  
    C. 使用可训练的连续向量代替文本指令  
    D. 要求模型直接输出最终结果以提高效率
    
    \item 在有监督微调（SFT）中，为什么需要将损失函数仅作用于输出部分（即助手的回复），而不作用于输入部分（即用户的指令）？请简要解释。
    
    \item 对于一个参数量为 $d \times k$ 的预训练权重矩阵，若采用 LoRA 进行微调，秩取 $r$，则新增的可训练参数量是多少？（用 $d$、$k$、$r$ 表示）
    
    \item 在 RLHF 流程中，Bradley-Terry 模型用于训练奖励模型时，其损失函数使用成对比较数据而非绝对评分数据。这种做法的优势是什么？
    
    \item 某模型在数学推理任务上表现不佳，你作为技术人员，可以从哪些技术层面尝试改进？请至少写出两个方面，并简要说明理由。
    
  \end{enumerate}
\end{exercisebox}


% <details>
% <summary>参考答案（供教师使用）</summary>

% 1. $\Pr(x_0,x_1,x_2,x_3)=\Pr(x_0)\cdot\Pr(x_1|x_0)\cdot\Pr(x_2|x_0,x_1)\cdot\Pr(x_3|x_0,x_1,x_2)$，其中约定 $\Pr(x_0)=1$。

% 2. **错误**。Chinchilla 缩放定律指出，在给定计算预算下，模型参数量 $N$ 与训练数据量 $D$ 应以相近的速度同步增长，二者需要平衡，“参数过大而数据不足”会导致算力浪费。

% 3. **B**。

% 4. 输入部分（指令）不需要模型“预测”，模型在推理时会直接获得用户输入的指令；我们只希望模型学习如何根据指令生成正确回复，而非学习预测用户会问什么。因此，仅输出部分的梯度参与参数更新。

% 5. $r \times (d + k)$，即 $d \times r + r \times k$。

% 6. 标注者直接给出绝对分数主观性强且难以一致，而判断两个输出之间的相对优劣更直观、更可靠。成对比较数据更容易收集，且 Bradley-Terry 模型可将这种相对偏好转化为可训练的连续奖励信号。

% 7. （答案不唯一，合理即可）  
%    示例一：使用思维链提示（如添加“逐步思考”指令），激活模型的推理能力。  
%    示例二：收集更多数学推理数据，进行有监督微调，强化模型在多步逻辑推导上的表现。  
%    示例三：在推理时采用 Best-of-N 采样，生成多条候选路径后选出最优答案。

% </details>
