\noindent 近年来，大语言模型（LLMs）的蓬勃发展成为自然语言处理（NLP）领域最重要的进展之一。这一进展推进生成了可模拟人类认知、实现自然语言理解与生成的系统。这些系统甚至具备逻辑推理能力，而推理任务曾一直被视为人工智能领域极具挑战性的难题。得益于这些技术革新，NLP 取得了长足的进步，正式步入全新研究阶段，以往诸多研究难题，例如搭建可与人流畅沟通的对话交互系统等，正逐步迎刃而解。

在大规模数据上训练语言模型已将 NLP 研究带入了一个全新发展的阶段。长期以来，语言建模仅被视为底层基础技术，与通用人工智能的研发目标相差甚远，但如今该方向催生出具备涌现智能的系统：模型通过持续预测文本序列中的词汇，学习到一定程度的通用知识。研究表明，一个经过良好训练的单一 LLM 能够处理海量任务，并以极低的适配成本泛化至全新任务 \cite{bubeck-etal:2023sparks}。这一成果代表着人工智能向高阶通用形态迈出关键一步，也推动学界进一步探索，致力于将更强大的语言模型开发为基础模型。

本章将系统介绍大语言模型的预训练与微调全流程技术体系。首先，我们将阐述大语言模型的基础预训练技术，包括语言建模方法、主流模型架构、预训练策略以及指导模型规模扩张的缩放定律。在此基础上，展开提示学习相关方法研究，包含零样本、少样本提示、思维链提示及其各类优化手段。随后，重点阐述大模型微调技术，包括有监督微调和各类高效微调方法。进一步，讨论模型偏好对齐技术，涉及奖励模型构建、对齐策略、直接偏好优化及偏好数据自动生成方案。最后，探讨大语言模型的推理增强方法，包括测试时缩放策略、基于可校验奖励的强化学习以及从推理模型到智能体的演进路径。通过对上述内容的系统梳理，本章旨在为读者构建大模型从预训练到应用部署的完整技术认知体系。

\begin{learninggoals}
  \begin{itemize}
    \item 理解大语言模型预训练的基本原理，包括语言建模的目标、模型架构以及模型规模与训练数据之间的扩展规律，能够解释模型性能与计算资源之间的关系。
    \item 掌握通过提示设计和有监督微调来适配预训练模型的方法，能够区分不同提示策略和高效微调技术的适用场景。
    \item 了解模型偏好对齐与推理增强的核心思路，能够说明如何利用人类反馈优化模型行为，以及如何通过扩展推理时的计算来提升复杂任务的解决能力。
  \end{itemize}
\end{learninggoals}