
\subsection{推理概述}

历史上，人工智能研究将推理分为三种主要的逻辑形式：\textbf{演绎}（从已知前提推导具体结论，如数学证明）、\textbf{归纳}（从具体例子推断一般规则或模式）和\textbf{溯因}（为一组观察结果寻找最合理的解释）~\cite{peirce1931:collected}。长期以来，主流机器学习和自然语言处理（NLP）研究主要集中在归纳任务上。例如，文本分类和命名实体识别等经典 NLP 应用可以被视为归纳任务：模型被训练以从大型标注数据集中泛化出映射函数。

然而，随着大语言模型（LLM）的发展，研究人员正试图解决更困难的推理问题，如复杂数学、智能体规划（agentic planning）和科学发现，这些通常需要严格的演绎和溯因推理。现代 LLM 研究表明，标准的预训练目标（即在海量文本语料库上进行下一个词预测）足够强大，能够帮助模型内化语言和世界的知识，包括潜在的推理能力。然而，主要挑战在于推理在预训练阶段并未被显式建模。因此，当面对复杂查询时，LLM 会尝试直接输出最终答案，而不是执行逐步的逻辑推导。

例如，考虑一个简单的应用题：

\begin{quote}
\textit{如果约翰的年龄是玛丽的两倍，而玛丽在3年后将是10岁，那么约翰现在多大？}
\end{quote}

基础的 LLM 可能会通过简单关联关键词“两倍”和“10”输出一个错误的猜测，如“20”。相比之下，具备推理能力的 LLM 可能会在回答前显式生成逻辑链：

\begin{quote}
\textit{玛丽现在的年龄是 $10 - 3 = 7$ 岁。因此，约翰的年龄是 $7 \times 2 = 14$ 岁。}
\end{quote}

要使用 LLM 解决复杂的演绎和溯因任务，必须显式激活这些潜在的推理能力，无论是通过思维链（CoT）等提示技术，还是通过强化学习等先进的后训练范式。

为了更好地理解推理问题，我们可以使用认知心理学中的双过程理论（dual-process theory）来审视 LLM 的能力：系统 1 和系统 2 思维~\cite{kahneman:2011thinking}。

\begin{itemize}
\item \vspace{0.5cm} \textbf{系统 1（直觉思维）：} 在人类认知中，系统 1 自动、快速地运行，几乎或根本不需要耗费精力。在 LLM 的语境下，系统 1 思维对应于模型在单次前向传播中直接输出最终答案的范式。这种模式效率很高，通常足以应对简单的问答等归纳任务。然而，当面对复杂的多步问题时，系统 1 思维容易出现逻辑跳跃和幻觉。
\item \vspace{0.3cm} \textbf{系统 2（审慎思维）：} 这种模式缓慢且有意识，需要逐步的逻辑推导。对于 LLM 而言，当引导模型在推理时分配额外的计算资源以显式生成中间推理路径时，系统 2 思维便被激活。通过将思考过程表示为文本，LLM 能够分解复杂任务，验证中间结论，并在得出最终答案前维持一条连贯的逻辑链。
\end{itemize}
\vspace{0.3cm}

对于 LLM 推理而言，核心目标是激活系统 2 的能力。为了理解这一点，我们必须超越传统的符号逻辑。在经典人工智能中，推理通常被定义为在结构化知识库上应用硬编码的逻辑规则。然而，对于 LLM 来说，推理是一种内在的文本生成过程。它可以被定义为生成一系列连贯的中间步骤以得出最终答案的能力。在某种意义上，LLM 中的推理是一种为更难的问题动态分配更多推理计算资源的机制。归根结底，LLM 的推理是将潜在的系统 2 思维显式编码为一系列思考步骤（推理步骤）的能力。

推理在 NLP 研究中至关重要，因为它在多个具有挑战性的领域有着广泛的应用：

\begin{itemize}
\item \vspace{0.2cm} \textbf{数学：} 解决数学问题需要严格的逻辑。模型不能仅仅根据文本模式猜测答案。相反，它需要逐步应用数学规则来计算正确结果。
\item \vspace{0.2cm} \textbf{编程：} 编写软件远比简单地预测下一个词要困难。模型必须根据特定的用户需求和严格的代码逻辑生成代码。特别是在解决复杂问题时，将抽象需求转化为可运行的代码需要逐步推理。
\item \vspace{0.2cm} \textbf{智能体规划：} 当人工智能作为自主智能体（如网络助手或机器人）行动时，它必须将庞大、复杂的目标分解为小的、可执行的步骤。它还需要提前规划，并在出现问题时调整其行动。
\item \vspace{0.2cm} \textbf{科学发现：} 协助科学家需要分析数据、提出新假设并对其进行仔细验证。这在很大程度上依赖于逐步的逻辑演绎和溯因。
\end{itemize}
\vspace{0.3cm}

% 除了解决更难的问题，生成推理步骤还具有实际优势。最重要的是，它使模型具有可解释性。因为模型将其思考过程以文本形式写了下来，人类可以阅读并检查其逻辑，甚至能准确找出错误发生的位置。这使得系统更容易被验证和信任。此外，逐步推理有助于减少幻觉。面对难题时，模型不再进行毫无根据的猜测，而是将其最终答案建立在自身的逻辑步骤之上，从而使输出更加可靠。

% \subsubsection{从 LLM 到推理模型}

% 在 LLM 占据主导地位之前，AI 中的推理主要依赖于严格的规则和逻辑。研究人员使用符号 AI 和语义解析等方法，将人类语言转化为目标形式，如知识图谱或数据库查询。虽然这些经典系统中的逻辑非常清晰且易于追踪，但系统本身却很脆弱。如果遇到未知的词汇，或者某一条小规则失效，整个流程就会崩溃。

% 随着 LLM 的出现，推理问题被重新定义为文本生成任务，并可以通过面向推理的技术得到更好的解决。LLM 时代推理模型的发展可以分为三个阶段：直接猜测答案、被提示去思考，以及最终学会如何思考。

% 早期的语言模型主要被训练来预测下一个词。当被问及问题时，它们会尝试立即输出答案。这种快速猜测对简单问题或写作任务很有效。但对于复杂的数学或逻辑问题，它却表现不佳。模型经常出错或产生幻觉，因为它们没有办法暂停下来并逐步解决问题。

% 第一个突破出现在研究人员意识到 LLM 已经具备了隐藏的推理能力：它们只需要被唤醒。通过简单地使用思维链（CoT）提示~\cite{wei-etal:2022chain}——要求模型“一步步思考”——模型被强制在给出答案前写下其思考过程。然而，这种方法仍然严重依赖人类的提示，并没有真正教会模型底层的逻辑规则。

% 最近更大的颠覆性进展是使用强化学习来训练模型进行推理。强化学习方法不再仅仅教模型生成文本，而是通过试错来训练这些模型。当模型找到正确的逻辑路径并得出正确答案时，它会获得奖励。随着时间的推移，像 OpenAI 的 o1~\cite{openai:2024learning} 和 DeepSeek-R1~\cite{deepseek:2025r1} 这样的模型展现出了令人印象深刻的推理能力，例如探索不同的想法、反复检查自己的步骤，以及自主纠正错误（回溯）。

% 这些自我纠正和探索能力引出了一个重要的研究方向：推理时计算缩放（inference-time scaling）\cite{snell-etal:2024scaling}。其理念非常直观：通过在生成过程中分配更多的计算资源，模型可以进行更深入的思考以解决更难的问题。理想情况下，模型会根据问题的实际难度来调整其思考时间。然而，目前的许多推理模型采取了一种更简单的方法——它们对所有查询都应用冗长的思考过程。

% 从更宏观的角度来看，在推理时缩放计算资源对一般的推理能力都有益。即使 LLM 没有经过专门的推理训练，我们仍然可以通过简单地给它更多的计算资源来“思考”，从而提升其解决问题的能力。例如，我们可以要求模型生成多条不同的推理路径并对最佳路径进行投票，或者使用搜索算法来帮助其找到正确的逻辑步骤。