updates of section 7 and preface

e0c0cae4 · xiaotong · fa938afa · e0c0cae4 · e0c0cae4 · e0c0cae4
Commit e0c0cae4 authored May 05, 2020 by xiaotong
--- a/Book/Chapter7/Chapter7.tex
+++ b/Book/Chapter7/Chapter7.tex
@@ -28,7 +28,7 @@
 \section{神经机器翻译并不简单}
-\parinterval 同统计机器翻译一样，高品质神经机器翻译的开发并没有想象的那么简单。虽然有很多开源系统可以参考，但是系统实践者仍然有大量的工作需要完成。在神经机器翻译系统研发方面，有若干问题需要注意：
+\parinterval 同统计机器翻译一样，高品质神经机器翻译系统的开发并没有想象的那么简单。虽然有很多开源系统可以参考，但是系统实践者仍然有大量的工作需要完成。在神经机器翻译系统研发方面，有若干问题需要注意：
 \begin{itemize}
 \vspace{0.3em}
@@ -80,7 +80,7 @@
 \begin{itemize}
 \vspace{0.3em}
-\item {\small\bfnew{数据处理}}：机器翻译的训练数据、测试数据都需要进行加工和处理，包括，数据的清洗、翻译单元的切分、对特殊字符的处理等。数据处理的好坏对机器翻译系统的品质影响很大。
+\item {\small\bfnew{数据处理}}：机器翻译的训练数据、测试数据都需要进行加工和处理，包括，数据的清洗、翻译单元（字词）的切分、对特殊字符的处理等。数据处理的好坏对机器翻译系统的品质影响很大。
 \vspace{0.3em}
 \item {\small\bfnew{建模和架构选择}}：确定了翻译任务，下一步需要设计机器翻译模型。核心是神经网络架构的选择，比如，是使用循环神经网络还是Transformer。在确定架构之后，需要进一步设计细致的网络结构，比如，注意力机制、深层网络等等。神经网络结构的设计也会影响模型训练和推断策略的选择。
 \vspace{0.3em}
@@ -148,7 +148,7 @@
 \parinterval 分词系统的效率是一个容易被忽略的问题，也是研发机器翻译系统需要考虑的因素。比如，对上亿、甚至几十亿个句子进行分词的时候，分词系统过慢会拖慢整个训练进程。因此，在实践中，对于大规模的分词，可以考虑多线程或者其它分布式计算技术，比如Map-Reduce，进行并行处理。
-\parinterval 此外，在很多翻译场景下，需要对特殊的翻译单元单独处理。比如，在金融领域中，需要对企业名、时间、金额等信息进行准确翻译。这时，对分词系统的优化就十分必要，比如利用正则表达式保证特定类型的单词不会被切割得太碎；再比如，专利翻译中，一些化学式的表达、技术专有名字也需要单独处理。特别是，当用户希望通过预定义的词典干预翻译结果时，分词系统需要能配合相应的处理。比如，希望对一个片段强制使用用户指定的译文，这时就要求分词系统也能把这个单元准确的切分出来。这些问题的解决也依赖大量的工程优化。
+\parinterval 此外，在很多翻译场景下，需要对特殊的翻译单元单独处理。比如，在金融领域中，需要对企业名、时间、金额等信息进行准确翻译。这时，对分词系统的优化就十分必要，比如利用正则表达式保证特定类型的单词不会被切割得太碎；再比如，专利翻译中，一些化学式的表达、技术专有名词也需要单独处理。特别是，当用户希望通过预定义的词典干预翻译结果时，分词系统需要能配合相应的处理。比如，希望对一个片段强制使用用户指定的译文，这时就要求分词系统也能把这个单元准确的切分出来。这些问题的解决也依赖大量的工程优化。
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -220,20 +220,24 @@
 \parinterval 下面会简单介绍数据过滤的基础方法，因为它们在系统实践中已经被证明是十分有效的。由于原始双语数据往往是基于篇章或者段落，在语料库的构建过程中，需要对原始数据进行句对齐，从而获得训练机器翻译系统所需要的数据。由于句对齐算法并不完美，以及原始数据本身可能存在错误，会导致得到的数据中存在一些非对齐的句对。比如，处理数据时经常会遇到一句话只翻译了一半的情况。更极端一些的例子是，整个源语言和目标语言句子完全不对应。下面的例子展示了一些典型的非对齐汉英双语句子。显然，数据清洗需要过滤掉这样的数据。
-\begin{example}
-\quad
-中文：今天\ \ 天气\ \ 不错\ \ 。
+\parinterval 双语句对实例1：
-英文：Let's\ \ go\ \ ! \\
+\parinterval 中文：今天\ \ 天气\ \ 不错\ \ 。
-中文：桃树\ \ 、\ \ 杏树\ \ 、\ \ 梨树\ \ 、\ \ 你\ \ 不\ \ 让\ \ 我\ \ 、\ \ 我\ \ 不\ \ 让\ \ 你\ \ 、\ \ 都\ \ 开满 \ \ 了\ \ 花\ \ 。
+\parinterval 英文：Let's\ \ go\ \ ! 
-英文：Flowers\ \ bloom\ \ .
+\vspace{1em}
-\end{example}
+\parinterval 双语句对实例2：
-\parinterval 对于有明显问题的数据或者低质量的数据，一般采用启发性的数据过滤方法，有几方面的因素可以考虑：
+\parinterval 中文：桃树\ \ 、\ \ 杏树\ \ 、\ \ 梨树\ \ 、\ \ 你\ \ 不让\ \ 我\ \ 、\ \ 我\ \ 不让\ \ 你\ \ 、\ \ 都\ \ 开满 \ \ 了\ \ 花\ \ 。
+\parinterval 英文：Flowers\ \ bloom\ \ .
+\vspace{1em}
+\parinterval 对于有明显问题或者低质量的数据，一般采用启发性的数据过滤方法，有几方面的因素可以考虑：
 \begin{itemize}
 \vspace{0.3em}
@@ -288,7 +292,7 @@
 \parinterval 另一种思路是不改变机器翻译系统，而是从数据处理的角度来缓解OOV问题。既然使用单词会带来数据稀疏问题，那么自然会想到使用更小的单元。比如，把字符作为最小的翻译单元 \footnote{中文中字符可以被看作是汉字。} \ \dash \ 也就是基于字符的翻译模型（{\red 参考文献！}）。以英文为例，只需要构造一个包含26个英文字母、数字和一些特殊符号的字符表，便可以表示所有的单词。
-\parinterval 但是字符级翻译也面临着新的问题 - 使用字符增加了系统捕捉不同语言单元之间搭配的难度。假设平均一个单词由5个字符组成，所处理的序列长度便增大5倍。这使得具有独立意义的不同语言单元需要跨越更远的距离才能产生联系。此外，基于字符的方法也破坏了单词中天然存在的构词规律，或者说破坏了单词内字符的局部依赖。比如，英文单词``telephone''中的``tele''和``phone''都是有具体意义的词缀，但是如果把它们打散为字符就失去了这些含义。
+\parinterval 但是字符级翻译也面临着新的问题\ \dash\ 使用字符增加了系统捕捉不同语言单元之间搭配的难度。假设平均一个单词由5个字符组成，所处理的序列长度便增大5倍。这使得具有独立意义的不同语言单元需要跨越更远的距离才能产生联系。此外，基于字符的方法也破坏了单词中天然存在的构词规律，或者说破坏了单词内字符的局部依赖。比如，英文单词``telephone''中的``tele''和``phone''都是有具体意义的词缀，但是如果把它们打散为字符就失去了这些含义。
 \parinterval 那么有没有一种方式能够兼顾基于单词和基于字符方法的优点呢？常用的手段包括两种，一种是采用字词融合的方式构建词表，将未知单词转换为字符的序列并通过特殊的标记将其与普通的单词区分开来\cite{luong2016acl_hybrid}。而另一种方式将单词切分为{\small\bfnew{子词}}\index{子词}（Sub-word）\index{Sub-word}，它是介于单词和字符中间的一种语言单元表示形式。比如，将英文单词``doing''切分为``do''+``ing''。对于形态学丰富的语言来说，子词体现了一种具有独立意义的构词基本单元。比如，如图\ref{fig:7-8}，子词``do''，和``new''在可以用于组成其他不同形态的单词。
@@ -325,11 +329,11 @@
 \vspace{0.3em}
 \item 对每个句子进行分词；
 \vspace{0.3em}
-\item 将分词后的每个单词进行进一步切分，划分为字符序列。同时，在每个单词结尾添加结束符<e>用于标记单词的边界。之后，统计该单词在数据中出现的次数。例如单词low在数据中出现了5次，可以将其记为``l o w <e>:5''。
+\item 将分词后的每个单词进行进一步切分，划分为字符序列。同时，在每个单词结尾添加结束符<e>用于标记单词的边界。之后，统计该单词在数据中出现的次数。例如单词low在数据中出现了5次，可以将其记为`l o w <e>:'5。
 \vspace{0.3em}
 \item 对得到的字符集合进行统计，统计每个单词中2-gram符号出现的频次 \footnote{发生合并前，一个字符便是一个符号}。之后，选择最高频的2-gram符号，将其合并为新的符号，即新的子词。例如``A''和``B''连续出现的频次最高，则以``AB''替换所有单词内连续出现的``A''和``B''并将其加入子词词表。这样，``AB''会被作为一个整体，在之后的过程中可以与其他符号进一步合并。需要注意的是替换和合并不会跨越单词的边界，即只对单个单词进行替换和合并。
 \vspace{0.3em}
-\item 不断重复上一步骤，直到子词词表大小达到预定的大小或者下一个最高频的2-gram字符的频次为1。子词词表大小是BPE的唯一的参数，它用了控制上述子词合并的规模。
+\item 不断重复上一步骤，直到子词词表大小达到预定的大小或者下一个最高频的2-gram字符的频次为1。子词词表大小是BPE的唯一的参数，它用来控制上述子词合并的规模。
 \vspace{0.3em}
 %----------------------------------------------
@@ -432,7 +436,7 @@ y = f(x)
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \subsubsection{L1/L2正则化}
-\parinterval L1/L2正则化是常用的正则化方法。它们分别对应正则项是$l_1$和$l_2$范数的情况。具体来说，L1正则化是指
+\parinterval L1/L2正则化是常用的正则化方法。它们分别对应正则项是L1和L2范数的情况。具体来说，L1正则化是指
 \begin{eqnarray}
 R(\mathbf{w}) & = & \big| |\mathbf{w}| {\big|}_1 \\
 			     & =  &\sum_{w_i}|w_i| \nonumber
@@ -482,7 +486,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \subsubsection{Dropout}
-\parinterval 神经机器翻译模型是一种典型的多层神经网路模型。每一层网络都包含若干神经元，负责接收前一层所有神经元的输出，并进行诸如乘法、加法等变换，并有选择的使用非线性的激活函数，最终得到当前层每个神经元的输出。从模型最终预测的角度看，每个神经元都在参与最终的预测。理想的情况下，我们希望每个神经元都能相互独立的做出``贡献''。这样的模型会更加健壮，因为即使一部分神经元不能正常工作，其它神经元仍然可以独立做出合理的预测。但是，随着每一层神经元数量的增加以及网络结构的复杂化，研究者发现神经元之间会出现{\small\bfnew{相互适应}}\index{相互适应}（Co-Adaptation）\index{Co-Adaptation}的现象。所谓相互适应是指，一个神经元对输出的贡献与同一层其它神经元的行为是相关的，也就是说这个神经元已经适应到它周围的``环境''中。
+\parinterval 神经机器翻译模型是一种典型的多层神经网络模型。每一层网络都包含若干神经元，负责接收前一层所有神经元的输出，并进行诸如乘法、加法等变换，并有选择的使用非线性的激活函数，最终得到当前层每个神经元的输出。从模型最终预测的角度看，每个神经元都在参与最终的预测。理想的情况下，我们希望每个神经元都能相互独立的做出``贡献''。这样的模型会更加健壮，因为即使一部分神经元不能正常工作，其它神经元仍然可以独立做出合理的预测。但是，随着每一层神经元数量的增加以及网络结构的复杂化，研究者发现神经元之间会出现{\small\bfnew{相互适应}}\index{相互适应}（Co-Adaptation）\index{Co-Adaptation}的现象。所谓相互适应是指，一个神经元对输出的贡献与同一层其它神经元的行为是相关的，也就是说这个神经元已经适应到它周围的``环境''中。
 \parinterval 相互适应的好处在于神经网络可以处理更加复杂的问题，因为联合使用两个神经元要比单独使用每个神经元的表示能力强。这也类似于传统机器学习任务中往往会设计一些高阶特征，比如自然语言序列标注中对bi-gram和tri-gram的使用。不过另一方面，相互适应会导致模型变得更加``脆弱''。因为相互适应的神经元可以更好的描述训练数据中的现象，但是在测试数据上，由于很多现象是未见的，细微的扰动会导致神经元无法适应。具体体现出来就是过拟合问题。
@@ -512,12 +516,12 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \parinterval 对于新的样本，可以使用Dropout训练之后的模型对其进行推断，但是每个神经元的输出要乘以$1-p$，以保证每层神经元输出的期望和训练时是一样的。另一种常用的做法是，在训练时对于每个神经元的输出乘以$\frac{1}{1-p}$，然后在推断时神经网络可以不经过任何调整即可直接使用。
-\parinterval Dropout方法的另一种解释是，训练中屏蔽掉一些神经元相当于从原始的神经网络中抽取出了一个子网络。这样，每次训练都在一个随机生成的子网络上进行，而不同子网络之间的参数是共享的。在推断时，则把所有的子网络集成到一起。这种思想也有一些{\small\bfnew{集成学习}}\index{集成学习}（Ensemble Learning）\index{Ensemble Learning}的味道。只不Dropout中子模型（或子网络）是在指数级空间中采样出来的。由于Dropout可以很好的缓解复杂神经模型的过拟合问题，因此也成为了大多数神经机器翻译系统的标配。
+\parinterval Dropout方法的另一种解释是，训练中屏蔽掉一些神经元相当于从原始的神经网络中抽取出了一个子网络。这样，每次训练都在一个随机生成的子网络上进行，而不同子网络之间的参数是共享的。在推断时，则把所有的子网络集成到一起。这种思想也有一些{\small\bfnew{集成学习}}\index{集成学习}（Ensemble Learning）\index{Ensemble Learning}的味道。只不过Dropout中子模型（或子网络）是在指数级空间中采样出来的。由于Dropout可以很好的缓解复杂神经模型的过拟合问题，因此也成为了大多数神经机器翻译系统的标配。
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \subsubsection{Layer Dropout}
-\parinterval 随时网络层数的增多，相互适应也会出现在不同层之间。特别是在引入残差网络之后，不同层的输出可以进行线性组合，因此不同层之间的相影响用会更加直接。对于这个问题，也可以使用Dropout的思想对不同层进行屏蔽。比如，可以使用一个开关来控制一个层能否发挥作用，这个开关以概率$p$被随机关闭，即该层有为$p$的可能性不工作。图\ref{fig:7-15}展示了Transformer多层网络引入Layer Dropout前后的情况。可以看到，使用Layer Dropout后，开关M会被随机打开或者关闭，以达到屏蔽某一层计算的目的。由于使用了残差网络，关闭每一层相当于``跳过''这一层网络，因此Layer Dropout并不会影响神经网络中数据流的传递。
+\parinterval 随时网络层数的增多，相互适应也会出现在不同层之间。特别是在引入残差网络之后，不同层的输出可以进行线性组合，因此不同层之间的相互影响用会更加直接。对于这个问题，也可以使用Dropout的思想对不同层进行屏蔽。比如，可以使用一个开关来控制一个层能否发挥作用，这个开关以概率$p$被随机关闭，即该层有为$p$的可能性不工作。图\ref{fig:7-15}展示了Transformer多层网络引入Layer Dropout前后的情况。可以看到，使用Layer Dropout后，开关M会被随机打开或者关闭，以达到屏蔽某一层计算的目的。由于使用了残差网络，关闭每一层相当于``跳过''这一层网络，因此Layer Dropout并不会影响神经网络中数据流的传递。
 %----------------------------------------------
 % 图7.
@@ -537,7 +541,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \parinterval 神经机器翻译是一种典型的多层神经网络。一方面，可以通过设计合适的网络连接方式和激活函数来捕捉复杂的翻译现象；另一方面，越来越多的可用数据让模型能够得到更有效的训练。在训练数据较为充分的情况下，设计更加``复杂''的模型成为了提升系统性能的有效手段。比如，Transformer模型有两个常用配置Transformer-Base和Transformer-Big。其中，Transformer-Big比Transformer-Base使用了更多的神经元，相应的翻译品质更优\cite{vaswani2017attention}。
-\parinterval 那么是否还有类似的方法可以改善系统性能呢？答案是显然肯定的。这里，把这类方法统称为基于大容量模型的方法。在传统机器学习的观点中，神经网络的性能不仅依赖于架构设计，同样与容量密切相关。那么什么是模型的{\small\bfnew{容量}}\index{容量}（Capacity）\index{Capacity}？简单理解，容量是指神经网络的参数量，即神经元之间连接权重的个数。另一种定义是把容量看作神经网络所能表示的假设空间大小\cite{deeplearning}，也就是神经网络能表示的不同函数所构成的空间。
+\parinterval 那么是否还有类似的方法可以改善系统性能呢？答案显然是肯定的。这里，把这类方法统称为基于大容量模型的方法。在传统机器学习的观点中，神经网络的性能不仅依赖于架构设计，同样与容量密切相关。那么什么是模型的{\small\bfnew{容量}}\index{容量}（Capacity）\index{Capacity}？简单理解，容量是指神经网络的参数量，即神经元之间连接权重的个数。另一种定义是把容量看作神经网络所能表示的假设空间大小\cite{deeplearning}，也就是神经网络能表示的不同函数所构成的空间。
 \parinterval 而学习一个神经网络就是要找到一个``最优''的函数，它可以准确地拟合数据。当假设空间变大时，训练系统有机会找到更好的函数，但是同时也需要依赖更多的训练样本才能完成最优函数的搜索。相反，当假设空间变小时，训练系统会更容易完成函数搜索，但是很多优质的函数可能都没有包含在假设空间里。这也体现了一种简单的辩证思想：如果训练（搜索）的代价高，会有更大的机会找到更好的解；另一方面，如果想少花力气进行训练（搜索），那就设计一个小一些的假设空间，在小一些规模的样本集上进行训练，当然搜索到的解可能不是最好的。
@@ -549,7 +553,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \vspace{0.3em}
 \item 增加网络的整体层数：即增加网络深度，利用更多的线性和非线性变换来获得更复杂的特征抽取能力。
 \vspace{0.3em}
-\item 增大输入层和输出层的表示能力：即增强模型对词表中每个词的表示能力。
+\item 增大输入层和输出层的维度：即增强模型对词表中每个词的表示能力。
 \vspace{0.3em}
 \end{itemize}
@@ -615,7 +619,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \end{figure}
 %----------------------------------------------
-\parinterval 不过，深网络容易发生梯度消失和梯度爆炸问题。因此在使用深网络时，训练策略的选择是至关重要的。实际上，标准的Transformer模型已经是不太``浅''的神经网络，因此里面使用了残差连接来缓解梯度消逝等问题。此外，为了避免过拟合，深层网络的训练也要与Dropout等正则化策略相配合，并且需要设计恰当的参数初始化方法和学习率调整策略。关于构建深层神经机器翻译的方法，本章\ref{subsection-7.5.1}节还会有进一步讨论。
+\parinterval 不过，深网络容易发生梯度消失和梯度爆炸问题。因此在使用深网络时，训练策略的选择是至关重要的。实际上，标准的Transformer模型已经是不太``浅''的神经网络，因此里面使用了残差连接来缓解梯度消失等问题。此外，为了避免过拟合，深层网络的训练也要与Dropout等正则化策略相配合，并且需要设计恰当的参数初始化方法和学习率调整策略。关于构建深层神经机器翻译的方法，本章\ref{subsection-7.5.1}节还会有进一步讨论。
 %%%%%%%%%%%%%%%%%%
 \subsubsection{增大输入层和输出层表示能力}
@@ -627,7 +631,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 %%%%%%%%%%%%%%%%%%
 \subsubsection{大模型的分布式计算}
-\parinterval 伴随着模型容量的增大，复杂模型可能无法在单GPU上完成训练。比如，即使是不太复杂的Transformer-Base模型在很多任务上上也需要在8张GPU进行训练。如何利用多个设备进行大模型的并行训练是一个很现实的问题。比较简单的策略是使用{\small\bfnew{数据并行}}\index{数据并行}（Data Parallelism）\index{Data Parallelism}，即把一个批次分到多个GPU上进行训练，之后对多个GPU上的梯度进行汇总，并更新参数。不过，当模型规模增大到一定程度时，单GPU可能仍然无法处理。这个问题在GPU显存较小的时候会非常突出。这时需要考虑{\small\bfnew{模型并行}}\index{模型并行}（Model Parallelism）\index{Model Parallelism}。模型并行是指将模型分割成不同的部分，在不同的GPU上运行其中的一部分。例如，在训练深层LSTM模型时可以将不同层放置在不同GPU上，这种方式一定程度上能够加速模型的训练。对于更大的模型，如参数量为10亿的BERT-Large模型\cite{devlin2018bert}，同样可以使用这种策略。不过，模型并行中不同设备传输的延时会大大降低模型运行的效率，因此很多时候要考虑训练效率和模型性能之间的平衡。
+\parinterval 伴随着模型容量的增大，复杂模型可能无法在单GPU上完成训练。比如，即使是不太复杂的Transformer-Base模型在很多任务上也需要在8张GPU进行训练。如何利用多个设备进行大模型的并行训练是一个很现实的问题。比较简单的策略是使用{\small\bfnew{数据并行}}\index{数据并行}（Data Parallelism）\index{Data Parallelism}，即把一个批次分到多个GPU上进行训练，之后对多个GPU上的梯度进行汇总，并更新参数。不过，当模型规模增大到一定程度时，单GPU可能仍然无法处理。这个问题在GPU显存较小的时候会非常突出。这时需要考虑{\small\bfnew{模型并行}}\index{模型并行}（Model Parallelism）\index{Model Parallelism}。模型并行是指将模型分割成不同的部分，在不同的GPU上运行其中的一部分。例如，在训练深层LSTM模型时可以将不同层放置在不同GPU上，这种方式一定程度上能够加速模型的训练。对于更大的模型，如参数量为10亿的BERT-Large模型\cite{devlin2018bert}，同样可以使用这种策略。不过，模型并行中不同设备传输的延时会大大降低模型运行的效率，因此很多时候要考虑训练效率和模型性能之间的平衡。
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \subsection{大批量训练}
@@ -641,7 +645,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \parinterval 然而，批次也不是越大越好，要根据训练数据集的规模与模型的容量做出合理的选择。此外，GPU显存的大小也对批次大小有约束，因为过大的批次可能无法放入GPU显存中。另一方面，在一些场景例中，如增量式训练、领域迁移，往往需要对模型进行微调。这时，常用的做法是使用小批次并固定较小的学习率，防止现有的模型参数发生较大的偏离。
-\parinterval 大多数情况下讨论批次的大小是指单独一块GPU上的数据量，然而考虑到利用数据并行进行分布式训练时，批次大小等于所有GPU 中批次大小的和。下面以Transformer模型为例。通常Transformer-Base模型使用4096词/GPU的批次在8张GPU上进行训练，此时真实批次大小为$4096\times 8=32768$词。伴随着模型容量的进一步增加，例如Transformer-Big模型，由于训练过程中网络的中间表示要消耗大量的GPU显存，可能会考虑减小批次的大小并使用累计梯度的方式来保证稳定的训练。累计梯度是一种大批量训练的常用手段，即按照一定频率缓存多个相邻批次的梯度后再进行参数的更新。比如，为了获取大批次，可以考虑将累计的更新频率设置为2或4。图\ref{fig:7-17}给出了累计梯度的参数更新方法。
+\parinterval 大多数情况下讨论批次的大小是指单独一块GPU上的数据量，然而考虑到利用数据并行进行分布式训练时，批次大小等于所有GPU 中批次大小的和。下面以Transformer模型为例。通常Transformer-Base模型使用4096词/GPU的批次在8张GPU上进行训练，此时真实批次大小为$4096\times 8=32768$词。伴随着模型容量的进一步增加，例如Transformer-Big模型，由于训练过程中网络的中间表示要消耗大量的GPU显存，可能会考虑减小批次的大小并使用累计梯度的方式来保证稳定的训练。累计梯度是一种大批量训练的常用手段，即按照一定频率缓存多个相邻批次的梯度后再进行参数的更新。比如，为了获取大批次，可以考虑将累计的更新频率设置为2或4。图\ref{fig:7-17}给出了累计梯度的参数更新方法，可以看到使用累积梯度的方式可以减少设备的空闲时间。
 %----------------------------------------------
 % 图7.
@@ -692,7 +696,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 %----------------------------------------------
 \vspace{0.3em}
-\item 按词数排序：另外一种方式是按照单词数构建批次。对比按照句长生成批次，该方式可以防止某些批次中句子整体长度特别长或者特别短的情况，保证不同批次之间整体的词数处于大致相同的范围，这样所得到的梯度也是可比较的。通常的做法是根据源语言词数、目标语言词数，或者源语言词数与目标语言词数的最大值等指标生成批次。
+\item 按词数构建批次：对比按照句长生成批次，按词数生成批次可以防止某些批次中句子整体长度特别长或者特别短的情况，保证不同批次之间整体的词数处于大致相同的范围，这样所得到的梯度也是可比较的。通常的做法是根据源语言词数、目标语言词数，或者源语言词数与目标语言词数的最大值等指标生成批次。
 \vspace{0.3em}
 \item 按课程学习的方式：考虑样本的``难度''也是生成批次的一种策略。比如，可以使用{\small\bfnew{课程学习}}\index{课程学习}（Curriculum Learning）\index{Curriculum Learning} 的思想\cite{bengioCurriculumlearning}，让系统先学习``简单''的样本，之后逐渐增加样本的难度，达到循序渐进的学习。具体来说，可以利用句子长度、词频等指标计算每个批次的``难度''，记为$d$。 之后，选择满足$d \leq c$的样本构建一个批次。这里，$c$表示难度的阈值，它可以随着训练的执行不断增大。
@@ -711,11 +715,11 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \begin{itemize}
 \vspace{0.3em}
-\item 搜索的{\small\bfnew{准确性}}（Accuracy），也就是搜索到结果的好坏；
+\item 搜索的{\small\bfnew{准确性}}\index{准确性}（Accuracy）\index{Accuracy}，也就是搜索到结果的好坏；
 \vspace{0.3em}
-\item 搜索的{\small\bfnew{时延}}（Latency），也就是翻译速度；
+\item 搜索的{\small\bfnew{时延}}\index{时延}（Latency）\index{Latency}，也就是翻译速度；
 \vspace{0.3em}
-\item 搜索所需要的存储，也就是模型运行时的内存或显存消耗。
+\item 搜索所需要的{\small\bfnew{存储}}\index{时延}（Memory）\index{Memory}，也就是模型运行时的内存或显存消耗。
 \vspace{0.3em}
 \end{itemize}
@@ -866,9 +870,11 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \parinterval 在第六章已经介绍了神经机器翻译中{\small\bfnew{批量处理}}\index{批量处理}（Batching）\index{Batching}的基本概念。其实现并不困难，不过有两方面问题需要注意：
 \begin{itemize}
+\vspace{0.5em}
 \item 批次生成策略。对于源语言文本预先给定的情况，通常是按句子长度组织每个批次，即：把长度相似的句法放到一个批次里。这样做的好处是可以尽可能保证一个批次中的内容是``满''的，否则如果句长差异过大会造成批次中有很多位置用占位符填充，产生无用计算。对于实时翻译的情况，批次的组织较为复杂。由于有翻译延时的限制，可能无法等到有足够多的句子就要进行翻译。常见的做法是，设置一个等待的时间，在同一个时间段中的句子可以放到一个批次中（或者几个批次中）。对于高并发的情况，也可以考虑使用不同的Bucket保存不同长度范围的句子，之后将同一个Bucket中的句子进行批量推断。
+\vspace{0.5em}
 \item 批次大小的选择。一个批次中的句子数量越多，GPU设备的利用率越高，系统吞吐越大。但是，一个批次中所有句子翻译结束后才能拿到翻译结果，因此批次中有些句子即使已经翻译结束也要等待其它没有完成的句子。也就是说，从单个句子来看，批次越大翻译的延时越长，这也导致在翻译实时性要求较高的场景中，不能使用过大的批次。而且，大批次对GPU显存的消耗更大。因此合理选择批次大小也需要根据具体任务进行调整。为了说明这些问题，图\ref{fig:7-23}展示了不同批次大小下的吞吐、延时和显存消耗。
+\vspace{0.5em}
 \end{itemize}
 %----------------------------------------------
@@ -896,7 +902,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \item 整型运算。整数运算是一种比浮点运算``轻''很多的运算。无论是芯片占用面积、能耗还是处理单次运算的时钟周期数，整数运算相比浮点运算都有着明显的优势。因此，使用整数运算也是很有潜力的加速手段。不过，整数的表示和浮点数有着很大的不同。一个基本的问题是，整数是不连续的，因此无法准确的刻画浮点数中很小的小数。对于这个问题，一种解决方法是利用``量化+反量化+缩放''的策略让整数运算近似浮点运算的效果 \cite{DBLP:journals/corr/abs-1906-00532}\cite{DBLP:journals/corr/abs-1712-05877}\cite{DBLP:journals/corr/abs-1910-10485}）。所谓``量化''就是把一个浮点数离散化为一个整数，``反量化''是这个过程的逆过程。由于浮点数可能超出整数的范围，因此会引入一个缩放因子。在量化前将浮点数缩放到整数可以表示的范围，反量化前再缩放回原始浮点数的表示范围。这种方法在理论上可以带来很好的加速效果。不过由于量化和反量化的操作本身也有时间消耗，而且在不同处理器上的表现差异较大。因此不同的实现方式带来的加速效果并不相同，需要通过实验测算。
 \vspace{0.3em}
-\item 低精度整形运算。使用更低精度的整形运算是进一步加速的手段之一。比如使用16位整数、8位整数，甚至4位整数在理论上都会带来速度的提升（表\ref{tab:Comparison-of-occupied-area-and-computing-speed}）。不过，并不是所有处理器都支持低精度整数的运算。开发这样的系统，一般需要硬件和特殊低精度整数计算库的支持。而且相关计算大多是在CPU上实现，应用会受到一定的限制。
+\item 低精度整型运算。使用更低精度的整型运算是进一步加速的手段之一。比如使用16位整数、8位整数，甚至4位整数在理论上都会带来速度的提升（表\ref{tab:Comparison-of-occupied-area-and-computing-speed}）。不过，并不是所有处理器都支持低精度整数的运算。开发这样的系统，一般需要硬件和特殊低精度整数计算库的支持。而且相关计算大多是在CPU上实现，应用会受到一定的限制。
 %----------------------------------------------
 % 表
@@ -915,7 +921,7 @@ y_{j}^{ls}=(1-\alpha) \cdot \tilde{y}_j + \alpha \cdot q
 \vspace{0.3em}
 \end{itemize}
-\parinterval 实际上，低精度表示的另一个好处是可以减少模型存储的体积。比如，如果要把机器翻译模型作为软件的一部分打包存储，这时可以考虑用低精度的方式保存模型参数，使用时再恢复成原始精度的参数。值得注意的是，参数的离散化表示（比如整形表示）的一个极端例子是{\small\bfnew{二值网络}}\index{二值网络}（Binarized Neural Networks）\index{Binarized Neural Networks}\cite{Hubara2016BinarizedNN}，即只用$-1$和$+1$表示网络的每个参数。二值化可以被看作是一种极端的量化手段。不过，这类方法还没有在机器翻译中得到大规模验证。
+\parinterval 实际上，低精度表示的另一个好处是可以减少模型存储的体积。比如，如果要把机器翻译模型作为软件的一部分打包存储，这时可以考虑用低精度的方式保存模型参数，使用时再恢复成原始精度的参数。值得注意的是，参数的离散化表示（比如整型表示）的一个极端例子是{\small\bfnew{二值网络}}\index{二值网络}（Binarized Neural Networks）\index{Binarized Neural Networks}\cite{Hubara2016BinarizedNN}，即只用$-1$和$+1$表示网络的每个参数。二值化可以被看作是一种极端的量化手段。不过，这类方法还没有在机器翻译中得到大规模验证。
 %%%%%%%%%%%%%%%%%%
 \vspace{0.5em}
@@ -1063,7 +1069,7 @@ b &=& \omega_{\textrm{high}}\cdot |\mathbf{x}|
 \subsection{多模型集成}
 \label{subsection-7.4.3}
-\parinterval 在机器学习领域，把多个模型融合成一个模型是提升系统性能的一种有效的方法。比如，在经典的AdaBoost方法中\cite{DBLP:journals/jcss/FreundS97}，用多个``弱''分类器构建的 ``强''分类器可以使训练集上的分类错误率无限接近0。类似的思想也被应用到机器翻译\cite{DBLP:conf/acl/XiaoZZW10}\cite{DBLP:conf/icassp/SimBGSW07}\cite{DBLP:conf/acl/RostiMS07}\cite{DBLP:conf/wmt/RostiZMS08}，被称为{\small\bfnew{系统融合}}\index{系统融合}（System Combination）\index{System Combination}。在各种机器翻译比赛中，系统融合已经成为经常使用的技术之一。
+\parinterval 在机器学习领域，把多个模型融合成一个模型是提升系统性能的一种有效的方法。比如，在经典的AdaBoost方法中\cite{DBLP:journals/jcss/FreundS97}，用多个``弱''分类器构建的 ``强''分类器可以使模型在训练集上的分类错误率无限接近0。类似的思想也被应用到机器翻译\cite{DBLP:conf/acl/XiaoZZW10}\cite{DBLP:conf/icassp/SimBGSW07}\cite{DBLP:conf/acl/RostiMS07}\cite{DBLP:conf/wmt/RostiZMS08}，被称为{\small\bfnew{系统融合}}\index{系统融合}（System Combination）\index{System Combination}。在各种机器翻译比赛中，系统融合已经成为经常使用的技术之一。
 \parinterval 广义上来讲，使用多个特征组合的方式都可以被看作是一种模型的融合。融合多个神经机器翻译系统的方法有很多，可以分为如下几类。
@@ -1149,7 +1155,7 @@ b &=& \omega_{\textrm{high}}\cdot |\mathbf{x}|
 \parinterval 有了lattice这样的结构，多模型融合又有了新的思路。首先，可以将多个模型的译文融合为lattice。注意，这个lattice会包含这些模型无法生成的完整译文句子。之后，用一个更强的模型在lattice上搜索最优的结果。这个过程有可能找到一些``新''的译文，即结果可能是从多个模型的结果中重组而来的。lattice上的搜索模型可以基于多模型的融合，也可以使用一个简单的模型，这里需要考虑的是将神经机器翻译模型适应到lattice上进行推断\cite{DBLP:conf/aaai/SuTXJSL17}。其过程基本与原始的模型推断没有区别，只是需要把模型预测的结果附着到lattice中的每条边上，再进行推断。
-\parinterval 图\ref{fig:7-27}对比了不同模型集成方法的区别。从系统开发的角度看，假设选择和模型预测融合的复杂度较低，适合快速原型，而且性能稳定。译文重组需要更多的模块，系统调试的复杂度较高，但是由于看到了更大的搜索空间，因此系统性能提升的潜力较大\footnote{一般来说lattice上的oracle要比$n$-best译文上的oracle的质量高。}。
+\parinterval 图\ref{fig:7-27}对比了不同模型集成方法的区别。从系统开发的角度看，假设选择和模型预测融合的复杂度较低，适合快速原型，而且性能稳定。译文重组需要更多的模块，系统调试的复杂度较高，但是由于看到了更大的搜索空间，因此系统性能提升的潜力较大\footnote{一般来说lattice上的Oracle要比$n$-best译文上的oracle的质量高。}。
 %----------------------------------------------
 % 图7.
@@ -1253,14 +1259,14 @@ x_{l+1}=x_l+\mathcal{F}(\textrm{LN}(x_l);\theta_l)
 z_{l}=\textrm{LN}(x_{l+1})
 \label{eq:7.5-5}
 \end{eqnarray}
-注意，$z_0$表示词嵌入层的输出，$z_l(l>0)$表示Transformer网络中的各个子层。
+注意，$z_0$表示词嵌入层的输出，$z_l(l>0)$表示Transformer网络中最终的各层输出。
 \vspace{0.5em}
-\item 	定义一个维度为$(L+1)\times(L+1)$的权值矩阵$\mathbf{W}$，矩阵中每一行表示之前各子层对当前子层计算的贡献度，其中$L$是编码端（或解码端）的层数。令$\mathbf{W}_{l,i}$代表权值矩阵$\mathbf{W}$第$l$行第$i$列的权重，则层聚合的输出为$z_i$的线性加权和：
+\item 	定义一个维度为$(L+1)\times(L+1)$的权值矩阵$\mathbf{W}$，矩阵中每一行表示之前各子层对当前层计算的贡献度，其中$L$是编码端（或解码端）的层数。令$\mathbf{W}_{l,i}$代表权值矩阵$\mathbf{W}$第$l$行第$i$列的权重，则层聚合的输出为$z_i$的线性加权和：
 \begin{eqnarray}
 g_l=\sum_{i=0}^{l}z_i\times \mathbf{W}_{l,i}
 \label{eq:7.5-6}
 \end{eqnarray}
-$g_l$会作为输入的一部分送入第$l+1$个子层。其网络的结构图\ref{fig:7.5-2}所示
+$g_l$会作为输入的一部分送入第$l+1$层。其网络的结构图\ref{fig:7.5-2}所示
 \end{itemize}
 %---------------------------------------------
@@ -1275,7 +1281,7 @@ $g_l$会作为输入的一部分送入第$l+1$个子层。其网络的结构图\
 \parinterval 可以看到，权值矩阵$\mathbf{W}$是一个下三角矩阵。开始时，对矩阵参数的每行进行平均初始化，即初始化矩阵$\mathbf{W}_0$的每一行各个位置的值为$1/M,M \in (1,2,3 \cdots L+1)$。 伴随着神经网络的训练，网络通过反向传播算法来不断更新$\mathbf{W}$中每一行不同位置权重的大小。
-\parinterval 动态线性层聚合的一个好处是，系统可以自动学习不同子层对当前子层的贡献度。在实验中也发现，离当前子层更近的部分贡献度（权重）会更大，这也是符合直觉的。
+\parinterval 动态线性层聚合的一个好处是，系统可以自动学习不同层对当前层的贡献度。在实验中也发现，离当前层更近的部分贡献度（权重）会更大，这也是符合直觉的。
 %%%%%%%%%%%%%%%%%%
 \subsubsection{深层模型的训练加速}
@@ -1471,7 +1477,7 @@ p_l=\frac{l}{2L}\cdot \varphi
 %%%%%%%%%%%%%%%%%%
 \subsubsection{预训练}
-\parinterval 编码器-解码器框架天然就包含了对输入（源语言）和输出（目标语言）进行表示学习的问题。比如，在编码端需要学习一种分布式表示（Distributed Representation）来表示源语言句子的信息，这种分布式表示既包含单词的表示也包括整个序列的表示。因此，可以使用更大规模的源语言单语数据完成编码器的训练。
+\parinterval 编码器-解码器框架天然就包含了对输入（源语言）和输出（目标语言）进行表示学习的过程。比如，在编码端需要学习一种分布式表示（Distributed Representation）来表示源语言句子的信息，这种分布式表示既包含单词的表示也包括整个序列的表示。因此，可以使用更大规模的源语言单语数据完成编码器的训练。
 \parinterval 实现上述想法的一种手段是{\small\bfnew{预训练}}\index{预训练}（Pre-training）\index{Pre-training}。常用的方法是将机器翻译模型中的一部分（比如，编码器）单独提抽取出来，之后用语言建模等方式在大规模单语数据上进行训练。得到的优化后的参数后，将其重新放入神经机器翻译模型中，作为模型的初始值。最后，神经机器翻译模型在双语数据上进行{\small\bfnew{微调}}\index{微调}（Fine-tuning）\index{Fine-tuning}，以得到最终的翻译模型。图\ref{fig:figure-encoder-fin}给出了机器翻译编码器预训练流程的示意图。
 %----------------------------------------------
@@ -1501,7 +1507,7 @@ p_l=\frac{l}{2L}\cdot \varphi
 %%%%%%%%%%%%%%%%%%
 \noindent {\small\bfnew{序列到序列预训练}}
-\parinterval 传统的预训练模型都是针对自然语言理解任务设计的，比如情感分类和命名实体识别等任务。其目的是获得更好的句子表示结果，并用于下游任务。而在机器翻译和文本摘要等序列到序列的语言生成任务，不只包含源语言表示学习的问题，还有序列到序列的映射，以及目标端序列生成的问题，这些知识是无法通过（源语言）单语数据学习到的。为了能够在序列到序列任务上更好的使用单语数据，可以同时使用源语言和目标语言单语数据的预训练。
+\parinterval 传统的预训练模型都是针对自然语言理解任务设计的，比如情感分类和命名实体识别等任务。其目的是获得更好的句子表示结果，并用于下游任务。而在机器翻译和文本摘要等序列到序列的语言生成任务，不只包含源语言表示学习的问题，还有序列到序列的映射，以及目标端序列生成的问题，这些知识是无法通过（源语言）单语数据学习到的。为了能够在序列到序列任务上更好的使用单语数据，可以同时使用编码器和解码器的结构完成对单语数据的预训练。
 %----------------------------------------------
 % 图
 \begin{figure}[htp]
@@ -1587,7 +1593,7 @@ L_{\textrm{seq}} = - \sum_{\textrm{y}}\textrm{P}_{\textrm{t}} (\textbf{y}|\textb
 L_{\textrm{seq}} = - \textrm{logP}_{\textrm{s}}(\hat{\textbf{y}} | \textbf{x})
 \label{eqa7.5.3.2-3}
 \end{eqnarray}
-这样的损失函数带来最直接的好处是，知识精炼的流程会非常简单。因为只需要利用教师模型将训练数据（源语言）翻译一遍，之后把它的输出替换为训练数据的目标语言部分。之后，利用得到的新的双语数据训练学生模型即可，图\ref{fig:difference-between-word-level-and-sequence-level-in-knowledge-distillation}展示了简化后词级和序列级的不同，其中词一级知识精炼的解码端输入为真实双语数据的目标语言，并以teacher模型输出的概率分布作为学习目标，而序列级则直接将teacher推断后得到的结果作为解码端的输入，并将解码结果的One-hot向量作为学习目标。
+这样的损失函数带来最直接的好处是，知识精炼的流程会非常简单。因为只需要利用教师模型将训练数据（源语言）翻译一遍，之后把它的输出替换为训练数据的目标语言部分。之后，利用得到的新的双语数据训练学生模型即可，图\ref{fig:difference-between-word-level-and-sequence-level-in-knowledge-distillation}展示了简化后词级和序列级的不同，其中词级知识精炼的解码端输入为真实双语数据的目标语言，并以teacher模型输出的概率分布作为学习目标，而序列级则直接将teacher推断后得到的结果作为解码端的输入，并将解码结果的One-hot向量作为学习目标。
 \vspace{0.3em}
 \end{itemize}
 %----------------------------------------------

--- a/Book/Chapter7/Figures/figure-construction-steps-of-MT-system.tex
+++ b/Book/Chapter7/Figures/figure-construction-steps-of-MT-system.tex
@@ -21,8 +21,8 @@
 {\footnotesize
 \node [anchor=west] (n11) at ([xshift=-13em,yshift=2em]n1.west) {对训练和测试数据进行};
 \node [anchor=west] (n12) at ([xshift=0em,yshift=-1.5em]n11.west) {处理，包括：数据清洗、};
-\node [anchor=west] (n13) at ([xshift=0em,yshift=-1.5em]n12.west) {翻译单元切分、译文后};
+\node [anchor=west] (n13) at ([xshift=0em,yshift=-1.5em]n12.west) {翻译单元（字词）切分、};
-\node [anchor=west] (n14) at ([xshift=0em,yshift=-1.5em]n13.west) {处理等};
+\node [anchor=west] (n14) at ([xshift=0em,yshift=-1.5em]n13.west) {译文后处理等};
 \node [anchor=west] (n31) at ([xshift=2em,yshift=0em]n3.north east) {神经网络模型设计，包括};

--- a/Book/ChapterPreface/ChapterPreface.tex
+++ b/Book/ChapterPreface/ChapterPreface.tex
@@ -20,7 +20,7 @@
 在这个时代背景下，对机器翻译的模型、方法、实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面的回顾了近三十年内机器翻译的技术发展历程，并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中，笔者力求用朴实的语言和实例阐述机器翻译的基本模型和方法，同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用，也可以作为自然语言处理，特别是机器翻译相关研究人员的参考资料。
-本书共分为七个章节。章节的顺序参考了机器翻译技术发展的时间脉络，同时兼顾形成机器翻译知识体系的内在逻辑。各章节的主要内容包括：
+本书共分为七个章节。章节的顺序参考了机器翻译技术发展的时间脉络，同时兼顾了机器翻译知识体系的内在逻辑。各章节的主要内容包括：
 \begin{itemize}
 \vspace{0.4em}
@@ -40,9 +40,9 @@
 \vspace{0.4em}
 \end{itemize}
-其中，第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍，分别建立了两个机器翻译范式的基础知识体系 \ \dash \ 统计机器翻译和神经机器翻译。统计机器翻译部分（第三、四章）涉及早期的基于单词的翻译模型，以及本世纪初流行的基于短语和句法的翻译模型；神经机器翻译（第六、七章）代表了当今机器翻译的前沿，内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别是，第七章对一些先进的神经机器翻译方法进行了讨论，为相关相关科学问题的研究和实用系统的开发提供了可落地的思路。图\ref{fig:preface}展示了本书各个章节及核心概念之间的关系。
+其中，第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍，分别建立了两个机器翻译范式的基础知识体系 \ \dash \ 统计机器翻译和神经机器翻译。统计机器翻译部分（第三、四章）涉及早期的基于单词的翻译模型，以及本世纪初流行的基于短语和句法的翻译模型；神经机器翻译（第六、七章）代表了当今机器翻译的前沿，内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别是，第七章对一些最新的神经机器翻译方法进行了讨论，为相关科学问题的研究和实用系统的开发提供了可落地的思路。图\ref{fig:preface}展示了本书各个章节及核心概念之间的关系。
-{\red 用最简单的方式阐述机器翻译的基本思想}是笔者所期望达到的目标。但是，书中难免会涉及一些概念形式化定义和算法的抽象描述，笔者尽所能通过图例进行解释（本书共320张插图）。不过，本书所包含的内容较为广泛，难免会有疏漏，望读者海涵，并指出不当之处。
+{\red 用最简单的方式阐述机器翻译的基本思想}是笔者所期望达到的目标。但是，书中不可避免会使用一些形式化定义和算法的抽象描述。这时，笔者尽所能通过图例进行解释（本书共320张插图）。不过，本书所包含的内容较为广泛，难免会有疏漏，望读者海涵，并指出不当之处。
 \begin{figure}[htp]
 \centering

--- a/Book/ChapterPreface/Figures/figure-preface.tex
+++ b/Book/ChapterPreface/Figures/figure-preface.tex
@@ -43,6 +43,7 @@
 \draw [->,very thick] ([yshift=-9.8em]sec5.south) -- ([yshift=-0.2em]sec5.south);
+\draw [->,thick,dotted] ([xshift=0.2em,yshift=1em]sec2.east) .. controls +(east:3em) and +(south:4em) .. ([xshift=3em,yshift=-0.0em]pretrainbox.south);
 % section 3
 \node [secnode,anchor=south,ugreen,fill=white] (sec3) at ([yshift=10em]sec2.north) {};

--- a/Book/mt-book-xelatex.ptc
+++ b/Book/mt-book-xelatex.ptc
@@ -2,140 +2,714 @@
 \defcounter {refsection}{0}\relax 
 \select@language {english}
 \defcounter {refsection}{0}\relax 
-\contentsline {part}{\@mypartnumtocformat {I}{神经机器翻译}}{9}{part.1}
+\contentsline {part}{\@mypartnumtocformat {I}{机器翻译基础}}{15}{part.1}
 \ttl@starttoc {default@1}
 \defcounter {refsection}{0}\relax 
-\contentsline {chapter}{\numberline {1}人工神经网络和神经语言建模}{11}{chapter.1}
+\contentsline {chapter}{\numberline {1}机器翻译简介}{17}{chapter.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.1}深度学习与人工神经网络}{12}{section.1.1}
+\contentsline {section}{\numberline {1.1}机器翻译的概念}{17}{section.1.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.1.1}发展简史}{12}{subsection.1.1.1}
+\contentsline {section}{\numberline {1.2}机器翻译简史}{20}{section.1.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{早期的人工神经网络和第一次寒冬}{12}{section*.3}
+\contentsline {subsection}{\numberline {1.2.1}人工翻译}{20}{subsection.1.2.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{神经网络的第二次高潮和第二次寒冬}{13}{section*.4}
+\contentsline {subsection}{\numberline {1.2.2}机器翻译的萌芽}{21}{subsection.1.2.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{深度学习和神经网络方法的崛起}{14}{section*.5}
+\contentsline {subsection}{\numberline {1.2.3}机器翻译的受挫}{22}{subsection.1.2.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.1.2}为什么需要深度学习}{15}{subsection.1.1.2}
+\contentsline {subsection}{\numberline {1.2.4}机器翻译的快速成长}{23}{subsection.1.2.4}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{端到端学习和表示学习}{15}{section*.7}
+\contentsline {subsection}{\numberline {1.2.5}机器翻译的爆发}{24}{subsection.1.2.5}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{深度学习的效果}{16}{section*.9}
+\contentsline {section}{\numberline {1.3}机器翻译现状}{25}{section.1.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.2}神经网络基础}{16}{section.1.2}
+\contentsline {section}{\numberline {1.4}机器翻译方法}{26}{section.1.4}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.2.1}线性代数基础}{16}{subsection.1.2.1}
+\contentsline {subsection}{\numberline {1.4.1}基于规则的机器翻译}{28}{subsection.1.4.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{标量、向量和矩阵}{17}{section*.11}
+\contentsline {subsection}{\numberline {1.4.2}基于实例的机器翻译}{28}{subsection.1.4.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{矩阵的转置}{18}{section*.12}
+\contentsline {subsection}{\numberline {1.4.3}统计机器翻译}{29}{subsection.1.4.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{矩阵加法和数乘}{18}{section*.13}
+\contentsline {subsection}{\numberline {1.4.4}神经机器翻译}{30}{subsection.1.4.4}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{矩阵乘法和矩阵点乘}{19}{section*.14}
+\contentsline {subsection}{\numberline {1.4.5}对比分析}{31}{subsection.1.4.5}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{线性映射}{20}{section*.15}
+\contentsline {section}{\numberline {1.5}翻译质量评价}{32}{section.1.5}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{范数}{21}{section*.16}
+\contentsline {subsection}{\numberline {1.5.1}人工评价}{32}{subsection.1.5.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.2.2}人工神经元和感知机}{22}{subsection.1.2.2}
+\contentsline {subsection}{\numberline {1.5.2}自动评价}{33}{subsection.1.5.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{感知机\ \raisebox {0.5mm}{------}\ 最简单的人工神经元模型}{23}{section*.19}
+\contentsline {subsubsection}{BLEU}{33}{section*.16}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{神经元内部权重}{24}{section*.22}
+\contentsline {subsubsection}{TER}{35}{section*.17}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{神经元的输入\ \raisebox {0.5mm}{------}\ 离散 vs 连续}{25}{section*.24}
+\contentsline {subsubsection}{基于检测点的评价}{35}{section*.18}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{神经元内部的参数学习}{25}{section*.26}
+\contentsline {section}{\numberline {1.6}机器翻译应用}{36}{section.1.6}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.2.3}多层神经网络}{26}{subsection.1.2.3}
+\contentsline {section}{\numberline {1.7}开源项目与评测}{38}{section.1.7}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{线性变换和激活函数}{26}{section*.28}
+\contentsline {subsection}{\numberline {1.7.1}开源机器翻译系统}{38}{subsection.1.7.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{单层神经网络$\rightarrow $多层神经网络}{28}{section*.35}
+\contentsline {subsubsection}{统计机器翻译开源系统}{39}{section*.20}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.2.4}函数拟合能力}{29}{subsection.1.2.4}
+\contentsline {subsubsection}{神经机器翻译开源系统}{40}{section*.21}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.3}神经网络的张量实现}{33}{section.1.3}
+\contentsline {subsection}{\numberline {1.7.2}常用数据集及公开评测任务}{42}{subsection.1.7.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.3.1} 张量及其计算}{34}{subsection.1.3.1}
+\contentsline {section}{\numberline {1.8}推荐学习资源}{44}{section.1.8}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{张量}{34}{section*.45}
+\contentsline {chapter}{\numberline {2}词法、语法及统计建模基础}{49}{chapter.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{张量的矩阵乘法}{36}{section*.48}
+\contentsline {section}{\numberline {2.1}问题概述 }{50}{section.2.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{张量的单元操作}{37}{section*.50}
+\contentsline {section}{\numberline {2.2}概率论基础}{51}{section.2.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.3.2}张量的物理存储形式}{38}{subsection.1.3.2}
+\contentsline {subsection}{\numberline {2.2.1}随机变量和概率}{52}{subsection.2.2.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.3.3}使用开源框架实现张量计算}{38}{subsection.1.3.3}
+\contentsline {subsection}{\numberline {2.2.2}联合概率、条件概率和边缘概率}{53}{subsection.2.2.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.3.4}前向传播与计算图}{40}{subsection.1.3.4}
+\contentsline {subsection}{\numberline {2.2.3}链式法则}{54}{subsection.2.2.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.3.5}神经网络实例}{43}{subsection.1.3.5}
+\contentsline {subsection}{\numberline {2.2.4}贝叶斯法则}{55}{subsection.2.2.4}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.4}神经网络的参数训练}{44}{section.1.4}
+\contentsline {subsection}{\numberline {2.2.5}KL距离和熵}{57}{subsection.2.2.5}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.1}损失函数}{45}{subsection.1.4.1}
+\contentsline {subsubsection}{信息熵}{57}{section*.28}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.2}基于梯度的参数优化}{45}{subsection.1.4.2}
+\contentsline {subsubsection}{KL距离}{58}{section*.30}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{梯度下降}{46}{section*.68}
+\contentsline {subsubsection}{交叉熵}{58}{section*.31}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{梯度获取}{48}{section*.70}
+\contentsline {section}{\numberline {2.3}中文分词}{59}{section.2.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{基于梯度的方法的变种和改进}{51}{section*.74}
+\contentsline {subsection}{\numberline {2.3.1}基于词典的分词方法}{60}{subsection.2.3.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.3}参数更新的并行化策略}{54}{subsection.1.4.3}
+\contentsline {subsection}{\numberline {2.3.2}基于统计的分词方法}{61}{subsection.2.3.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.4}梯度消失、梯度爆炸和稳定性训练}{56}{subsection.1.4.4}
+\contentsline {subsubsection}{统计模型的学习与推断}{61}{section*.35}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{易于优化的激活函数}{56}{section*.77}
+\contentsline {subsubsection}{掷骰子游戏}{62}{section*.37}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{梯度裁剪}{57}{section*.81}
+\contentsline {subsubsection}{全概率分词方法}{64}{section*.41}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{稳定性训练}{58}{section*.82}
+\contentsline {section}{\numberline {2.4}$n$-gram语言模型 }{66}{section.2.4}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.5}过拟合}{59}{subsection.1.4.5}
+\contentsline {subsection}{\numberline {2.4.1}建模}{67}{subsection.2.4.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.4.6}反向传播}{60}{subsection.1.4.6}
+\contentsline {subsection}{\numberline {2.4.2}未登录词和平滑算法}{69}{subsection.2.4.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{输出层的反向传播}{61}{section*.85}
+\contentsline {subsubsection}{加法平滑方法}{70}{section*.47}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{隐藏层的反向传播}{63}{section*.89}
+\contentsline {subsubsection}{古德-图灵估计法}{71}{section*.49}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{程序实现}{64}{section*.92}
+\contentsline {subsubsection}{Kneser-Ney平滑方法}{72}{section*.51}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.5}神经语言模型}{66}{section.1.5}
+\contentsline {section}{\numberline {2.5}句法分析（短语结构分析）}{74}{section.2.5}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.5.1}基于神经网络的语言建模}{66}{subsection.1.5.1}
+\contentsline {subsection}{\numberline {2.5.1}句子的句法树表示}{74}{subsection.2.5.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{基于前馈神经网络的语言模型}{67}{section*.95}
+\contentsline {subsection}{\numberline {2.5.2}上下文无关文法}{76}{subsection.2.5.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{基于循环神经网络的语言模型}{69}{section*.98}
+\contentsline {subsection}{\numberline {2.5.3}规则和推导的概率}{80}{subsection.2.5.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{基于自注意力机制的语言模型}{70}{section*.100}
+\contentsline {section}{\numberline {2.6}小结及深入阅读}{82}{section.2.6}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{语言模型的评价}{71}{section*.102}
+\contentsline {part}{\@mypartnumtocformat {II}{统计机器翻译}}{85}{part.2}
+\ttl@stoptoc {default@1}
+\ttl@starttoc {default@2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.5.2}单词表示模型}{72}{subsection.1.5.2}
+\contentsline {chapter}{\numberline {3}基于词的机器翻译模型}{87}{chapter.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{One-hot编码}{72}{section*.103}
+\contentsline {section}{\numberline {3.1}什么是基于词的翻译模型}{87}{section.3.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{分布式表示}{72}{section*.105}
+\contentsline {section}{\numberline {3.2}构建一个简单的机器翻译系统}{89}{section.3.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsection}{\numberline {1.5.3}句子表示模型及预训练}{74}{subsection.1.5.3}
+\contentsline {subsection}{\numberline {3.2.1}如何进行翻译？}{89}{subsection.3.2.1}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{简单的上下文表示模型}{74}{section*.109}
+\contentsline {subsubsection}{机器翻译流程}{90}{section*.64}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{ELMO模型}{76}{section*.112}
+\contentsline {subsubsection}{人工翻译 vs. 机器翻译}{91}{section*.66}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{GPT模型}{76}{section*.114}
+\contentsline {subsection}{\numberline {3.2.2}基本框架}{91}{subsection.3.2.2}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{BERT模型}{77}{section*.116}
+\contentsline {subsection}{\numberline {3.2.3}单词翻译概率}{92}{subsection.3.2.3}
 \defcounter {refsection}{0}\relax 
-\contentsline {subsubsection}{为什么要预训练？}{78}{section*.118}
+\contentsline {subsubsection}{什么是单词翻译概率？}{92}{section*.68}
 \defcounter {refsection}{0}\relax 
-\contentsline {section}{\numberline {1.6}小结及深入阅读}{79}{section.1.6}
+\contentsline {subsubsection}{如何从一个双语平行数据中学习？}{92}{section*.70}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{如何从大量的双语平行数据中学习？}{94}{section*.71}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.2.4}句子级翻译模型}{95}{subsection.3.2.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基础模型}{95}{section*.73}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{生成流畅的译文}{97}{section*.75}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.2.5}解码}{99}{subsection.3.2.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {3.3}基于词的翻译建模}{102}{section.3.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.3.1}噪声信道模型}{102}{subsection.3.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.3.2}统计机器翻译的三个基本问题}{104}{subsection.3.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{词对齐}{105}{section*.84}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于词对齐的翻译模型}{105}{section*.87}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于词对齐的翻译实例}{107}{section*.89}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {3.4}IBM模型1-2}{108}{section.3.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.4.1}IBM模型1}{108}{subsection.3.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.4.2}IBM模型2}{110}{subsection.3.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.4.3}解码及计算优化}{111}{subsection.3.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.4.4}训练}{112}{subsection.3.4.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{目标函数}{112}{section*.94}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{优化}{113}{section*.96}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {3.5}IBM模型3-5及隐马尔可夫模型}{119}{section.3.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.1}基于产出率的翻译模型}{119}{subsection.3.5.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.2}IBM 模型3}{122}{subsection.3.5.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.3}IBM 模型4}{123}{subsection.3.5.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.4} IBM 模型5}{125}{subsection.3.5.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.5}隐马尔可夫模型}{126}{subsection.3.5.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{隐马尔可夫模型}{127}{section*.108}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{词对齐模型}{128}{section*.110}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.5.6}解码和训练}{129}{subsection.3.5.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {3.6}问题分析}{129}{section.3.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.6.1}词对齐及对称化}{129}{subsection.3.6.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.6.2}Deficiency}{130}{subsection.3.6.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.6.3}句子长度}{131}{subsection.3.6.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {3.6.4}其他问题}{132}{subsection.3.6.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {3.7}小结及深入阅读}{132}{section.3.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {4}基于短语和句法的机器翻译模型}{135}{chapter.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {4.1}翻译中的结构信息}{135}{section.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.1.1}更大粒度的翻译单元}{136}{subsection.4.1.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.1.2}句子的结构信息}{138}{subsection.4.1.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {4.2}基于短语的翻译模型}{140}{section.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.1}机器翻译中的短语}{140}{subsection.4.2.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.2}数学建模及判别式模型}{143}{subsection.4.2.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于翻译推导的建模}{143}{section*.122}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{对数线性模型}{144}{section*.123}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{搭建模型的基本流程}{145}{section*.124}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.3}短语抽取}{146}{subsection.4.2.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{与词对齐一致的短语}{147}{section*.127}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{获取词对齐}{148}{section*.131}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{度量双语短语质量}{149}{section*.133}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.4}调序}{150}{subsection.4.2.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于距离的调序}{150}{section*.137}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于方向的调序}{151}{section*.139}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于分类的调序}{153}{section*.142}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.5}特征}{153}{subsection.4.2.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.6}最小错误率训练}{154}{subsection.4.2.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.2.7}栈解码}{157}{subsection.4.2.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{翻译候选匹配}{158}{section*.147}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{翻译假设扩展}{158}{section*.149}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{剪枝}{159}{section*.151}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{解码中的栈结构}{161}{section*.153}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {4.3}基于层次短语的模型}{162}{section.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.3.1}同步上下文无关文法}{165}{subsection.4.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{文法定义}{165}{section*.158}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{推导}{166}{section*.159}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{胶水规则}{167}{section*.160}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{处理流程}{168}{section*.161}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.3.2}层次短语规则抽取}{168}{subsection.4.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.3.3}翻译模型及特征}{170}{subsection.4.3.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.3.4}CYK解码}{171}{subsection.4.3.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.3.5}立方剪枝}{174}{subsection.4.3.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {4.4}基于语言学句法的模型}{177}{section.4.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.1}基于句法的翻译模型分类}{179}{subsection.4.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.2}基于树结构的文法}{179}{subsection.4.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{树到树翻译规则}{181}{section*.177}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于树结构的翻译推导}{183}{section*.179}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{树到串翻译规则}{185}{section*.182}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.3}树到串翻译规则抽取}{186}{subsection.4.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{树的切割与最小规则}{187}{section*.184}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{空对齐处理}{190}{section*.190}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{组合规则}{191}{section*.192}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{SPMT规则}{192}{section*.194}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{句法树二叉化}{193}{section*.196}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.4}树到树翻译规则抽取}{194}{subsection.4.4.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于节点对齐的规则抽取}{195}{section*.200}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于对齐矩阵的规则抽取}{196}{section*.203}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.5}句法翻译模型的特征}{198}{subsection.4.4.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.6}基于超图的推导空间表示}{199}{subsection.4.4.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {4.4.7}基于树的解码 vs 基于串的解码}{201}{subsection.4.4.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于树的解码}{203}{section*.210}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于串的解码}{204}{section*.213}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {4.5}小结及深入阅读}{206}{section.4.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {part}{\@mypartnumtocformat {III}{神经机器翻译}}{209}{part.3}
+\ttl@stoptoc {default@2}
+\ttl@starttoc {default@3}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {5}人工神经网络和神经语言建模}{211}{chapter.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.1}深度学习与人工神经网络}{212}{section.5.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.1.1}发展简史}{212}{subsection.5.1.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{早期的人工神经网络和第一次寒冬}{212}{section*.215}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{神经网络的第二次高潮和第二次寒冬}{213}{section*.216}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{深度学习和神经网络方法的崛起}{214}{section*.217}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.1.2}为什么需要深度学习}{215}{subsection.5.1.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{端到端学习和表示学习}{215}{section*.219}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{深度学习的效果}{216}{section*.221}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.2}神经网络基础}{216}{section.5.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.2.1}线性代数基础}{216}{subsection.5.2.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{标量、向量和矩阵}{217}{section*.223}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{矩阵的转置}{218}{section*.224}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{矩阵加法和数乘}{218}{section*.225}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{矩阵乘法和矩阵点乘}{219}{section*.226}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{线性映射}{220}{section*.227}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{范数}{221}{section*.228}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.2.2}人工神经元和感知机}{222}{subsection.5.2.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{感知机\ \raisebox {0.5mm}{------}\ 最简单的人工神经元模型}{223}{section*.231}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{神经元内部权重}{224}{section*.234}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{神经元的输入\ \raisebox {0.5mm}{------}\ 离散 vs 连续}{225}{section*.236}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{神经元内部的参数学习}{225}{section*.238}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.2.3}多层神经网络}{226}{subsection.5.2.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{线性变换和激活函数}{226}{section*.240}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{单层神经网络$\rightarrow $多层神经网络}{228}{section*.247}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.2.4}函数拟合能力}{229}{subsection.5.2.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.3}神经网络的张量实现}{233}{section.5.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.3.1} 张量及其计算}{234}{subsection.5.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{张量}{234}{section*.257}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{张量的矩阵乘法}{236}{section*.260}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{张量的单元操作}{237}{section*.262}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.3.2}张量的物理存储形式}{238}{subsection.5.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.3.3}使用开源框架实现张量计算}{238}{subsection.5.3.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.3.4}前向传播与计算图}{240}{subsection.5.3.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.3.5}神经网络实例}{243}{subsection.5.3.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.4}神经网络的参数训练}{244}{section.5.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.1}损失函数}{245}{subsection.5.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.2}基于梯度的参数优化}{245}{subsection.5.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{梯度下降}{246}{section*.280}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{梯度获取}{248}{section*.282}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于梯度的方法的变种和改进}{251}{section*.286}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.3}参数更新的并行化策略}{254}{subsection.5.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.4}梯度消失、梯度爆炸和稳定性训练}{256}{subsection.5.4.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{易于优化的激活函数}{256}{section*.289}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{梯度裁剪}{257}{section*.293}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{稳定性训练}{258}{section*.294}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.5}过拟合}{259}{subsection.5.4.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.4.6}反向传播}{260}{subsection.5.4.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{输出层的反向传播}{261}{section*.297}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{隐藏层的反向传播}{263}{section*.301}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{程序实现}{264}{section*.304}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.5}神经语言模型}{266}{section.5.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.5.1}基于神经网络的语言建模}{266}{subsection.5.5.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于前馈神经网络的语言模型}{267}{section*.307}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于循环神经网络的语言模型}{269}{section*.310}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{基于自注意力机制的语言模型}{270}{section*.312}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{语言模型的评价}{271}{section*.314}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.5.2}单词表示模型}{272}{subsection.5.5.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{One-hot编码}{272}{section*.315}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{分布式表示}{272}{section*.317}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {5.5.3}句子表示模型及预训练}{274}{subsection.5.5.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{简单的上下文表示模型}{274}{section*.321}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{ELMO模型}{276}{section*.324}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{GPT模型}{276}{section*.326}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{BERT模型}{277}{section*.328}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{为什么要预训练？}{278}{section*.330}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {5.6}小结及深入阅读}{279}{section.5.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {6}神经机器翻译模型}{281}{chapter.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.1}神经机器翻译的发展简史}{281}{section.6.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.1.1}神经机器翻译的起源}{283}{subsection.6.1.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.1.2}神经机器翻译的品质 }{285}{subsection.6.1.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.1.3}神经机器翻译的优势 }{288}{subsection.6.1.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.2}编码器-解码器框架}{290}{section.6.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.2.1}框架结构}{290}{subsection.6.2.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.2.2}表示学习}{291}{subsection.6.2.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.2.3}简单的运行实例}{292}{subsection.6.2.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.2.4}机器翻译范式的对比}{293}{subsection.6.2.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.3}基于循环神经网络的翻译模型及注意力机制}{294}{section.6.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.1}建模}{294}{subsection.6.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.2}输入（词嵌入）及输出（Softmax）}{298}{subsection.6.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.3}循环神经网络结构}{302}{subsection.6.3.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{循环神经单元（RNN）}{302}{section*.352}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{长短时记忆网络（LSTM）}{302}{section*.353}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{门控循环单元（GRU）}{304}{section*.356}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{双向模型}{306}{section*.358}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{多层循环神经网络}{306}{section*.360}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.4}注意力机制}{307}{subsection.6.3.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{翻译中的注意力机制}{308}{section*.363}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{上下文向量的计算}{309}{section*.366}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{注意力机制的解读}{312}{section*.371}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.5}训练}{314}{subsection.6.3.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{损失函数}{314}{section*.374}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{长参数初始化}{315}{section*.375}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{优化策略}{316}{section*.376}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{梯度裁剪}{316}{section*.378}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{学习率策略}{316}{section*.379}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{并行训练}{318}{section*.382}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.6}推断}{319}{subsection.6.3.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{贪婪搜索}{321}{section*.386}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{束搜索}{322}{section*.389}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{长度惩罚}{323}{section*.391}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.3.7}实例-GNMT}{324}{subsection.6.3.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.4}Transformer}{325}{section.6.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.1}自注意力模型}{327}{subsection.6.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.2}Transformer架构}{328}{subsection.6.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.3}位置编码}{330}{subsection.6.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.4}基于点乘的注意力机制}{333}{subsection.6.4.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.5}掩码操作}{335}{subsection.6.4.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.6}多头注意力}{336}{subsection.6.4.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.7}残差网络和层正则化}{337}{subsection.6.4.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.8}前馈全连接网络子层}{338}{subsection.6.4.8}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.9}训练}{339}{subsection.6.4.9}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.4.10}推断}{342}{subsection.6.4.10}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.5}序列到序列问题及应用}{342}{section.6.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.5.1}自动问答}{343}{subsection.6.5.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.5.2}自动文摘}{343}{subsection.6.5.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.5.3}文言文翻译}{344}{subsection.6.5.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.5.4}对联生成}{344}{subsection.6.5.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {6.5.5}古诗生成}{345}{subsection.6.5.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {6.6}小结及深入阅读}{346}{section.6.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {7}神经机器翻译实战 \ \raisebox {0.5mm}{------}\ 参加一次比赛}{349}{chapter.7}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.1}神经机器翻译并不简单}{349}{section.7.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.1.1}影响神经机器翻译性能的因素}{350}{subsection.7.1.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.1.2}搭建神经机器翻译系统的步骤 }{351}{subsection.7.1.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.1.3}架构选择 }{352}{subsection.7.1.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.2}数据处理}{352}{section.7.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.2.1}分词}{353}{subsection.7.2.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.2.2}标准化}{354}{subsection.7.2.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.2.3}数据清洗}{355}{subsection.7.2.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.2.4}子词切分}{357}{subsection.7.2.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{大词表和OOV问题}{358}{section*.429}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{子词}{358}{section*.431}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{双字节编码（BPE）}{359}{section*.433}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{其他方法}{362}{section*.436}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.3}建模与训练}{362}{section.7.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.3.1}正则化}{362}{subsection.7.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{L1/L2正则化}{364}{section*.438}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{标签平滑}{365}{section*.439}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{Dropout}{366}{section*.441}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{Layer Dropout}{367}{section*.444}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.3.2}增大模型容量}{368}{subsection.7.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{宽网络}{368}{section*.446}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{深网络}{369}{section*.448}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{增大输入层和输出层表示能力}{371}{section*.450}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{大模型的分布式计算}{371}{section*.451}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.3.3}大批量训练}{371}{subsection.7.3.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{为什么需要大批量训练}{372}{section*.452}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{如何构建批次}{373}{section*.455}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.4}推断}{374}{section.7.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.4.1}推断优化}{374}{subsection.7.4.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{推断系统的架构}{374}{section*.457}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{自左向右推断 vs 自右向左推断}{375}{section*.459}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{推断加速}{376}{section*.460}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.4.2}译文长度控制}{383}{subsection.7.4.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{长度惩罚因子}{384}{section*.466}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{译文长度范围约束}{385}{section*.468}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{覆盖度模型}{385}{section*.469}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.4.3}多模型集成}{386}{subsection.7.4.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{假设选择}{387}{section*.470}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{局部预测融合}{388}{section*.472}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{译文重组}{389}{section*.474}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.5}进阶技术}{390}{section.7.5}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.5.1}深层模型}{390}{subsection.7.5.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{Post-Norm vs Pre-Norm}{390}{section*.477}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{层聚合}{393}{section*.480}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{深层模型的训练加速}{394}{section*.482}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{渐进式训练}{394}{section*.483}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{分组稠密连接}{394}{section*.485}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{学习率重置策略}{396}{section*.487}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{深层模型的鲁棒性训练}{397}{section*.489}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.5.2}单语数据的使用}{399}{subsection.7.5.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{伪数据}{399}{section*.492}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{预训练}{400}{section*.495}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{联合训练}{402}{section*.498}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.5.3}知识精炼}{403}{subsection.7.5.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{什么是知识精炼}{403}{section*.500}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{知识精炼的基本方法}{405}{section*.501}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{机器翻译中的知识精炼}{406}{section*.503}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {7.5.4}双向训练}{407}{subsection.7.5.4}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{有监督对偶学习}{408}{section*.505}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{无监督对偶学习}{409}{section*.506}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsubsection}{翻译中回译}{410}{section*.508}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {7.6}小结及深入阅读}{410}{section.7.6}
+\defcounter {refsection}{0}\relax 
+\contentsline {part}{\@mypartnumtocformat {IV}{附录}}{415}{part.4}
+\ttl@stoptoc {default@3}
+\ttl@starttoc {default@4}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {A}附录A}{417}{Appendix.1.A}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {A.1}基准数据集}{417}{section.1.A.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {A.2}平行语料}{418}{section.1.A.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {A.3}相关工具}{419}{section.1.A.3}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {A.3.1}数据预处理工具}{419}{subsection.1.A.3.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {subsection}{\numberline {A.3.2}评价工具}{420}{subsection.1.A.3.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {chapter}{\numberline {B}附录B}{421}{Appendix.2.B}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {B.1}IBM模型3训练方法}{421}{section.2.B.1}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {B.2}IBM模型4训练方法}{423}{section.2.B.2}
+\defcounter {refsection}{0}\relax 
+\contentsline {section}{\numberline {B.3}IBM模型5训练方法}{425}{section.2.B.3}
 \contentsfinish