合并分支 'caorunzhe' 到 'master'

更新 bibliography.bib

查看合并请求 !105

Chapter2/Figures/figure-word-frequency-distribution.tex

@@ -3,12 +3,12 @@
 \begin{axis}[
   width=11cm,
   height=5.5cm,
-  xlabel={某语料库上的词表},
+  xlabel={WikiText-103上的词表},
   ylabel={词汇出现总次数},
-  xlabel style={xshift=6.2cm,yshift=0.8cm,font=\footnotesize},
+  xlabel style={xshift=4.2cm,yshift=0.4cm,font=\footnotesize},
   ylabel style={rotate=-90,yshift=2.8cm,xshift=1.2cm,font=\footnotesize},
   xticklabel style={opacity=0},
-  ytick={0,10000000,20000000,30000000,40000000,50000000,60000000},
+  ytick={0,1000000,2000000,3000000,4000000,5000000,6000000},
   tick align=inside,
 y tick style={opacity=0},
 x tick style={opacity=0},
@@ -21,112 +21,112 @@ axis x line*=bottom,
   xmin=0,
   xmax=105,
   ymin=0,
-  ymax=60000000 
+  ymax=6000000 
 ]
-\addplot[fill=blue!40,draw=blue!40] coordinates{(1,56000000)
-(2,34000000)
-(3,30000000)
-(4,27000000)
-(5,18000000)
-(6,12000000)
-(7,11000000)
-(8,10000000)
-(9,9000000)
-(10,8600000)
-(11,8200000)
-(12,7800000)
-(13,7400000)
-(14,7000000)
-(15,6600000)
-(16,6200000)
-(17,5800000)
-(18,5400000)
-(19,5000000)
-(20,4800000)
-(21,4600000)
-(22,4400000)
-(23,4200000)
-(24,4000000)
-(25,3800000)
-(26,3600000)
-(27,3400000)
-(28,3200000)
-(29,3000000)
-(30,2950000)
-(31,2900000)
-(32,2850000)
-(33,2800000)
-(34,2750000)
-(35,2700000)
-(36,2650000)
-(37,2600000)
-(38,2550000)
-(39,2500000)
-(40,2450000)
-(41,2400000)
-(42,2350000)
-(43,2300000)
-(44,2250000)
-(45,2200000)
-(46,2150000)
-(47,2100000)
-(48,2050000)
-(49,2000000)
-(50,1970000)
-(51,1940000)
-(52,1910000)
-(53,1880000)
-(54,1850000)
-(55,1820000)
-(56,1790000)
-(57,1760000)
-(58,1730000)
-(59,1700000)
-(60,1670000)
-(61,1640000)
-(62,1610000)
-(63,1580000)
-(64,1550000)
-(65,1520000)
-(66,1490000)
-(67,1460000)
-(68,1430000)
-(69,1400000)
-(70,1370000)
-(71,1340000)
-(72,1310000)
-(73,1280000)
-(74,1250000)
-(75,1220000)
-(76,1190000)
-(77,1160000)
-(78,1130000)
-(79,1100000)
-(80,1070000)
-(81,1040000)
-(82,1010000)
-(83,980000)
-(84,950000)
-(85,920000)
-(86,890000)
-(87,860000)
-(88,830000)
-(89,800000)
-(90,770000)
-(91,740000)
-(92,710000)
-(93,680000)
-(94,650000)
-(95,620000)
-(96,590000)
-(97,560000)
-(98,530000)
-(99,500000)
-(100,470000)
-(101,440000)
-(102,410000)
-(103,380000)
-(104,350000)};
+\addplot[fill=blue!40,draw=blue!40] coordinates{(1,5584823)
+(2,4971506)
+(3,3624899)
+(4,2737620)
+(5,2499539)
+(6,1979164)
+(7,1894558)
+(8,1677048)
+(9,1338685)
+(10,1075325)
+(11,881576)
+(12,853819)
+(13,728291)
+(14,688528)
+(15,679711)
+(16,675287)
+(17,675032)
+(18,632025)
+(19,600898)
+(20,583875)
+(21,583522)
+(22,512782)
+(23,441959)
+(24,436363)
+(25,431900)
+(26,417082)
+(27,354550)
+(28,326416)
+(29,318305)
+(30,306216)
+(31,292528)
+(32,281598)
+(33,275598)
+(34,235033)
+(35,203336)
+(36,203212)
+(37,194870)
+(38,191058)
+(39,189667)
+(40,186430)
+(41,185670)
+(42,181247)
+(43,179733)
+(44,176758)
+(45,174862)
+(46,166456)
+(47,163459)
+(48,163454)
+(49,158057)
+(50,156709)
+(51,155431)
+(52,152103)
+(53,150736)
+(54,149068)
+(55,145573)
+(56,141128)
+(57,138306)
+(58,135556)
+(59,130319)
+(60,126371)
+(61,124383)
+(62,123422)
+(63,119260)
+(64,115844)
+(65,113966)
+(66,110018)
+(67,109467)
+(68,102051)
+(69,100733)
+(70,99837)
+(71,99818)
+(72,97887)
+(73,96296)
+(74,96183)
+(75,93734)
+(76,92977)
+(77,91793)
+(78,90597)
+(79,90225)
+(80,90191)
+(81,89732)
+(82,88286)
+(83,87322)
+(84,87015)
+(85,84554)
+(86,83599)
+(87,81803)
+(88,80455)
+(89,78025)
+(90,76980)
+(91,76901)
+(92,75611)
+(93,75220)
+(94,74378)
+(95,74305)
+(96,73776)
+(97,71929)
+(98,71592)
+(99,71340)
+(100,71237)
+(101,71203)
+(102,70171)
+(103,69555)
+(104,68668)};
 \end{axis}
 \end{tikzpicture}
 

Chapter2/chapter2.tex

@@ -539,7 +539,7 @@ F(x)=\int_{-\infty}^x f(x)\textrm{d}x
 \end{itemize}
 \vspace{0.5em}
 
-\parinterval 极大似然估计方法和掷骰子游戏中介绍的统计词汇概率的方法是一致的，它的核心是使用$n$-gram出现的频次进行参数估计。基于人工神经网络的方法在近些年也非常受关注，它直接利用多层神经网络对问题的输入$w_{m-n+1} \ldots w_{m-1}$和输出$\funp{P}(w_m|w_{m-n+1}  \ldots  w_{m-1})$进行建模，而模型的参数通过网络中神经元之间连接的权重进行体现。严格意义上了来说，基于人工神经网络的方法并不算基于$n$-gram的方法，或者说它并没有显性记录$n$-gram的生成概率，也不依赖$n$-gram的频次进行参数估计。为了保证内容的连贯性，接下来仍以传统$n$-gram语言模型为基础进行讨论，基于人工神经网络的方法将会在{\chapternine}进行详细介绍。
+\parinterval 极大似然估计方法（基于频次的方法）和掷骰子游戏中介绍的统计词汇概率的方法是一致的，它的核心是使用$n$-gram出现的频次进行参数估计。基于人工神经网络的方法在近些年也非常受关注，它直接利用多层神经网络对问题的输入$w_{m-n+1} \ldots w_{m-1}$和输出$\funp{P}(w_m|w_{m-n+1}  \ldots  w_{m-1})$进行建模，而模型的参数通过网络中神经元之间连接的权重进行体现。严格意义上了来说，基于人工神经网络的方法并不算基于$n$-gram的方法，或者说它并没有显性记录$n$-gram的生成概率，也不依赖$n$-gram的频次进行参数估计。为了保证内容的连贯性，接下来仍以传统$n$-gram语言模型为基础进行讨论，基于人工神经网络的方法将会在{\chapternine}进行详细介绍。
 
 \parinterval $n$-gram语言模型的使用非常简单。可以直接用它来对词序列出现的概率进行计算。比如，可以使用一个2-gram语言模型计算一个句子出现的概率，其中单词之间用斜杠分隔，如下：
 \begin{eqnarray}
@@ -840,7 +840,7 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 
 \parinterval 在这种序列生成方式的基础上，实现搜索通常有两种方法\ \dash\ 深度优先遍历和宽度优先遍历\upcite{DBLP:books/mg/CormenLR89}。在深度优先遍历中，每次从词表中可重复地选择一个单词，然后从左至右地生成序列，直到<eos>被选择，此时一个完整的单词序列被生成出来。然后从<eos>回退到上一个单词，选择之前词表中未被选择到的候选单词代替<eos>，并继续挑选下一个单词直到<eos>被选到，如果上一个单词的所有可能都被枚举过，那么回退到上上一个单词继续枚举，直到回退到<sos>，这时候枚举结束。在宽度优先遍历中，每次不是只选择一个单词，而是枚举所有单词。
 
-有一个一个简单的例子。假设词表只含两个单词\{a, b\}，从<sos>开始枚举所有单词，有三种可能：
+有一个简单的例子。假设词表只含两个单词\{a, b\}，从<sos>开始枚举所有单词，有三种可能：
 \begin{eqnarray}
 \text{\{<sos> a, <sos> b, <sos> <eos>\}} \nonumber
 \end{eqnarray}
@@ -868,7 +868,7 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 
 \parinterval 当任务对单词序列长度没有限制时，上述两种方法枚举出的单词序列也是无穷无尽的。因此这两种枚举策略并不具备完备性而且会导致枚举过程无法停止。由于日常生活中通常不会见到特别长的句子，因此可以通过限制单词序列的最大长度来避免这个问题。一旦单词序列的最大长度被确定，以上两种枚举策略就可以在一定时间内枚举出所有可能的单词序列，因而一定可以找到最优的单词序列，即具备最优性。
 
-\parinterval 此时上述生成策略虽然可以满足完备性和最优性，但其仍然算不上是优秀的生成策略，因为这两种算法在时间复杂度和空间复杂度上的表现很差，如表\ref{tab:2-3}所示。其中$|V|$为词表大小，$m$ 为序列长度值得注意的是，在之前的遍历过程中，除了在序列开头一定会挑选<sos>之外，其他位置每次可挑选的单词并不只有词表中的单词，还有结束符号<eos>，因此实际上生成过程中每个位置的单词候选数量为$|V|+1$。
+\parinterval 此时上述生成策略虽然可以满足完备性和最优性，但其仍然算不上是优秀的生成策略，因为这两种算法在时间复杂度和空间复杂度上的表现很差，如表\ref{tab:2-3}所示。其中$|V|$为词表大小，$m$ 为序列长度。值得注意的是，在之前的遍历过程中，除了在序列开头一定会挑选<sos>之外，其他位置每次可挑选的单词并不只有词表中的单词，还有结束符号<eos>，因此实际上生成过程中每个位置的单词候选数量为$|V|+1$。
 
 \vspace{0.5em}
 %------------------------------------------------------
@@ -922,7 +922,7 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 \end{figure}
 %-------------------------------------------
 
-\parinterval 这样，语言模型的打分与解空间树的遍历就融合了在一起。于是，序列生成的问题可以被重新描述为：寻找所有单词序列组成的解空间树中权重总和最大的一条路径。在这个定义下，前面提到的两种枚举词序列的方法就是经典的{\small\bfnew{深度优先搜索}}\index{深度优先搜索}（Depth-first Search）\index{Depth-first Search}和{\small\bfnew{宽度优先搜索}}\index{宽度优先搜索}（Breadth-first Search）\index{Breadth-first Search}的雏形\upcite{even2011graph,tarjan1972depth}。在后面的内容中可以看到，从遍历解空间树的角度出发，可以对原始这些搜索策略的效率进行优化。
+\parinterval 这样，语言模型的打分与解空间树的遍历就融合在一起了。于是，序列生成的问题可以被重新描述为：寻找所有单词序列组成的解空间树中权重总和最大的一条路径。在这个定义下，前面提到的两种枚举词序列的方法就是经典的{\small\bfnew{深度优先搜索}}\index{深度优先搜索}（Depth-first Search）\index{Depth-first Search}和{\small\bfnew{宽度优先搜索}}\index{宽度优先搜索}（Breadth-first Search）\index{Breadth-first Search}的雏形\upcite{even2011graph,tarjan1972depth}。在后面的内容中可以看到，从遍历解空间树的角度出发，可以对原始这些搜索策略的效率进行优化。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -962,7 +962,7 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 \end{figure}
 %-------------------------------------------
 
-\parinterval 上面描述的两个改进后的搜索方法属于{\small\bfnew{无信息搜索}}\index{无信息搜索}（Uninformed Search\index{Uninformed Search}）\upcite{sahni1978fundamentals}，因为它们依赖的信息仍然来源于问题本身而不是问题以外。改进后的方法虽然有机会更早的找到分数最高的单词序列（也就是最优解）。但是由于没有一个通用的办法来判断当前找到的解是否为最优解，这种策略不会在找到最优解后自动停止，因此最终仍然需要枚举所有可能的单词序列，寻找最优解需要的时间复杂度没有产生任何改变。尽管如此，如果只是需要一个相对好的解而不是最优解，改进后的搜索策略仍然是比原始的枚举策略更优秀的算法。
+\parinterval 上面描述的两个改进后的搜索方法属于{\small\bfnew{无信息搜索}}\index{无信息搜索}（Uninformed Search\index{Uninformed Search}）\upcite{sahni1978fundamentals}，因为它们依赖的信息仍然来源于问题本身而不是问题以外。改进后的方法虽然有机会更早地找到分数最高的单词序列（也就是最优解）。但是由于没有一个通用的办法来判断当前找到的解是否为最优解，这种策略不会在找到最优解后自动停止，因此最终仍然需要枚举所有可能的单词序列，寻找最优解需要的时间复杂度没有产生任何改变。尽管如此，如果只是需要一个相对好的解而不是最优解，改进后的搜索策略仍然是比原始的枚举策略更优秀的算法。
 
 \parinterval 此外，由于搜索过程中将语言模型的打分作为搜索树的节点权重，另一种改进思路是：能否借助语言模型的特殊性质来对搜索树进行{\small\bfnew{剪枝}}\index{剪枝}（Pruning）\index{Pruning}，从而避免在搜索空间中访问一些不可能产生比当前解更好的结果的区域，提高搜索策略在实际运用当中的效率。简单来说，剪枝是一种可以缩小搜索空间的手段，比如，在搜索的过程中，动态的“丢弃”一些搜索路径，从而减少搜索的总代价。剪枝的程度在一定范围内影响了搜索系统的效率，剪枝越多搜索效率越高，一般找到最优解的可能性也越低；反之，搜索效率越低，但是找到最优解的可能性越大。在本章后面即将介绍的贪婪搜索和束搜索都可以被看作是剪枝方法的一种特例。
 
@@ -975,7 +975,6 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 \parinterval 在搜索问题中，一个单词序列的生成可以分为两部分：已生成部分和未生成部分。既然最终目标是使得一个完整的单词序列得分最高，那么关注未生成部分的得分也许能为搜索策略的改进提供思路。
 
 \parinterval 但是，问题在于未生成部分来自搜索树中未被搜索过的区域，因此也无法直接计算其得分。既然仅依赖于问题本身的信息无法得到未生成部分的得分，那么是否可以通过一些外部信息来估计未生成部分的得分呢？在前面所提到的剪枝技术中，借助语言模型的特性可以使得搜索变得高效。与其类似，利用语言模型的其他特性也可以实现对未生成部分得分的估计。这个对未生成部分得分的估计通常被称为{\small\bfnew{启发式函数}}\index{启发式函数}（Heuristic Function）\index{Heuristic Function}。在扩展假设过程中，可以优先挑选当前得分$\log \funp{P}(w_1 w_2 \ldots w_m)$和启发式函数值$h(w_1 w_2 \ldots w_m)$最大的候选进行扩展，从而大大提高搜索的效率。这时，模型得分可以被定义为：
-
 \begin{eqnarray}
 \textrm{score}(w_1 w_2 \ldots w_m) = \log \funp{P}(w_1 w_2 \ldots w_m) + h(w_1 w_2 \ldots w_m)
 \end{eqnarray}
@@ -1050,7 +1049,7 @@ c_{\textrm{KN}}(\cdot) = \left\{\begin{array}{ll}
 \vspace{0.5em}
 \item 在$n$-gram语言模型中，由于语料中往往存在大量的低频词以及未登录词，模型会产生不合理的概率预测结果。因此本章介绍了三种平滑方法，以解决上述问题。实际上，平滑方法是语言建模中的重要研究方向。除了上述三种方法之外，还有Jelinek–Mercer平滑\upcite{jelinek1980interpolated}、Katz 平滑\upcite{katz1987estimation}以及Witten–Bell平滑等等\upcite{bell1990text,witten1991the}。 相关工作也对这些平滑方法进行了详细对比\upcite{chen1999an,goodman2001a}。
 \vspace{0.5em}
-\item 除了平滑方法，也有很多工作对$n$-gram语言模型进行改进。比如，对于形态学丰富的语言，可以考虑对单词的形态学变化进行建模。这类语言模型在一些机器翻译系统中也体现出了很好的潜力\upcite{kirchhoff2005improved}\upcite{sarikaya2007joint,koehn2007factored}。此外，如何使用超大规模数据进行语言模型训练也是备受关注的研究方向。比如，有研究者探索了对超大语言模型进行压缩和存储的方法\upcite{federico2007efficient,federico2006how,heafield2011kenlm}。另一个有趣的方向是，利用随机存储算法对大规模语言模型进行有效存储\upcite{talbot2007smoothed,talbot2007randomised}，比如，在语言模型中使用Bloom\ Filter等随机存储的数据结构。
+\item 除了平滑方法，也有很多工作对$n$-gram语言模型进行改进。比如，对于形态学丰富的语言，可以考虑对单词的形态学变化进行建模。这类语言模型在一些机器翻译系统中也体现出了很好的潜力\upcite{kirchhoff2005improved,sarikaya2007joint,koehn2007factored}。此外，如何使用超大规模数据进行语言模型训练也是备受关注的研究方向。比如，有研究者探索了对超大语言模型进行压缩和存储的方法\upcite{federico2007efficient,federico2006how,heafield2011kenlm}。另一个有趣的方向是，利用随机存储算法对大规模语言模型进行有效存储\upcite{talbot2007smoothed,talbot2007randomised}，比如，在语言模型中使用Bloom\ Filter等随机存储的数据结构。
 \vspace{0.5em}
 \item 本章更多地关注了语言模型的基本问题和求解思路，但是基于$n$-gram的方法并不是语言建模的唯一方法。从现在自然语言处理的前沿看，端到端的深度学习方法在很多任务中都取得了领先的性能。语言模型同样可以使用这些方法\upcite{jing2019a}，而且在近些年取得了巨大成功。例如，最早提出的前馈神经语言模型\upcite{bengio2003a}和后来的基于循环单元的语言模型\upcite{mikolov2010recurrent}、基于长短期记忆单元的语言模型\upcite{sundermeyer2012lstm}以及现在非常流行的Transformer\upcite{vaswani2017attention}。 关于神经语言模型的内容，会在{\chapternine}进行进一步介绍。
 \vspace{0.5em}