section 2 (update equations)

Book/Chapter2/chapter2.tex

@@ -338,7 +338,8 @@
 
 \parinterval 如果在相同的随机变量$X$上有两个独立的概率分布P$(x)$和Q$(x)$，那么我们可以使用KL距离("Kullback-Leibler" 散度)来衡量这两个分布的不同，也就是大家所说的相对熵，其公式如下：
 \begin{eqnarray}
-\textrm{D}_{KL}(P\parallel Q)=\sum_{x \in \textrm{X}} [ \textrm{P}(x)log \frac{\textrm{P}(x) }{ \textrm{Q}(x) } ] =\sum_{x \in \textrm{X} }[ \textrm{P}(x)(log\textrm{P}(x)-log \textrm{Q}(x))]
+\textrm{D}_{KL}(P\parallel Q) & = & \sum_{x \in \textrm{X}} [ \textrm{P}(x)\log \frac{\textrm{P}(x) }{ \textrm{Q}(x) } ]  \nonumber \\
+                                               & = & \sum_{x \in \textrm{X} }[ \textrm{P}(x)(\log\textrm{P}(x)-\log \textrm{Q}(x))]
 \label{eqC2.19-new}
 \end{eqnarray}
 
@@ -724,7 +725,9 @@
 
 \parinterval 在式\ref{eqC2.30-new}的例子中，如果语料中从没有``确实''和``现在''两个词连续出现的情况，那么使用2-gram计算``确实/现在/数据/很/多''的切分方式的概率时，会出现如下情况
 \begin{eqnarray}
-\textrm{P}(\textrm{``现在''}|\textrm{``确实''}) = \frac{\textrm{count}(\textrm{``确实}\,\textrm{现在''})}{\textrm{count}(\textrm{``确实''})} = \frac{0}{\textrm{count}(\textrm{``确实''})} = 0
+\textrm{P}(\textrm{``现在''}|\textrm{``确实''}) & =  & \frac{\textrm{count}(\textrm{``确实}\,\textrm{现在''})}{\textrm{count}(\textrm{``确实''})} \nonumber \\
+                                                                     & =  & \frac{0}{\textrm{count}(\textrm{``确实''})} \nonumber \\ 
+                                                                     & =  & 0
 \label{eqC2.31-new}
 \end{eqnarray}
 
@@ -751,13 +754,16 @@
 
 \parinterval 通常情况下，我们会利用采集到的语料库来模拟现实生活中真实全部的语料库。但是采集总是不充分的，比如无法涵盖所有的词汇，直接依据这样语料所获得的统计信息计算现实中的语言概率就会产生偏差。假设依据某语料C（从未出现``确实 现在''二元语法），评估一个已经分好词的句子S =``确实 现在 物价 很 高''的概率，当计算``确实 现在''的概率时使得评估$\textrm{P}(S) = 0$。显然这个结果是不够准确的，根据我们的常识，句子$S$是有出现的可能性的，这样句子的概率值不应该是0。
 \begin{eqnarray}
-\textrm{P}(\textrm{现在}|\textrm{确实}) = \frac{\textrm{count}(\textrm{确实}\,\textrm{现在})}{\textrm{count}(\textrm{确实})} = \frac{0}{\textrm{count}(\textrm{确实})} = 0
+\textrm{P}(\textrm{现在}|\textrm{确实}) & = & \frac{\textrm{count}(\textrm{确实}\,\textrm{现在})}{\textrm{count}(\textrm{确实})} \nonumber \\
+                                                             & = & \frac{0}{\textrm{count}(\textrm{确实})} \nonumber \\
+                                                             & = & 0
 \label{eqC2.32-new}
 \end{eqnarray}
 
 \parinterval 加法平滑方法（additive smoothing）假设每个$n$-gram出现的次数比实际统计次数多$\theta$次，$0 \leqslant\theta\leqslant 1$，使得分子部分不为0，那么计算前文例子``确实 现在''的概率时，可以使用如下方法计算。
 \begin{eqnarray}
-\textrm{P}(\textrm{现在}|\textrm{确实}) = \frac{\theta + \textrm{count}(\textrm{确实}\,\textrm{现在})}{\sum_{w}^{|V|}(\theta + \textrm{count}(\textrm{确实}w))} = \frac{\theta + \textrm{count}(\textrm{确实}\,\textrm{现在})}{\theta{|V|} + \textrm{count}(\textrm{确实})}
+\textrm{P}(\textrm{现在}|\textrm{确实}) & =  & \frac{\theta + \textrm{count}(\textrm{确实}\,\textrm{现在})}{\sum_{w}^{|V|}(\theta + \textrm{count}(\textrm{确实}w))} \nonumber \\
+                                                             & =  & \frac{\theta + \textrm{count}(\textrm{确实}\,\textrm{现在})}{\theta{|V|} + \textrm{count}(\textrm{确实})}
 \label{eqC2.33-new}
 \end{eqnarray}
 
@@ -793,14 +799,18 @@ r^* = (r + 1)\frac{n_{r + 1}}{n_r}
 \end{eqnarray}
 
 \parinterval 基于这个公式，就可以估计所有0次$n$元语法的频次$n_0 r_0^*=(r_0+1)n_1=n_1$。要把这个重新估计的统计数转化为概率，只需要进行归一化处理：对于每个统计数为$r$的事件，其概率为$\textrm{P}_r=r^*/N$，其中
+
 \begin{eqnarray}
-N = \sum_{r=0}^{\infty}{r^{*}n_r} = \sum_{r=0}^{\infty}{(r + 1)n_{r + 1}} = \sum_{r=1}^{\infty}{r\,n_r}
+N & = & \sum_{r=0}^{\infty}{r^{*}n_r} \nonumber \\
+    & = & \sum_{r=0}^{\infty}{(r + 1)n_{r + 1}} \nonumber \\ 
+    & = & \sum_{r=1}^{\infty}{r\,n_r}
 \label{eqC2.36-new}
 \end{eqnarray}
 
 也就是说，N仍然为这个整个样本分布最初的计数。这样样本中所有事件的概率之和为：
 \begin{eqnarray}
-N = \sum_{r>0}{p_r n_r} = 1 - \frac{n_1}{N} < 1
+N & = & \sum_{r>0}{p_r n_r} \nonumber \\
+   & =  & 1 - \frac{n_1}{N} < 1
 \label{eqC2.37-new}
 \end{eqnarray}
 
@@ -1073,7 +1083,8 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
 
 \parinterval 这样，对于一个上下文无关文法，每一棵句法树都有唯一的最左推导与之对应。这样，句法分析可以被描述为：对于一个句子找到能够生成它的最佳推导，这个推导所对应的句法树就是这个句子的句法分析结果。
 
-\parinterval 不过问题又回来了，怎样才能知道什么样的推导或者句法树是``最佳''的呢？对于句法分析的语言学专来说，可以很确定的分辨出哪些树是正确的哪些树是错误的结果。甚至对于普通人，也通过经验可以得到一些模糊的结果。而计算机如何进行判别呢？沿着前面介绍的统计建模的思想，计算机可以得出不同句法树出现的概率，进而选择概率最高的句法树作为输出，而这正是统计句法分析所做的事情。\\
+\parinterval 不过问题又回来了，怎样才能知道什么样的推导或者句法树是``最佳''的呢？对于句法分析的语言学专来说，可以很确定的分辨出哪些树是正确的哪些树是错误的结果。甚至对于普通人，也通过经验可以得到一些模糊的结果。而计算机如何进行判别呢？沿着前面介绍的统计建模的思想，计算机可以得出不同句法树出现的概率，进而选择概率最高的句法树作为输出，而这正是统计句法分析所做的事情
+
 %-------------------------------------------
 %图2.5.2.5
 \begin{figure}[htp]
@@ -1129,15 +1140,15 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
 
 \parinterval 这样我们就可以得到每个推导d的概率值。这个模型，可以很好的解释词串的生成过程。比如，对于规则集
 \begin{eqnarray} 
-r_3: & VV \to \text{吃}\nonumber \\
-r_4: & NN \to \text{鱼}\nonumber \\
-r_6: & VP \to VV NN \nonumber
+r_3: & \textrm{VV} \to \text{吃}\nonumber \\
+r_4: & \textrm{NN} \to \text{鱼}\nonumber \\
+r_6: & \textrm{VP} \to \textrm{VV} \textrm{NN} \nonumber
 \end{eqnarray}
 
 \parinterval 可以得到 $d_1=r_3 \cdot r_4 \cdot r_6$的概率为
 \begin{eqnarray}
 \textrm{P}(d_1) & = &\textrm{P}(r_3) \cdot \textrm{P}(r_4) \cdot \textrm{P}(r_6)\nonumber  \\
-& = & \textrm{P}(VV \to \text{吃}) \cdot \textrm{P}(NN \to \text{鱼}) \cdots \textrm{P}(VP \to VV NN)
+& = & \textrm{P}(\textrm{VV} \to \text{吃}) \cdot \textrm{P}(\textrm{NN} \to \text{鱼}) \cdots \textrm{P}(\textrm{VP} \to \textrm{VV NN})
 \label{eqC2.51-new}
 \end{eqnarray}
 

Book/mt-book.tex

@@ -55,7 +55,7 @@
 
 \IfFileExists{C:/WINDOWS/win.ini}
 {\newcommand{\mycfont}{song}}
-%{\newcommand{\mycfont}{gbsn}}
+{\newcommand{\mycfont}{gbsn}}
 
 \begin{CJK}{UTF8}{\mycfont}
 \end{CJK}