update chapter1-3

Book/Chapter2/chapter2.tex

@@ -18,7 +18,7 @@
 
 
 \parinterval 语言分析部分将以汉语为例介绍词法和句法分析。它们都是自然语言处理中的基本问题，而且在机器翻译中也会经常被使用。同样，我们会介绍这两个任务的定义和解决问题的思路。
 \parinterval 语言分析部分将以汉语为例介绍词法和句法分析。它们都是自然语言处理中的基本问题，而且在机器翻译中也会经常被使用。同样，我们会介绍这两个任务的定义和解决问题的思路。
 
 
-\parinterval 语言建模是机器翻译中最常用的一种技术，它主要用于句子的生成和流畅度评价。我们会以传统计语言模型为例，对语言建模的相关概念进行介绍。但是，这里并不深入探讨语言模型技术，在后面的章节中还有会单独的内容对神经网络语言模型等前沿技术进行讨论。
+\parinterval 语言建模是机器翻译中最常用的一种技术，它主要用于句子的生成和流畅度评价。我们会以传统计语言模型为例，对语言建模的相关概念进行介绍。但是，这里并不深入探讨语言模型技术，在后面的章节中还有会单独的内容对神经网络语言模型等前沿技术进行讨论。\\ \\ \\ \\ 
 %--问题概述-----------------------------------------
 %--问题概述-----------------------------------------
 \section{问题概述 }\index{Chapter2.1}
 \section{问题概述 }\index{Chapter2.1}
 
 
@@ -67,9 +67,7 @@
 \parinterval 本章将会对上述问题及方法进行介绍。首先，会用一个例子给出统计建模的基本思路，之后会应用这种方法进行中文分词、语言建模和句法分析。
 \parinterval 本章将会对上述问题及方法进行介绍。首先，会用一个例子给出统计建模的基本思路，之后会应用这种方法进行中文分词、语言建模和句法分析。
 %--概率论基础-----------------------------------------
 %--概率论基础-----------------------------------------
 \section{概率论基础}\index{Chapter2.2}
 \section{概率论基础}\index{Chapter2.2}
-
 \parinterval 为了便于后续内容的介绍，首先对本书中使用的概率和统计学概念和符号与定理进行说明。
 \parinterval 为了便于后续内容的介绍，首先对本书中使用的概率和统计学概念和符号与定理进行说明。
-
 %--随机变量和概率---------------------
 %--随机变量和概率---------------------
 \subsection{随机变量和概率}\index{Chapter2.2.1}
 \subsection{随机变量和概率}\index{Chapter2.2.1}
 \parinterval 在自然界中，有这样一类具有偶然性的事件，它在一定条件下是否会发生是不确定的。例如，明天会下雨、掷一枚硬币是正面朝上、扔一个骰子的点数是5……这类可能会发生也可能不会发生，通过大量的重复试验，能发现其发生具有某种规律性的事件叫做\textbf{随机事件}。
 \parinterval 在自然界中，有这样一类具有偶然性的事件，它在一定条件下是否会发生是不确定的。例如，明天会下雨、掷一枚硬币是正面朝上、扔一个骰子的点数是5……这类可能会发生也可能不会发生，通过大量的重复试验，能发现其发生具有某种规律性的事件叫做\textbf{随机事件}。
@@ -225,7 +223,6 @@
 \bigcup_{i=1}^n B_i=S \textrm{且}B_iB_j=\varnothing , i,j=1,...,n,i\neq j
 \bigcup_{i=1}^n B_i=S \textrm{且}B_iB_j=\varnothing , i,j=1,...,n,i\neq j
 \label{eqC2.8-new}
 \label{eqC2.8-new}
 \end{eqnarray}
 \end{eqnarray}
-
 \parinterval 设$B_1,…,B_n$是S的一个划分，A为事件，则
 \parinterval 设$B_1,…,B_n$是S的一个划分，A为事件，则
 \begin{eqnarray}
 \begin{eqnarray}
 \textrm{P}(A)=\sum_{k=1}^n \textrm{P}(A \mid B_k)\textrm{P}(B_k)
 \textrm{P}(A)=\sum_{k=1}^n \textrm{P}(A \mid B_k)\textrm{P}(B_k)
@@ -325,6 +322,7 @@
 \begin{figure}[htp]
 \begin{figure}[htp]
 \centering
 \centering
 \includegraphics[scale=0.5]{./Chapter2/Figures/figure-Self-information-function.pdf}
 \includegraphics[scale=0.5]{./Chapter2/Figures/figure-Self-information-function.pdf}
+\setlength{\belowcaptionskip}{-1.5em}
 \caption{自信息函数图像}
 \caption{自信息函数图像}
 \label{fig:Self-information-function}
 \label{fig:Self-information-function}
 \end{figure}
 \end{figure}
@@ -547,6 +545,7 @@
 \begin{figure}[htp]
 \begin{figure}[htp]
 \centering
 \centering
 \input{./Chapter2/Figures/figure-the-dice-game-model}
 \input{./Chapter2/Figures/figure-the-dice-game-model}
+\setlength{\belowcaptionskip}{-1.0em}
 \caption{预设的骰子模型}
 \caption{预设的骰子模型}
 \label{fig:the-dice-game-model}
 \label{fig:the-dice-game-model}
 \end{figure}
 \end{figure}
@@ -702,7 +701,7 @@ $\textrm{P}(w_2|w_1)\times$ & $\textrm{P}(w_2)\times$ & $\textrm{P}(w_2|w_1)\tim
 $\textrm{P}(w_3|w_1 w_2)\times$ & $\textrm{P}(w_3)\times$ & $\textrm{P}(w_3|w_2)\times$ & $...$ & $\textrm{P}(w_3|w_1 w_2)\times$ \\
 $\textrm{P}(w_3|w_1 w_2)\times$ & $\textrm{P}(w_3)\times$ & $\textrm{P}(w_3|w_2)\times$ & $...$ & $\textrm{P}(w_3|w_1 w_2)\times$ \\
 $\textrm{P}(w_4|w_1 w_2 w_3)\times$ & $\textrm{P}(w_4)\times$ & $\textrm{P}(w_4|w_3)\times$ & $...$ & $\textrm{P}(w_4|w_1 w_2 w_3)\times$ \\
 $\textrm{P}(w_4|w_1 w_2 w_3)\times$ & $\textrm{P}(w_4)\times$ & $\textrm{P}(w_4|w_3)\times$ & $...$ & $\textrm{P}(w_4|w_1 w_2 w_3)\times$ \\
 $...$ & $...$ & $...$ & $...$ & $...$ \\
 $...$ & $...$ & $...$ & $...$ & $...$ \\
-$\textrm{P}(w_m|w_1 ... w_{m-1})$ & $\textrm{P}(w_m)$ & $\textrm{P}(w_m|w_{m-1})$ & $...$ & $\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$ \\
+$\textrm{P}(w_m|w_1 ... w_{m-1})$ & $\textrm{P}(w_m)$ & $\textrm{P}(w_m|w_{m-1})$ & $...$ & $\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$ 
 \end{tabular}
 \end{tabular}
 }
 }
 \end{center}
 \end{center}
@@ -712,10 +711,8 @@ $\textrm{P}(w_m|w_1 ... w_{m-1})$ & $\textrm{P}(w_m)$ & $\textrm{P}(w_m|w_{m-1})
 \parinterval 可以看到，1-gram语言模型只是$n$-gram语言模型的一种特殊形式。$n$-gram的优点在于，它所使用的历史信息是有限的，即$n$-1个单词。这种性质也反映了经典的马尔可夫链的思想\cite{liuke-markov-2004}\cite{resnick1992adventures}有时也被称作马尔可夫假设或者马尔可夫属性。因此$n$-gram也可以被看作是变长序列上的一种马尔可夫模型，比如，2-gram语言模型对应着1阶马尔可夫模型，3-gram语言模型对应着2阶马尔可夫模型，以此类推。
 \parinterval 可以看到，1-gram语言模型只是$n$-gram语言模型的一种特殊形式。$n$-gram的优点在于，它所使用的历史信息是有限的，即$n$-1个单词。这种性质也反映了经典的马尔可夫链的思想\cite{liuke-markov-2004}\cite{resnick1992adventures}有时也被称作马尔可夫假设或者马尔可夫属性。因此$n$-gram也可以被看作是变长序列上的一种马尔可夫模型，比如，2-gram语言模型对应着1阶马尔可夫模型，3-gram语言模型对应着2阶马尔可夫模型，以此类推。
 
 
 \parinterval 那么，如何计算$\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$？有很多种选择，比如：
 \parinterval 那么，如何计算$\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$？有很多种选择，比如：
-
-\begin{adjustwidth}{1em}{}
 \begin{itemize}
 \begin{itemize}
-\item 极大似然估计。直接利用不同词序列在训练数据中出现的频度计算出$\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$
+\item 极大似然估计。直接利用不同词序列在训练数据中出现的频度计算出$\textrm{P}(w_m$\\$|w_{m-n+1} ... w_{m-1})$
 \begin{eqnarray}
 \begin{eqnarray}
 \textrm{P}(w_m|w_{m-n+1}...w_{m-1})=\frac{count(w_{m-n+1}...w_m)}{count(w_{m-n+1}...w_{m-1})}
 \textrm{P}(w_m|w_{m-n+1}...w_{m-1})=\frac{count(w_{m-n+1}...w_m)}{count(w_{m-n+1}...w_{m-1})}
 \label{eqC2.29-new}
 \label{eqC2.29-new}
@@ -723,7 +720,6 @@ $\textrm{P}(w_m|w_1 ... w_{m-1})$ & $\textrm{P}(w_m)$ & $\textrm{P}(w_m|w_{m-1})
 
 
 \item 人工神经网络方法。构建一个人工神经网络估计$\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$的值，比如，可以构建一个前馈神经网络来对$n$-gram进行建模。
 \item 人工神经网络方法。构建一个人工神经网络估计$\textrm{P}(w_m|w_{m-n+1} ... w_{m-1})$的值，比如，可以构建一个前馈神经网络来对$n$-gram进行建模。
 \end{itemize}
 \end{itemize}
-\end{adjustwidth}
 
 
 \parinterval 极大似然估计方法和前面介绍的统计分词中的方法是一致的，它的核心是使用$n$-gram出现的频度进行参数估计，因此是也自然语言处理中一类经典的$n$-gram方法。基于人工神经网络的方法在近些年也非常受关注，它直接利用多层神经网络对问题的输入$(w_{m-n+1}...w_{m-1})$和输出$(\textrm{P}(w_m|w_{m-n+1} ... w_{m-1}))$进行建模，而模型的参数通过网络中神经元之间连接的权重进行体现。严格意义上了来说，基于人工神经网络的方法并不算基于$n$-gram的方法，或者说它并显性记录$n$-gram的生成概率，也不不依赖$n$-gram的频度进行参数估计。为了保证内容的连贯性，本章将仍以传统$n$-gram语言模型为基础进行讨论，基于人工神经网络的方法将会在第五章和第六章进行详细介绍。
 \parinterval 极大似然估计方法和前面介绍的统计分词中的方法是一致的，它的核心是使用$n$-gram出现的频度进行参数估计，因此是也自然语言处理中一类经典的$n$-gram方法。基于人工神经网络的方法在近些年也非常受关注，它直接利用多层神经网络对问题的输入$(w_{m-n+1}...w_{m-1})$和输出$(\textrm{P}(w_m|w_{m-n+1} ... w_{m-1}))$进行建模，而模型的参数通过网络中神经元之间连接的权重进行体现。严格意义上了来说，基于人工神经网络的方法并不算基于$n$-gram的方法，或者说它并显性记录$n$-gram的生成概率，也不不依赖$n$-gram的频度进行参数估计。为了保证内容的连贯性，本章将仍以传统$n$-gram语言模型为基础进行讨论，基于人工神经网络的方法将会在第五章和第六章进行详细介绍。
 
 
@@ -1198,11 +1194,11 @@ r_6: & VP \to VV NN \nonumber
 \begin{figure}[htp]
 \begin{figure}[htp]
     \centering
     \centering
 \input{./Chapter2/Figures/figure-example-of-zh-syntactic-analysis}
 \input{./Chapter2/Figures/figure-example-of-zh-syntactic-analysis}
+\setlength{\belowcaptionskip}{-1.0em}
 	\caption{中文句法分析实例}
 	\caption{中文句法分析实例}
    \label{fig:example-of-zh-syntactic-analysis}
    \label{fig:example-of-zh-syntactic-analysis}
 \end{figure}
 \end{figure}
 %-------------------------------------------
 %-------------------------------------------
-
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \section{小结及深入阅读}\index{Chapter2.6}
 \section{小结及深入阅读}\index{Chapter2.6}