合并分支 'zengxin' 到 'caorunzhe'

chapter5 bug

查看合并请求 !70

Book/Chapter5/chapter5.tex

@@ -153,10 +153,9 @@
 %表1------------------------
 
 %--5.2神经网络基础-----------------------------------------
-<<<<<<< HEAD
-=======
+
 \sectionnewpage
->>>>>>> master
+
 \section{神经网络基础}
 
 \parinterval 神经网络是一种由大量的节点（或称神经元）之间相互连接构成的计算模型。那么什么是神经元？神经元之间又是如何连接的？神经网络的数学描述又是什么样的？这一节将围绕这些问题对神经网络的基础知识作进行系统的介绍。
@@ -837,10 +836,9 @@ x_0\cdot w_0+x_1\cdot w_1+x_2\cdot w_2 & = & 0\cdot 1+0\cdot 1+1\cdot 1 \nonumbe
 \parinterval 在本书后面的内容中还会看到，深层网络在机器翻译中可以带来明显的性能提升。
 
 %--5.3神经网络的张量实现-----------------------------------------
-<<<<<<< HEAD
-=======
+
 \sectionnewpage
->>>>>>> master
+
 \section{神经网络的张量实现}
 
 \parinterval 在神经网络内部，输入经过若干次变换，最终得到输出的结果。这个过程类似于一种逐层的数据``流动''。不禁会产生这样的疑问：在神经网络中，数据是以哪种形式``流动''的？如何去编程实现这种数据``流动''呢？
@@ -1209,10 +1207,8 @@ y&=&{\rm{Sigmoid}}({\rm{Tanh}}(\mathbf x\cdot \mathbf w^1+\mathbf b^1)\cdot \mat
 %-------------------------------------------
 
 %--5.4神经网络的参数训练-----------------------------------------
-<<<<<<< HEAD
-=======
+
 \sectionnewpage
->>>>>>> master
 \section{神经网络的参数训练}
 
 \parinterval 简单来说，神经网络可以被看作是由变量和函数组成的表达式，例如：$ \mathbf y=\mathbf x+\mathbf b $、$ \mathbf y={\rm{ReLU}}(\mathbf x\cdot \mathbf w+\mathbf b) $、$ \mathbf y={\rm{Sigmoid}}({\rm{ReLU}}(\mathbf x\cdot \mathbf w^1+\mathbf b^1)\cdot \mathbf w^2+\mathbf b^2) $等等，其中的$ \mathbf x $和$ \mathbf y $作为输入和输出变量， $ \mathbf w $、$ \mathbf b $等其他变量作为{\small\sffamily\bfseries{模型参数}}\index{模型参数}（Model Parameters）\index{Model Parameters}。确定了函数表达式和模型参数，也就确定了神经网络模型。通常，表达式的形式需要系统开发者设计，而模型参数的数量有时会非常巨大，因此需要自动学习，这个过程也被称为模型学习或{\small\bfnew{训练}}\index{训练}（Training）\index{Training}。为了实现这个目标，通常会准备一定量的带有标准答案的数据，称之为{\small\sffamily\bfseries{有标注数据}}\index{有标注数据}（Annotated Data/Labeled Data）\index{Annotated Data/Labeled Data}。这些数据会用于对模型参数的学习，这也对应了统计模型中的参数估计过程。在机器学习中，一般把这种使用有标注数据进行统计模型参数训练的过程称为{\small\sffamily\bfseries{有指导的训练}}\index{有指导的训练}或{\small\sffamily\bfseries{有监督的训练}}\index{有监督的训练}（Supervised Training）\index{Supervised Training}。在本章中，如果没有特殊说明，模型训练都是指有监督的训练。那么神经网络内部是怎样利用有标注数据对参数进行训练的呢？
@@ -1929,10 +1925,7 @@ w_{t+1}&=&w_t-\frac{\eta}{\sqrt{z_t+\epsilon}} v_t
 %-------------------------------------------
 
 %--5.5神经语言模型-----------------------------------------
-<<<<<<< HEAD
-=======
 \sectionnewpage
->>>>>>> master
 \section{神经语言模型}\label{sec5:nlm}
 
 \parinterval  神经网络给我们提供了一种工具，只要将问题的输入和输出定义好，就可以学习输入和输出之间的对应关系。显然，很多自然语言处理任务都可以用神经网络进行实现。比如，在机器翻译中，可以把输入的源语言句子和输出的目标语言句子用神经网络建模；在文本分类中，可以把输入的文本内容和输出的类别标签进行神经网络建模，等等。
@@ -2299,10 +2292,7 @@ Jobs was the CEO of {\red{\underline{apple}}}.
 %-------------------------------------------
 
 %--5.6小结及深入阅读-----------------------------------------
-<<<<<<< HEAD
-=======
 \sectionnewpage
->>>>>>> master
 \section{小结及深入阅读}
 
 \parinterval  神经网络为解决自然语言处理问题提供了全新的思路。而所谓深度学习也是建立在多层神经网络结构之上的一系列模型和方法。本章从神经网络的基本概念到其在语言建模中的应用进行了概述。由于篇幅所限，这里无法覆盖所有神经网络和深度学习的相关内容，感兴趣的读者可以进一步阅读《Neural Network Methods in Natural Language Processing》\cite{goldberg2017neural}和《Deep Learning》\cite{deeplearning}。此外，也有很多研究方向值得关注：