合并分支 'caorunzhe' 到 'master'

Caorunzhe

查看合并请求 !100

Chapter1/chapter1.tex

@@ -163,7 +163,7 @@
 
 \parinterval 上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。一方面，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多，这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法\ \dash\ {\small\bfnew{数据驱动}}\index{数据驱动}（Data-Driven）\index{Data-Driven}的方法。同时这类方法也成为了随后出现的统计机器翻译的基础，比如，IBM研究人员提出的基于噪声信道模型的5种统计翻译模型\upcite{brown1990statistical,DBLP:journals/coling/BrownPPM94}。
 
-\parinterval 基于数据驱动的方法不依赖于人书写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如，日本学者长尾真提出的基于实例的方法\upcite{nagao1984framework,DBLP:conf/coling/SatoN90}和统计机器翻译\upcite{DBLP:journals/coling/BrownCPPJLMR90,DBLP:journals/coling/BrownPPM94}就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大降低。
+\parinterval 基于数据驱动的方法不依赖于人书写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如，日本学者长尾真提出的基于实例的方法\upcite{nagao1984framework,DBLP:conf/coling/SatoN90}和统计机器翻译\upcite{brown1990statistical,DBLP:journals/coling/BrownPPM94}就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大降低。
 
 \parinterval 从上世纪90年代到本世纪初，随着语料库的完善与高性能计算机的发展，统计机器翻译很快成为了当时机器翻译研究与应用的代表性方法。一个标志性的事件是谷歌公司推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种“高大上”的技术快速进入人们的生活，而不再是束之高阁的科研想法。随着机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来促进了机器翻译的研究进程。比如，在2005-2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
 
@@ -434,7 +434,7 @@
 
 \subsection{神经机器翻译}
 
-\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\upcite{NIPS2014_5346,bahdanau2014neural,NIPS2017_7181,DBLP:journals/corr/GehringAGYD17,DBLP:journals/corr/LuongPM15}。在神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算。因此与之前的技术相比，它在词序列表示的方式上有着本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由{\small\bfnew{编码器-解码器}}\index{编码器-解码器}（Encoder-Decoder）\index{Encoder-Decoder}框架实现。其中，编码器把源语言序列进行编码，并提取源语言中的信息进行分布式表示，之后解码器再把这种信息转换为另一种语言的表达。
+\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\upcite{NIPS2014_5346,bahdanau2014neural,vaswani2017attention,DBLP:journals/corr/GehringAGYD17,DBLP:journals/corr/LuongPM15}。在神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算。因此与之前的技术相比，它在词序列表示的方式上有着本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由{\small\bfnew{编码器-解码器}}\index{编码器-解码器}（Encoder-Decoder）\index{Encoder-Decoder}框架实现。其中，编码器把源语言序列进行编码，并提取源语言中的信息进行分布式表示，之后解码器再把这种信息转换为另一种语言的表达。
 
 \parinterval 图\ref{fig:1-16}展示了一个神经机器翻译的实例。首先，通过编码器，源语言序列“我对你感到满意”经过多层神经网络编码生成一个向量表示，即图中的向量（0.2，-1，6，5，0.7，-2）。再将该向量作为输入送到解码器中，解码器把这个向量解码成目标语言序列。注意，目标语言序列的生成是逐词进行的（虽然图中展示的是解码器一次生成了整个序列，但是在具体实现时是由左至右逐个单词地生成目标语译文），产生某个词的时候依赖之前生成的目标语言的历史信息，直到产生句子结束符为止。
 

bibliography.bib

@@ -80,14 +80,6 @@
   year      = {1990}
 }
 
-@article{nagao1984framework,
-  title={A framework of a mechanical translation between Japanese and English by analogy principle},
-  author={Nagao, Makoto},
-  journal={Artificial and human intelligence},
-  pages={351--354},
-  year={1984}
-}
-
 @article{DBLP:journals/coling/BrownPPM94,
   author    = {Peter F. Brown and
                Stephen Della Pietra and
@@ -101,23 +93,6 @@
   year      = {1993}
 }
 
-@article{DBLP:journals/coling/BrownCPPJLMR90,
-  author    = {Peter F. Brown and
-               John Cocke and
-               Stephen Della Pietra and
-               Vincent J. Della Pietra and
-               Frederick Jelinek and
-               John D. Lafferty and
-               Robert L. Mercer and
-               Paul S. Roossin},
-  title     = {A Statistical Approach to Machine Translation},
-  journal   = {Computational Linguistics},
-  volume    = {16},
-  number    = {2},
-  pages     = {79--85},
-  year      = {1990}
-}
-
 @article{nirenburg1989knowledge,
   title={Knowledge-based machine translation},
   author={Nirenburg, Sergei},
@@ -274,30 +249,6 @@
   year      = {2017}
 }
 
-@inproceedings{NIPS2017_7181,
-  author    = {Ashish Vaswani and
-               Noam Shazeer and
-               Niki Parmar and
-               Jakob Uszkoreit and
-               Llion Jones and
-               Aidan N. Gomez and
-               Lukasz Kaiser and
-               Illia Polosukhin},
-  //editor    = {Isabelle Guyon and
-               Ulrike von Luxburg and
-               Samy Bengio and
-               Hanna M. Wallach and
-               Rob Fergus and
-               S. V. N. Vishwanathan and
-               Roman Garnett},
-  title     = {Attention is All you Need},
-  booktitle = {Advances in Neural Information Processing Systems 30: Annual Conference
-               on Neural Information Processing Systems 2017, 4-9 December 2017,
-               Long Beach, CA, {USA}},
-  pages     = {5998--6008},
-  year      = {2017}
-}
-
 @inproceedings{bahdanau2014neural,
   author    = {Dzmitry Bahdanau and
                Kyunghyun Cho and
@@ -342,13 +293,6 @@
   year      = {2017}
 }
 
-@book{manning1999foundations,
-  title ={Foundations of statistical natural language processing},
-  author ={Manning, Christopher D and Manning, Christopher D and Sch{\"u}tze, Hinrich},
-  year ={1999},
-  publisher ={MIT press}
-}
-
 @book{宗成庆2013统计自然语言处理,
   title ={统计自然语言处理},
   author ={宗成庆},