Merge branch 'master' of 47.105.50.196:NiuTrans/Toy-MT-Introduction

6c3d07d5 · xiaotong · 85865785 · 2ca76332 · 6c3d07d5 · 6c3d07d5
Commit 6c3d07d5 authored Mar 05, 2020 by xiaotong
--- a/Book/Chapter1/chapter1.tex
+++ b/Book/Chapter1/chapter1.tex
@@ -11,7 +11,7 @@
 \chapter{机器翻译简介}
 \section{机器翻译的概念}\index{Chapter1.1}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 广义上来讲，``翻译''是指把一个事物转化为另一个事物的过程。这个概念多使用在对可序列化符号串的转化上，比如计算机程序的编译、文字翻译和蛋白质生物合成等。在程序编译中，高级语言编写的程序经过一系列的处理后转化为可执行目标程序，这是一种从高级程序语言到低级程序语言的``翻译''。在人类语言的翻译中，一种语言的文字通过某种方式转化为另一种语言的表达，这是一种自然语言的``翻译''。在蛋白质生成合成的第一步，RNA分子序列转化到特定氨基酸序列，这是一种生物学遗传信息的``翻译''。甚至说，给上联对出下联、给一幅图片写出图片的主题等都可以被看作是``翻译''的过程。
+\parinterval 广义上来讲，``翻译''是指把一个事物转化为另一个事物的过程。这个概念多使用在对可序列化符号串的转化上，比如计算机程序的编译、文字翻译和蛋白质生物合成等。在程序编译中，高级语言编写的程序经过一系列的处理后转化为可执行目标程序，这是一种从高级程序语言到低级程序语言的``翻译''。在人类语言的翻译中，一种语言的文字通过某种方式转化为另一种语言表达，这是一种自然语言的``翻译''。在蛋白质生成合成的第一步，RNA分子序列转化到特定氨基酸序列，这是一种生物学遗传信息的``翻译''。甚至说，给上联对出下联、给一幅图片写出图片的主题等都可以被看作是``翻译''的过程。
 \vspace{0.5em}
 %----------------------------------------------
 % 图1.1
@@ -25,7 +25,7 @@
 \parinterval 当然，这里我们更加关注人类语言之间的翻译问题，即自然语言的翻译。如图\ref{fig:zh_en-example}所示，通过计算机可以将一段中文文字自动转化为英文文字，其中中文被称为源语言，英文被称为目标语言，系统的输入是一个源语言（即中文）的文字序列，系统的输出是一个目标语言（即英文）的文字序列。
-\parinterval 一直以来，自然语言文字的翻译往往是由人工完成。让计算机像人一样进行翻译似乎还是电影中的桥段，因为很难想象人类语言的多样性和复杂性可以用计算机语言进行描述。但是时至今日，人工智能技术的发展已经大大超越了人类传统的认知，用计算机进行自动翻译也不在是一种想象，它已经深入到人们生活的很多方面，发挥着重要作用。而这个过程也被称作机器翻译，类似的，自动翻译、智能翻译、多语言自动转换等概念也是指同样的事情。如果将今天的机器翻译和人工翻译进行对比，可以发现机器翻译系统所生成的译文还并不完美，有时翻译质量甚至非常差，但是其优点在于速度快并且成本低，更为重要的是机器翻译系统可以从大量数据中不断学习和进化，翻译质量不断得到提升。人工翻译尽管翻译的精度很高，但是费时费力。当需要翻译大量的文本且精度要求不那么高时，比如海量数据的浏览型任务，机器翻译的优势就体现了出来。对于人工作业无法完成的事情，使用机器翻译可能只需花几个小时甚至几分钟就能完成。这就类似于拿着锄头耕地种庄稼和使用现代化机器作业。
+\parinterval 一直以来，自然语言文字的翻译往往是由人工完成。让计算机像人一样进行翻译似乎还是电影中的桥段，因为很难想象人类语言的多样性和复杂性可以用计算机语言进行描述。但是时至今日，人工智能技术的发展已经大大超越了人类传统的认知，用计算机进行自动翻译也不再是一种想象，它已经深入到人们生活的很多方面，并发挥着重要作用。而这种由计算机进行自动翻译的过程也被称作机器翻译，类似的，自动翻译、智能翻译、多语言自动转换等概念也是指同样的事情。如果将今天的机器翻译和人工翻译进行对比，可以发现机器翻译系统所生成的译文还并不完美，有时翻译质量甚至非常差，但是其优点在于速度快并且成本低，更为重要的是机器翻译系统可以从大量数据中不断学习和进化，随着学习其翻译质量不断得到提升。人工翻译尽管翻译的精度很高，但是费时费力。当需要翻译大量的文本且精度要求不那么高时，比如海量数据的浏览型任务，机器翻译的优势就体现了出来。对于人工作业无法完成的事情，使用机器翻译可能只需花几个小时甚至几分钟就能完成。这就类似于拿着锄头耕地种庄稼和使用现代化机器作业。
 \parinterval 实现机器翻译往往需要多个学科知识的融合，如数学、语言学、计算机科学、心理学等等。而最终呈现给我们的是一套软件系统– 即机器翻译系统。通俗来讲，机器翻译系统就是一个可以在计算机上运行的软件工具，与我们使用的其它软件一样。只不过机器翻译系统是由``不可见的程序''组成，虽然这个系统非常复杂，但是呈现出来的展示形式却很简单，比如输入是待翻译的句子或文本，输出是译文句子或文本。
@@ -39,7 +39,7 @@
 \end{figure}
 %-------------------------------------------
-\parinterval 虽然机器翻译的想法可以追溯到电子计算机产生之前，发展过程中也经历了多个范式的变迁，现代机器翻译系统大多是使用的是基于数据驱动的方法– 即从数据中自动学些翻译知识，并运用这些知识对新的文本进行翻译。如图\ref{fig:Required-parts-of-MT}所示，这类系统通常由两部分组成：
+\parinterval 虽然机器翻译的想法可以追溯到电子计算机产生之前，发展过程中也经历了多个范式的变迁，现代机器翻译系统大多是使用的是基于数据驱动的方法– 即从数据中自动学习翻译知识，并运用这些知识对新的文本进行翻译。如图\ref{fig:Required-parts-of-MT}所示，这类系统通常由两部分组成：
 \vspace{0.5em}
 \begin{itemize}
@@ -49,19 +49,19 @@
 \end{itemize}
 \vspace{0.5em}
-\parinterval 构建一个强大的机器翻译系统需要``资源''和``系统''两方面共同作用。在资源方面，随着语料库语言学的发展，已经有大量高质量的双语和单语数据（称为语料）被整理并且电子化，研发机器翻译系统所需要语料基础已经具备。特别是像英语、汉语等世界主流语种，相关语料资源已经非常丰富，这也大大加速了相关研究的进展。当然，对于一些稀缺资源语种或者特殊的领域，语料库仍然非常缺乏，但是这些并不影响机器翻译领域整体的发展速度。在语料库条件已经具备的基础上，很多研究者可以把精力集中在``系统''上。但是，机器翻译并非易事，有几方面挑战：
+\parinterval 构建一个强大的机器翻译系统需要``资源''和``系统''两方面共同作用。在资源方面，随着语料库语言学的发展，已经有大量高质量的双语和单语数据（称为语料）被整理并且电子化，研发机器翻译系统所需要的语料基础已经具备。特别是像英语、汉语等世界主流语种，相关语料资源已经非常丰富，这也大大加速了相关研究的进展。当然，对于一些稀缺资源语种或者特殊的领域，语料库仍然非常缺乏，但是这些并不影响机器翻译领域整体的发展速度。在语料库条件已经具备的基础上，很多研究者可以把精力集中在``系统''上。但是，机器翻译并非易事，有以下几方面挑战：
 \vspace{0.5em}
 \begin{itemize}
 \item 自然语言翻译问题的复杂性极高。语言是人类进化的最高成就之一，自然语言具有高度的概括性、灵活性、丰富性，这些都很难用几个简单的模型和算法描述出来，因此翻译问题的数学建模和计算机程序实现难度很大。虽然近几年Alpha Go等人工智能系统在围棋等领域取得了令人瞩目的成绩，但是相比翻译来说，围棋等棋类任务仍然``简单''，比如，对于一个句子，其潜在的译文几乎是不可穷尽的，即使同一句话不同人的理解也不尽相同，甚至在翻译一个句子、一个单词的时候，要考虑整个篇章的上下文语境，这些问题都不是传统棋类任务所具备的。
 \vspace{0.5em}
-\item 计算机的``理解''与人类的``理解''很难统一。人类一直希望把自己进行翻译所使用的知识描述出来，并用计算机程序进行实现，包括早期基于规则的机器翻译方法都源自这个思想。但是经过实践发现，人和计算机在``理解''自然语言上存在着鸿沟。首先，人类的语言能力是经过长时间多种外部环境因素共同刺激形成的，这种能力很难直接准确表达，也就是说人类的语言知识本身就很难描述，更不用说让计算机来理解；其次，人和机器翻译系统理解语言的目标不一样，人理解和使用语言是为了进行生活和工作，目标非常复杂，而机器翻译系统更多的是为了对某些数学上定义的目标函数进行优化。也就是说，机器翻译系统关注的是翻译这个单一目标，而并不是像人一样进行复杂的活动；此外，人和计算机的运行方式有着本质区别。人类语言能力的生物学机理与机器翻译系统所使用的计算模型本质上是不同的，机器翻译系统使用的是其自身能够理解的``知识''，比如，统计学上的词语表示，这种知识并不需要人来理解，当然计算机也并不必须要理解人是如何思考的。
+\item 计算机的``理解''与人类的``理解''很难统一。人类一直希望把自己进行翻译所使用的知识描述出来，并用计算机程序进行实现，包括早期基于规则的机器翻译方法都源自这个思想。但是经过实践发现，人和计算机在``理解''自然语言上存在着鸿沟。首先，人类的语言能力是经过长时间多种外部环境因素共同刺激形成的，这种能力很难直接准确表达。也就是说人类的语言知识本身就很难描述，更不用说让计算机来理解；其次，人和机器翻译系统理解语言的目标不一样。人理解和使用语言是为了进行生活和工作，目标非常复杂，而机器翻译系统更多的是为了对某些数学上定义的目标函数进行优化。也就是说，机器翻译系统关注的是翻译这个单一目标，而并不是像人一样进行复杂的活动；此外，人和计算机的运行方式有着本质区别。人类语言能力的生物学机理与机器翻译系统所使用的计算模型本质上是不同的，机器翻译系统使用的是其自身能够理解的``知识''，比如，统计学上的词语表示。这种知识并不需要人来理解，当然计算机也并不必须要理解人是如何思考的。
 \vspace{0.5em}
-\item 单一的方法无法解决多样的翻译问题。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务，比如，世界上存在的语言不下几千种，如果任意两种语言进行互译就有上百万种翻译需求。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是离真正可用还有相当的距离；此外，不同的领域，不同的应用场景对翻译也有不同的需求，比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译需要适用多样的需求，这些又进一步增加了对翻译进行计算机建模的难度；还有，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有数据量有明显差异，甚至很多语种几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。注意，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给我们提出了很大挑战。
+\item 单一的方法无法解决多样的翻译问题。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务。比如，世界上存在的语言不下几千种，如果任意两种语言进行互译就有上百万种翻译需求。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是离真正可用还有相当的距离；此外，不同的领域，不同的应用场景对翻译也有不同的需求。比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译需要适用多样的需求，这些又进一步增加了对翻译进行计算机建模的难度；还有，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有数据量有明显差异，甚至很多语种几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。注意，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给我们提出了很大挑战。
 \end{itemize}
 \vspace{0.5em}
-\parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现终极人工智能的标志。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果有机会了解过十年之前机器翻译结果的人，再对比今天的结果，一定会发现翻译品质已经今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多的得益于基于数据驱动方法和统计建模方法的使用，特别是近些年深度学习等基于表示学习的端到端方法使得机器翻译的水平达到了新的高度。因此，本书将会对当代基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些内容可以对相关内容的学习和科研工作提供参考。
+\parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现终极人工智能的标志。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果有机会了解十年之前机器翻译的结果，再对比今天的结果，一定会发现翻译品质已经今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多的得益于基于数据驱动方法和统计建模方法的使用，特别是近些年深度学习等基于表示学习的端到端方法，使得机器翻译的水平达到了新的高度。因此，本书将会对当代基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些内容可以对相关内容的学习和科研工作提供参考。
 \section{机器翻译简史}\index{Chapter1.2}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -69,7 +69,7 @@
 \parinterval (一) 人工翻译%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 人类形成语言文字的过程中逐渐形成了翻译的概念。一个著名的标志性证据是罗塞塔石碑（Rosetta Stone），如图\ref{fig:rosetta-stone}所示。这个石碑制作于公元前196年，据说是能够考证出来的最久远的记载平行文字的历史遗迹。石碑由上至下共刻有同一段埃及国王诏书的三种语言版本，最上面是古埃及象形文，中间是埃及草书，再下面是古希腊文。可以明显看出这个石碑上中下雕刻的文字的纹理是不同的。尽管用不同的语言文字描述同一件事在今天看来很常见，但是在生成力低下的两千年前是很罕见的。所以认为罗塞塔石碑是标志翻译或人工翻译的一个起点或者标志性的事件。目前这个石碑保存于大英博物馆，并成为了该馆最具代表性的镇馆之宝之一。
+\parinterval 人类形成语言文字的过程中逐渐形成了翻译的概念。一个著名的标志性证据是罗塞塔石碑（Rosetta Stone），如图\ref{fig:rosetta-stone}所示。这个石碑制作于公元前196年，据说是能够考证出来的最久远的记载平行文字的历史遗迹。石碑由上至下共刻有同一段埃及国王诏书的三种语言版本，最上面是古埃及象形文，中间是埃及草书，再下面是古希腊文。可以明显看出这个石碑上中下雕刻的文字的纹理是不同的。尽管用不同的语言文字描述同一件事在今天看来很常见，但是这在生产力低下的两千年前是很罕见的。所以认为罗塞塔石碑是标志翻译或人工翻译的一个起点或者标志性的事件。目前这个石碑保存于大英博物馆，并成为了该馆最具代表性的镇馆之宝之一。
 %----------------------------------------------
 % 图1.3
@@ -99,11 +99,11 @@
 \end{figure}
 %-------------------------------------------
-\parinterval 世界上第一台通用电子数字计算机在1946年研制成功（图\ref{fig:eniac}）。但在上世纪30年代使用计算模型进行自动翻译的思想就开始萌芽，当时法国科学家G.B. Artsouni提出了用机器来进行翻译的想法。在那个时代，第二次世界大战使得数学和密码学相当发达。由于战争的需要，消息传递变的更为隐秘，对文字进行加密和解密成为重要的军事需求。因此有人提出是否能用密码学的技术或方法解决人类语言的翻译，比如把汉语看成英语的一个加密文本，汉语翻译成英语就类似于解密的过程。当然这只是最初的想法。第一次提出机器翻译这个概念是在1949年，当时W. Weaver发表了《翻译备忘录》，正式开创了机器翻译（MachineTranslation）的概念，这个概念一直沿用至今。当然，在那个年代进行机器翻译的研究很多条件还不具备，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过这些早期的探索为后来机器翻译的发展提供了思想火种。
+\parinterval 世界上第一台通用电子数字计算机在1946年研制成功（图\ref{fig:eniac}）。但在上世纪30年代使用计算模型进行自动翻译的思想就开始萌芽，当时法国科学家G.B. Artsouni提出了用机器来进行翻译的想法。在那个时代，第二次世界大战使得数学和密码学相当发达。由于战争的需要，消息传递变的更为隐秘，对文字进行加密和解密成为重要的军事需求。因此有人提出是否能用密码学的技术或方法解决人类语言的翻译，比如把汉语看成英语的一个加密文本，汉语翻译成英语就类似于解密的过程。当然这只是最初的想法。第一次提出机器翻译这个概念是在1949年，当时W. Weaver发表了《翻译备忘录》，正式开创了机器翻译（MachineTranslation）的概念，这个概念一直沿用至今。当然，在那个年代进行机器翻译研究的很多条件还不具备，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过这些早期的探索为后来机器翻译的发展提供了思想火种。
 \parinterval (三) 机器翻译的受挫%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 随着电子计算机的发展，研究者开始尝试使用计算机来进行自动的翻译。但是事情并不总是一帆风顺，怀疑论者对机器翻译一直存有质疑，并很容易找出一些问题机器翻译是无法解决的。自然地，人们也期望能够客观地评估一下机器翻译的可行性。当时美国基金资助组织委任自动语言处理咨询会承担了这项任务。经过近两年的调查与分析，该委员会于1966年11月公布了一个题为《语言与机器》的报告（图\ref{fig:report}），简称ALPAC报告。该报告全面否定了机器翻译的可行性，为机器翻译的研究泼了一盆冷水。随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界对机器翻译都开始回避。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受``待见''，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望又过高，最后发现当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静的思考机器翻译的发展方向，为后来的爆发蓄力。
+\parinterval 随着电子计算机的发展，研究者开始尝试使用计算机来进行自动的翻译。但是事情并不总是一帆风顺，怀疑论者对机器翻译一直存有质疑，并很容易找出一些机器翻译无法解决的问题。自然地，人们也期望能够客观地评估一下机器翻译的可行性。当时美国基金资助组织委任自动语言处理咨询会承担了这项任务。经过近两年的调查与分析，该委员会于1966年11月公布了一个题为《语言与机器》的报告（图\ref{fig:report}），简称ALPAC报告。该报告全面否定了机器翻译的可行性，为机器翻译的研究泼了一盆冷水。随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界对机器翻译都开始回避。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受``待见''，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望过高。最后发现，当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静的思考机器翻译的发展方向，为后来的爆发蓄力。
 %----------------------------------------------
 % 图1.5
@@ -117,17 +117,17 @@
 \parinterval (四) 机器翻译的快速成长%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 事物发展都是螺旋式上升的，机器翻译也是一样。上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。其中，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多。这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法 -数据驱动的方法。这类方法也成为了随后出现的统计机器翻译的基础。传统的机器翻译方法，都需要人来书写规则，虽然对少部分句子具有较高的翻译精度，这类方法对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。而基于数据驱动的方法不依赖于人写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如基于实例的方法和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。从上世纪90年代到本世纪初，统计机器翻译发展迅猛，很快成为了当时机器翻译研究与应用的代表性方法。一个最具标志性的事件是2005年谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种``高大上''的技术快速进入人们的生活，而不再是束之高阁的科研想法。也正是机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来进一步促进了机器翻译的研究进程。比如，在2005-2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
+\parinterval 事物发展都是螺旋式上升的，机器翻译也是一样。上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。其中，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多。这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法 -数据驱动的方法。这类方法也成为了随后出现的统计机器翻译的基础。传统的机器翻译方法，都需要人来书写规则，虽然对少部分句子具有较高的翻译精度，但这类方法对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。而基于数据驱动的方法不依赖于人写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如基于实例的方法和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。从上世纪90年代到本世纪初，统计机器翻译发展迅猛，很快成为了当时机器翻译研究与应用的代表性方法。一个最具标志性的事件是2005年谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种``高大上''的技术快速进入人们的生活，而不再是束之高阁的科研想法。也正是机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来进一步促进了机器翻译的研究进程。比如，在2005-2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
 \parinterval (五) 机器翻译的爆发%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \parinterval 2005年以后迎来了统计机器翻译发展的十年黄金时期，各种基于统计机器翻译模型层出不穷，经典的基于短语的和基于句法的模型也先后被提出。但是在2013年以后，机器学习的进步带来了机器翻译技术进一步爆发。特别是，基于神经网络的深度学习方法在机器视觉、语音识别中被成功应用，带来性能的飞跃式提升。很快，相关模型和方法也被用于机器翻译。对于机器翻译来说，深度学习的成功也是一种必然，原因如下：
-\parinterval 第一、端到端学习不依赖于过多的先验假设。在统计机器翻译时代，模型设计或多或少会对翻译的过程进行假设，称为隐藏结构假设。比如短语统计机器翻译模型假设：源语言和目标语言都会被切分成短语序列，它们短语之间存在某种对齐关系。这种假设既有优点也有缺点。一方面，假设可以有助于模型融入人类的先验知识，包括短语这个概念也是借鉴了语言学相关的概念；另一方面，假设越多模型受到的限制也越多。如果假设是正确的，模型可以很好的描述问题。但如果假设错误或者存在偏差，那么模型就可能产生偏差。深度学习不依赖于先验知识，也不需要手工设计特征，模型直接从输入和输出的映射上进行学习（端到端学习），这样也在一定程度上避免了隐藏结构假设造成的偏差。
+\parinterval 第一、端到端学习不依赖于过多的先验假设。在统计机器翻译时代，模型设计或多或少会对翻译的过程进行假设，称为隐藏结构假设。比如短语统计机器翻译模型假设：源语言和目标语言都会被切分成短语序列，这些短语之间存在某种对齐关系。这种假设既有优点也有缺点。一方面，假设可以有助于模型融入人类的先验知识，包括短语这个概念也是借鉴了语言学相关的概念；另一方面，假设越多模型受到的限制也越多。如果假设是正确的，模型可以很好的描述问题。但如果假设错误或者存在偏差，那么模型就可能产生偏差。深度学习不依赖于先验知识，也不需要手工设计特征，模型直接从输入和输出的映射上进行学习（端到端学习），这样也在一定程度上避免了隐藏结构假设造成的偏差。
 \parinterval 第二、神经网络的连续空间模型有更强的表示能力。机器翻译中的一个基本问题是：如何表示一个句子？统计机器翻译把句子的生成过程看作是短语或者规则的推导，这本质上是一个离散空间上的符号系统。深度学习把传统的基于离散化的表示变成了连续空间的表示。比如，用实数空间的分布式表示代替了离散化的词语表示，而整个句子可以被描述为一个实数向量。这使得翻译问题可以在连续空间上描述，进而可以大大缓解传统离散空间模型维度灾难等问题。更重要的是，连续空间模型可以用梯度下降等方法进行优化，具有很好的数学性质并且易于实现。
-\parinterval 第三、深度网络学习算法的发展和GPU等并行计算模型为训练神经网路提供了可能。早期的基于神经网络的方法一直没有在机器翻译甚至自然语言处理领域得到大规模应用，其中一个重要的原因是这类方法需要大量的浮点运算，但是以前计算机的计算能力无法支撑这个要求。随着GPU等并行计算设备的进步，训练大规模神经网络也变为了可能。现在已经可以在几亿、几十亿，甚至上百亿句对上训练机器翻译系统，系统研发的周期越来越短，进展日新月异。
+\parinterval 第三、深度网络学习算法的发展和GPU等并行计算模型为训练神经网络提供了可能。早期的基于神经网络的方法一直没有在机器翻译甚至自然语言处理领域得到大规模应用，其中一个重要的原因是这类方法需要大量的浮点运算，但是以前计算机的计算能力无法支撑这个要求。随着GPU等并行计算设备的进步，训练大规模神经网络也变为了可能。现在已经可以在几亿、几十亿，甚至上百亿句对上训练机器翻译系统，系统研发的周期越来越短，进展日新月异。
 \parinterval 今天，神经机器翻译已经成为新的范式，大有全面替代统计机器翻译之势。比如，从世界上著名的机器翻译比赛WMT和CCMT中就可以看出这个趋势。如图\ref{fig:wmt}所示，其中左图是WMT19全球机器翻译比赛的参赛队伍的截图，图中的队伍基本全是使用深度学习完成机器翻译的建模的。而在WMT19各个项目夺冠系统中（\ref{fig:wmt}右图），神经机器翻译也几乎一统天下。
@@ -145,7 +145,7 @@
 %-------------------------------------------
 \section{机器翻译现状}\index{Chapter1.3}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 机器翻译技术发展到今天已经经过无数次迭代，技术范式也经过若干次更替，近些年机器翻译的应用也如雨后春笋。但是大家都很好奇今天的机器翻译的质量究竟如何呢？乐观地说，在受限条件下，机器翻译的译文结果还是非常不错的，甚至可以接近人工翻译的结果。然而在开放式翻译任务中，机器翻译的结果却并不理想。更严格来说，机器翻译的质量实则远没有达到人们所期望的完美的程度。对于有些人提到的``机器翻译代替人工翻译''也并不是事实。比如，在高精度同声传译任务中，机器翻译仍需要更多打磨；再比如，针对于小说的翻译，机器翻译还无法做到与人工翻译媲美；甚至有人尝试用机器翻译系统翻译中国古代诗词，这里更多的是娱乐的味道。但是毫无疑问的是，机器翻译可以帮助人，甚至有朝一日可以代替一些低端的翻译工作。
+\parinterval 机器翻译技术发展到今天已经经过无数次迭代，技术范式也经过若干次更替，近些年机器翻译的应用也如雨后春笋。但是大家都很好奇今天的机器翻译的质量究竟如何呢？乐观地说，在受限条件下，机器翻译的译文结果还是非常不错的，甚至可以接近人工翻译的结果。然而在开放式翻译任务中，机器翻译的结果却并不理想。更严格来说，机器翻译的质量远没有达到人们所期望的完美的程度。对于有些人提到的``机器翻译代替人工翻译''也并不是事实。比如，在高精度同声传译任务中，机器翻译仍需要更多打磨；再比如，针对于小说的翻译，机器翻译还无法做到与人工翻译媲美；甚至有人尝试用机器翻译系统翻译中国古代诗词，这里更多的是娱乐的味道。但是毫无疑问的是，机器翻译可以帮助，甚至有朝一日可以代替一些低端的人工翻译工作。
 \parinterval 图\ref{fig:results-zh-to-en news-field-translation}展示了机器翻译和人工翻译质量的一个对比结果。在汉语到英语的新闻翻译任务中，如果对译文进行人工评价，五分制机器翻译的译文得3.9分，人的译文得4.7分（人的翻译也不是完美的）。可见在这个任务中，机器翻译表现不错，但是与人还有一定差距。如果换一种方式评价，把人的译文作为参考答案，用机器翻译的译文与其进行自动比对，会发现机器翻译的得分只有47分。当然，这个结果并不是说机器翻译的译文质量很差，它更多的表明机器翻译系统可以生成一些与人工翻译不同的译文，机器翻译也具有一定的创造性。这也类似于，很多围棋选手都向AlphaGo学习一下，因为智能围棋系统也可以走出一些人类从未走过的妙招。
@@ -191,12 +191,12 @@
 \parinterval 早期的机器翻译研究都是以基于规则的方法为主，特别是在上世纪70年代，以基于规则方法为代表的专家系统是人工智能中最具代表性的研究领域。它的主要思想是以词典和人工书写的规则库作为翻译知识，用一系列规则的组合完成翻译。
-\parinterval 图\ref{fig:Example-RBMT}展示了一个使用规则进行翻译的实例。这里，利用一个简单的汉译英规则库完成对句子``我对你感到满意''进行翻译。当翻译``我''时，从规则库中找到规则1，该规则表示遇到单词``我''就翻译为``I''；类似的，也可以从规则库中找到规则4，该规则表示翻译调序，即将单词``you''放到``be satisfied with''后面。可以看到，这些规则的使用和我们进行翻译时所使用的思想非常类似，可以说基于规则方法实际上在试图描述人类进行翻译的思维过程。
+\parinterval 图\ref{fig:Example-RBMT}展示了一个使用规则进行翻译的实例。这里，利用一个简单的汉译英规则库完成对句子``我对你感到满意''的翻译。当翻译``我''时，从规则库中找到规则1，该规则表示遇到单词``我''就翻译为``I''；类似的，也可以从规则库中找到规则4，该规则表示翻译调序，即将单词``you''放到``be satisfied with''后面。可以看到，这些规则的使用和我们进行翻译时所使用的思想非常类似，可以说基于规则方法实际上在试图描述人类进行翻译的思维过程。
 \parinterval 但是，基于规则的机器翻译也存在问题。首先，书写规则需要消耗大量人力，规则库的维护代价极高；其次，规则很难涵盖所有的语言现象；再有，自然语言存在大量的歧义现象，规则之间也会存在冲突，这也导致规则数量不可能无限制增长。
 \subsection{基于实例的机器翻译}\index{Chapter1.4.2}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 基于规则的方法更多的被使用在受限翻译场景的中，比如受限词汇集的翻译。针对基于规则的方法的问题，基于实例的机器翻译于上世纪80年代中期被提出\cite{nagao1984framework}该方法的基本思想是在双语句库中找到与待翻译句子相似的实例，之后对实例的译文进行必要修改，如替换、增加、删除等一系列操作，从而得到最终译文。这个过程可以类比人类学习并运用语言的过程：人会先学习一些翻译实例或者模板，当遇到新的句子时，会用以前的实例和模板作对比，之后得到新的句子的翻译结果。这也是一种举一反三的思想。
+\parinterval 基于规则的方法更多的被使用在受限翻译场景中，比如受限词汇集的翻译。针对基于规则的方法存在的问题，基于实例的机器翻译于上世纪80年代中期被提出\cite{nagao1984framework}。该方法的基本思想是在双语句库中找到与待翻译句子相似的实例，之后对实例的译文进行必要修改，如替换、增加、删除等一系列操作，从而得到最终译文。这个过程可以类比人类学习并运用语言的过程：人会先学习一些翻译实例或者模板，当遇到新的句子时，会用以前的实例和模板作对比，之后得到新的句子的翻译结果。这也是一种举一反三的思想。
 %----------------------------------------------
 % 图1.10
 \begin{figure}[htp]
@@ -207,9 +207,9 @@
 \end{figure}
 %-------------------------------------------
-\parinterval 图\ref{fig:zh-sentences-into-en-sentences}展示了一个基于实例的机器翻译过程。它利用简单的翻译实例库与翻译词典完成对句子``我对你感到满意''的翻译。首先，使用待翻译源于句子在翻译实例库进行比较，根据相似度大小找到相似的实例``我对他感到高兴''。然后，标记实例中不匹配的部分，即``你''和``他''，``满意''和``高兴''。再查询翻译词典得到词``你''和``满意''对应的翻译结果``you''和``satisfied''，用这两个词分别替换实例中的``him''和``happy''，从而得到最终译文。
+\parinterval 图\ref{fig:zh-sentences-into-en-sentences}展示了一个基于实例的机器翻译过程。它利用简单的翻译实例库与翻译词典完成对句子``我对你感到满意''的翻译。首先，使用待翻译句子的源语在翻译实例库中进行比较，根据相似度大小找到相似的实例``我对他感到高兴''。然后，标记实例中不匹配的部分，即``你''和``他''，``满意''和``高兴''。再查询翻译词典得到词``你''和``满意''对应的翻译结果``you''和``satisfied''，用这两个词分别替换实例中的``him''和``happy''，从而得到最终译文。
-\parinterval 当然，基于实例的机器翻译也并不完美。首先，这种方法对翻译实例的精确度要求非常高，一个实例的错误可能会导致一个句型都无法翻译正确；其次，实例维护较为困难，实例库的构建通常需要单词一级对齐的标注，而保证词对齐的质量是非常困难的工作，这也大大增加了实例库维护的难度；再有，尽管可以通过实例或者模板进行翻译，但是其覆盖度仍然有限。在实际应用中，很多句子无法找到可以匹配的实例或者模板。
+\parinterval 当然，基于实例的机器翻译也并不完美。首先，这种方法对翻译实例的精确度要求非常高，一个实例的错误可能会导致一个句型都无法翻译正确；其次，实例维护较为困难，实例库的构建通常需要单词级对齐的标注，而保证词对齐的质量是非常困难的工作，这也大大增加了实例库维护的难度；再有，尽管可以通过实例或者模板进行翻译，但是其覆盖度仍然有限。在实际应用中，很多句子无法找到可以匹配的实例或者模板。
 \subsection{统计机器翻译}\index{Chapter1.4.3}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -230,7 +230,7 @@
 \subsection{神经机器翻译}\index{Chapter1.4.4}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐开始兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\cite{sutskever2014sequence}\cite{bahdanau2014neural}神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算，因此它对词序列表示的方式产生了本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由编码器-解码器（encoder-decoder）框架实现。其中，编码器把源语言序列进行编码，并提取源语言中信息并进行分布式表示，之后解码器再把这种信息转换到另一种语言的表达。
+\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐开始兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\cite{sutskever2014sequence}\cite{bahdanau2014neural}神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算，因此它对词序列表示的方式产生了本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由编码器-解码器（encoder-decoder）框架实现。其中，编码器把源语言序列进行编码，并提取源语言中信息进行分布式表示，之后解码器再把这种信息转换为另一种语言的表达。
 %----------------------------------------------
 % 图1.12
@@ -242,9 +242,9 @@
 \end{figure}
 %-------------------------------------------
-\parinterval 图\ref{fig:Example-NMT}展示了一个神经机器翻译的实例。首先，通过编码器，源语言序列``我对你感到满意''经过多层神经网络编码生成一个向量表示，即图中的向量（0.2，-1，6，5，0.7，-2）。再将该向量作为输入到解码器中，解码器把这个向量解码成目标语言序列。注意，目标语言序列的生成是逐词进行的（虽然图中展示的是解码器生成整个序列，但是在具体实现时是逐个单词生成目标语译文），产生某个词的时候依赖之前生成的目标语言的历史信息，直到产生句子结束符为止。
+\parinterval 图\ref{fig:Example-NMT}展示了一个神经机器翻译的实例。首先，通过编码器，源语言序列``我对你感到满意''经过多层神经网络编码生成一个向量表示，即图中的向量（0.2，-1，6，5，0.7，-2）。再将该向量作为输入送到解码器中，解码器把这个向量解码成目标语言序列。注意，目标语言序列的生成是逐词进行的（虽然图中展示的是解码器生成整个序列，但是在具体实现时是逐个单词生成目标语译文），产生某个词的时候依赖之前生成的目标语言的历史信息，直到产生句子结束符为止。
-\parinterval 相比统计机器翻译，神经机器翻译的优势体现在其不需要特征工程，所有信息由神经网络自动从原始输入中提取。而且，相比离散化的表示，词和句子的分布式连续空间表示可以建模提供更为丰富的信息，同时可以使用相对成熟的基于梯度的方法优化模型。此外，神经网络的存储需求较小，天然适合小设备上的应用。但是，神经机器翻译也存在问题。首先，虽然脱离了特征工程，神经网络的结构需要人工设计，即使设计好结构，系统的调优、超参数的设置等等仍然依赖大量的实验；其次，神经机器翻译现在缺乏可解释性，其过程和人的认知差异很大，通过人的先验知识干预的程度差；再有，神经机器翻译对数据的依赖很大，数据规模、质量对性能都有很大影响，特别是在数据稀缺的情况下，充分训练神经网络具有挑战。
+\parinterval 相比统计机器翻译，神经机器翻译的优势体现在其不需要特征工程，所有信息由神经网络自动从原始输入中提取。而且，相比离散化的表示，词和句子的分布式连续空间表示可以为建模提供更为丰富的信息，同时可以使用相对成熟的基于梯度的方法优化模型。此外，神经网络的存储需求较小，天然适合小设备上的应用。但是，神经机器翻译也存在问题。首先，虽然脱离了特征工程，神经网络的结构需要人工设计，即使设计好结构，系统的调优、超参数的设置等等仍然依赖大量的实验；其次，神经机器翻译现在缺乏可解释性，其过程和人的认知差异很大，通过人的先验知识干预的程度差；再有，神经机器翻译对数据的依赖很大，数据规模、质量对性能都有很大影响，特别是在数据稀缺的情况下，充分训练神经网络具有挑战。
 \subsection{对比分析}\index{Chapter1.4.5}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -258,7 +258,7 @@
 \vspace{0.5em}
 \item 基于实例、统计和神经网络方法都需要依赖语料库（数据），其中统计和神经网络方法具有一定的抗噪能力，因此也更适合大规模数据情况下的机器翻译系统研发。
 \vspace{0.5em}
-\item 基于规则和基于实例的方法在受限场景下有较好的精度，但是开放领域翻译统计和神经网络方法更具优势。
+\item 基于规则和基于实例的方法在受限场景下有较好的精度，但是再在开放领域的翻译上统计和神经网络方法更具优势。
 \end{itemize}
 \vspace{0.5em}
@@ -320,7 +320,7 @@
 \parinterval 简而言之，研究者可以根据实际情况选择不同的人工评价方案，人工评价也没有统一的标准。WMT和CCMT机器翻译评测都有配套的人工评价方案，可以作为业界的参考标准。
 \subsection{自动评价}\index{Chapter1.5.2}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 由于人工评价费事费力，同时具有一定的主观性，甚至同一篇文章不同人在不同时刻的理解都会不同，因此自动评价是也是机器翻译系统研发人员所青睐的方法。自动评价的方式虽然不如人工评价准确，但是具有速度快，成本低、一致性高的优点。而且随着评价技术的不断发展，自动评价方式已经具有了比较好的指导性，可以帮助我们快速了解当前机器翻译译文的质量。在机器翻译领域，自动评价已经成为了一个重要的分支，提出的自动评价方法不下几十种。在这里我们无法对这些方法一一列举，为了便于后续章节的描述，这里仅对代表性的一些方法进行简要介绍。
+\parinterval 由于人工评价费事费力，同时具有一定的主观性，甚至同一篇文章不同人在不同时刻的理解都会不同，因此自动评价是也是机器翻译系统研发人员所青睐的方法。自动评价的方式虽然不如人工评价准确，但是具有速度快，成本低、一致性高的优点。而且随着评价技术的不断发展，自动评价方式已经具有了比较好的指导性，可以帮助我们快速了解当前机器翻译译文的质量。在机器翻译领域，自动评价已经成为了一个重要的分支，提出的自动评价方法不下几十种。在这里我们无法对这些方法一一列举，为了便于后续章节的描述，这里仅对具有代表性的一些方法进行简要介绍。
 \subsubsection{BLEU评价}\index{Chapter1.5.2.1}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -348,7 +348,7 @@ Candidate：the the the the
 \label{eq:weighted-average}
 \end{eqnarray}
-\parinterval 但是，该方法更倾向于对短句子打出更高的分数，一个极端的例子译文只有很少的几个词，但是都命中答案，准确率很高可显然不是好的译文。因此，BLEU引入惩罚因子（Brevity Penalty, BP）的概念，对短句进行惩罚，
+\parinterval 但是，该方法更倾向于对短句子打出更高的分数。一个极端的例子是译文只有很少的几个词，但是都命中答案，准确率很高可显然不是好的译文。因此，BLEU引入惩罚因子（Brevity Penalty, BP）的概念，对短句进行惩罚，
 \begin{eqnarray}
 \textrm{BP}=
 \begin{cases}
@@ -364,7 +364,7 @@ e^{(1-\frac{r}{c})}& c<r
 \label{eq:BLUE}
 \end{eqnarray}
-\parinterval 从机器翻译的发展来看，BLEU的意义在于它给系统研发人员提供了一种简单、高效、可重复的自动评价手段，在研发机器翻译系统时可以不需要依赖人工评价。同时，BLEU也有很多创新之处，包括引入$n$-gram的匹配，截断计数和短句惩罚等等，包括NIST等很多评价指标都是受到BLEU的启发。当然， BLEU也并不完美，甚至经常被人诟病，比如，它需要依赖参考译文，而且评价结果有时与人工评价不一致，同时BLEU评价只是单纯的从匹配度的角度思考翻译质量的好坏，并没有真正考虑句子的语义是否翻译正确。但是，毫无疑问，BLEU仍然是机器翻译中最常用的评价方法。在没有找到更好的替代方案之前，BLEU还是机器翻译研究所使用的标准评价指标。
+\parinterval 从机器翻译的发展来看，BLEU的意义在于它给系统研发人员提供了一种简单、高效、可重复的自动评价手段，在研发机器翻译系统时可以不需要依赖人工评价。同时，BLEU也有很多创新之处，包括引入$n$-gram的匹配，截断计数和短句惩罚等等，包括NIST等很多评价指标都是受到BLEU的启发。当然， BLEU也并不完美，甚至经常被人诟病。比如，它需要依赖参考译文，而且评价结果有时与人工评价不一致，同时BLEU评价只是单纯的从匹配度的角度思考翻译质量的好坏，并没有真正考虑句子的语义是否翻译正确。但是，毫无疑问，BLEU仍然是机器翻译中最常用的评价方法。在没有找到更好的替代方案之前，BLEU还是机器翻译研究所使用的标准评价指标。
 \subsubsection{TER评价}\index{Chapter1.5.2.2}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
@@ -424,11 +424,11 @@ His house is on the south bank of the river.
 \section{机器翻译应用}\index{Chapter1.6}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 机器翻译有着十分广泛的应用，下面为大家介绍一下机器翻译的在我们生活中的具体应用形式：
+\parinterval 机器翻译有着十分广泛的应用，下面为大家介绍一下机器翻译在我们生活中的具体应用形式：
 \parinterval （一）网页翻译
-\parinterval 进入信息爆炸的时代之后，互联网上的海量的数据随处可得，然而由于国家和地区语言的不同，网络上的数据也呈现出多语言的特性。当人们在遇到包含不熟悉的或者不掌握的语言的网页时，无法及时有效地获取其中的信息。因此，对不同语言的网页进行翻译是必不可少的一步。由于网络上网页的数量数不胜数，依靠人工的方式是不确切实际的，相反，机器翻译十分适合这个任务。目前，市场上有很多浏览器提供网页翻译的服务，极大地简化了人们从网络上获取信息的方式。
+\parinterval 进入信息爆炸的时代之后，互联网上海量的数据随处可得，然而由于国家和地区语言的不同，网络上的数据也呈现出多语言的特性。当人们在遇到包含不熟悉的或者不掌握的语言的网页时，无法及时有效地获取其中的信息。因此，对不同语言的网页进行翻译是必不可少的一步。由于网络上网页的数量数不胜数，依靠人工的方式是不确切实际的，相反，机器翻译十分适合这个任务。目前，市场上有很多浏览器提供网页翻译的服务，极大地简化了人们从网络上获取信息的方式。
 \parinterval （二）翻译结果后编辑
@@ -436,7 +436,7 @@ His house is on the south bank of the river.
 \parinterval （三）科技文献翻译
-\parinterval 在专利等科技文献翻译中，往往需要将文献翻译为英语或者其它语言，比如摘要翻译。以往这种翻译工作通常由人工来完成。由于翻译质量要求较高，因此要求翻译人员具有相关背景知识，这导致译员资源稀缺。特别是，近几年国内专利申请数不断增加，这给人工翻译带来了很大的负担。相比于人工翻译，机器翻译可以在短时间内完成大量的专利翻译，同时结合术语词典和人工校对等方式，可以保证专利的翻译质量，满足专利翻译的需求。同时，以专利为代表的科技文献往往具有很强的领域性，针对各类领域文本进行单独优化，机器翻译的品质可以大大提高。因此，机器翻译在专利翻译等行业有十分广泛应用前景。
+\parinterval 在专利等科技文献翻译中，往往需要将文献翻译为英语或者其它语言，比如摘要翻译。以往这种翻译工作通常由人工来完成。由于翻译质量要求较高，因此要求翻译人员具有相关背景知识，这导致译员资源稀缺。特别是，近几年国内专利申请数不断增加，这给人工翻译带来了很大的负担。相比于人工翻译，机器翻译可以在短时间内完成大量的专利翻译，同时结合术语词典和人工校对等方式，可以保证专利的翻译质量，满足专利翻译的需求。同时，以专利为代表的科技文献往往具有很强的领域性，针对各类领域文本进行单独优化，机器翻译的品质可以大大提高。因此，机器翻译在专利翻译等行业有十分广泛的应用前景。
 \parinterval （四）全球化
@@ -449,7 +449,7 @@ His house is on the south bank of the river.
 \parinterval （六）视频字幕翻译
 \parinterval 随着互联网的普及，人们可以通过互联网接触到大量境外影视作品，其中包括电视剧、电影和动画等各类资源。由于大多数人们没有相应的外语能力，通常需要专业人员对字幕进行翻译（如图
-\ref{fig:film-subtitles}），因此，这些境外视频的传播受限于字幕翻译的速度和准确度。而近几年中迅速流行的视频创作，更是为互联网带来了更多的种类丰富的原创视频，这些视频数量繁多且质量参差不齐，很难通过人工的方式进行翻译。为了提升人们的观看体验，一些视频网站在使用语音识别为视频生成源语字幕的同时，通过机器翻译技术为各种语言的受众提供质量尚可的目标语言字幕，这种方式为人们提供了极大的便利。
+\ref{fig:film-subtitles}）。因此，这些境外视频的传播受限于字幕翻译的速度和准确度。而近几年中迅速流行的视频创作，更是为互联网带来了更多的种类丰富的原创视频，这些视频数量繁多且质量参差不齐，很难通过人工的方式进行翻译。为了提升人们的观看体验，一些视频网站在使用语音识别为视频生成源语字幕的同时，通过机器翻译技术为各种语言的受众提供质量尚可的目标语言字幕，这种方式为人们提供了极大的便利。
 %----------------------------------------------
 % 图1.13
 \begin{figure}[htp]
@@ -485,27 +485,27 @@ His house is on the south bank of the river.
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \vspace{0.5em}
 \begin{itemize}
-\item NiuTrans.SMT：NiuTrans\cite{Tong2012NiuTrans}是由东北大学自然语言处理实验室自主研发的SMT系统，该系统可支持基于短语的模型、基于层次结构的模型以及基于句法树结构的模型。由于使用C++语言开发，所以该系统运行时间快，所占存储空间少且易于上手。系统中内嵌有$n$-gram语言模型，故无需使用其它的系统即可对语言进行建模。\url{http://www.niutrans.com/}
+\item NiuTrans.SMT：NiuTrans\cite{Tong2012NiuTrans}是由东北大学自然语言处理实验室自主研发的SMT系统，该系统可支持基于短语的模型、基于层次结构的模型以及基于句法树结构的模型。由于使用C++语言开发，所以该系统运行时间快，所占存储空间少且易于上手。系统中内嵌有$n$-gram语言模型，故无需使用其它的系统即可对语言进行建模。网址：\url{http://www.niutrans.com/}
 \vspace{0.5em}
-\item Moses：Moses\cite{Koehn2007Moses}统计机器翻译时代最著名的系统之一，（主要）由爱丁堡大学的机器翻译团队开发。最新的Moses系统支持很多的功能，例如，它既支持基于短语的模型，也支持基于句法的模型。Moses 提供因子化翻译模型（factored translation model），该模型可以在不同的层次中使用不同的信息。此外，它允许将混淆网络和字格(word lattices)作为输入，可缓解系统的1-best 输出中的错误。Moses 还提供了很多有用的脚本和工具来支持其他的功能。\url{http://www.statmt.org/moses/}
+\item Moses：Moses\cite{Koehn2007Moses}统计机器翻译时代最著名的系统之一，（主要）由爱丁堡大学的机器翻译团队开发。最新的Moses系统支持很多的功能，例如，它既支持基于短语的模型，也支持基于句法的模型。Moses 提供因子化翻译模型（factored translation model），该模型可以在不同的层次中使用不同的信息。此外，它允许将混淆网络和字格(word lattices)作为输入，可缓解系统的1-best 输出中的错误。Moses 还提供了很多有用的脚本和工具来支持其他的功能。网址：\url{http://www.statmt.org/moses/}
 \vspace{0.5em}
-\item Joshua：Joshua是由约翰霍普金斯大学的语言和语音处理中心开发的层次短语翻译系统。由于Joshua是由Java语言开发，所以它在不同的平台上运行或开发时具有良好的可扩展性和可移植性。Joshua也是使用非常广泛的通机器翻译系统之一。\url{http://joshua.sourceforge.net/Joshua/Welcome.html}
+\item Joshua：Joshua\cite{Li2010Joshua}是由约翰霍普金斯大学的语言和语音处理中心开发的层次短语翻译系统。由于Joshua是由Java语言开发，所以它在不同的平台上运行或开发时具有良好的可扩展性和可移植性。Joshua也是使用非常广泛的通机器翻译系统之一。网址：\url{http://joshua.sourceforge.net/Joshua/Welcome.html}
 \vspace{0.5em}
-\item SilkRoad：SilkRoad是由中国五个机构（中科院计算所、中科院软件所、中科院自动化所、厦门大学和哈尔滨工业大学）联合开发的，基于短语的统计机器翻译系统。该系统是中国乃至亚洲地区第一个开源的统计机器翻译系统。SilkRoad支持多解码器和规则提取并为不同组合的子系统提供了不同的实验选择。\url{http://www.nlp.org.cn/project/project.php?projid=14}
+\item SilkRoad：SilkRoad是由中国五个机构（中科院计算所、中科院软件所、中科院自动化所、厦门大学和哈尔滨工业大学）联合开发的，基于短语的统计机器翻译系统。该系统是中国乃至亚洲地区第一个开源的统计机器翻译系统。SilkRoad支持多解码器和规则提取并为不同组合的子系统提供了不同的实验选择。网址：\url{http://www.nlp.org.cn/project/project.php?projid=14}
 \vspace{0.5em}
-\item SAMT：SAMT是由卡内基梅隆大学机器翻译团队开发的语法增强的统计机器翻译系统。SAMT在解码的时候使用目标树来生成翻译规则，而不严格遵守目标语言的语法。SAMT 的一个亮点是它提供了简单但高效的方式来利用在机器翻译中句法信息。由于SAMT在hadoop中实现，它可受益于跨计算机群的大数据集的分布式处理。\url{http://www.cs.cmu.edu/zollmann/samt/}
+\item SAMT：SAMT\cite{zollmann2007the}是由卡内基梅隆大学机器翻译团队开发的语法增强的统计机器翻译系统。SAMT在解码的时候使用目标树来生成翻译规则，而不严格遵守目标语言的语法。SAMT 的一个亮点是它提供了简单但高效的方式来利用在机器翻译中句法信息。由于SAMT在hadoop中实现，它可受益于跨计算机群的大数据集的分布式处理。网址：\url{http://www.cs.cmu.edu/zollmann/samt/}
 \vspace{0.5em}
-\item cdec：cdec\cite{Dyer2010cdec}是一个强大的解码器，是由Chris Dyer 和他的合作者们一起开发。cdec的主要的功能是它使用了翻译模型的一个统一的内部表示，并为实验结构预测问题的各种模型和算法提供了框架。所以，cdec也可以在被用来做一个对齐系统或者一个更通用的学习框架。此外，cdec由于使用高效的C++语言编写，运行速度较快。\url{http://cdec-decoder.org/index.php?title=MainPage}
+\item cdec：cdec\cite{Dyer2010cdec}是一个强大的解码器，是由Chris Dyer 和他的合作者们一起开发。cdec的主要的功能是它使用了翻译模型的一个统一的内部表示，并为实验结构预测问题的各种模型和算法提供了框架。所以，cdec也可以在被用来做一个对齐系统或者一个更通用的学习框架。此外，cdec由于使用高效的C++语言编写，运行速度较快。网址：\url{http://cdec-decoder.org/index.php?title=MainPage}
 \vspace{0.5em}
-\item Phrasal：Phrasal是由斯坦福自然语言处理小组开发的系统。除了传统的基于短语的模型，Phrasal还支持了基于非层次短语的模型，这种模型将基于短语的翻译延伸到非连续的短语翻译(phrasal discontinues translation)，增加了模型的泛化能力。\url{http://nlp.stanford.edu/phrasal/}
+\item Phrasal：Phrasal\cite{Cer2010Phrasal}是由斯坦福自然语言处理小组开发的系统。除了传统的基于短语的模型，Phrasal还支持了基于非层次短语的模型，这种模型将基于短语的翻译延伸到非连续的短语翻译(phrasal discontinues translation)，增加了模型的泛化能力。网址：\url{http://nlp.stanford.edu/phrasal/}
 \vspace{0.5em}
-\item Jane：Jane是一个基于短语和基于层次短语的机器翻译系统，由亚琛工业大学的人类语言技术与模式识别小组开发。Jane提供了系统融合模块，因此可以非常方便的对多个系统进行融合。\url{http://www-i6.informatik.rwth-aachen.de/jane/}
+\item Jane：Jane\cite{VilarJane}是一个基于短语和基于层次短语的机器翻译系统，由亚琛工业大学的人类语言技术与模式识别小组开发。Jane提供了系统融合模块，因此可以非常方便的对多个系统进行融合。网址：\url{http://www-i6.informatik.rwth-aachen.de/jane/}
 \vspace{0.5em}
-\item GIZA++：GIZA++是Franz Och研发的用于训练IBM模型1-5和HMM单词对齐模型的工具包。在早期，GIZA++是所有统计机器翻译系统中词对齐的标配工具。\url{https://github.com/moses-smt/giza-pp}
+\item GIZA++：GIZA++\cite{Junczysdowmunt2012SyMGiza}是Franz Och研发的用于训练IBM模型1-5和HMM单词对齐模型的工具包。在早期，GIZA++是所有统计机器翻译系统中词对齐的标配工具。网址：\url{https://github.com/moses-smt/giza-pp}
 \vspace{0.5em}
-\item HiFST：HiFST是剑桥大学开发的统计机器翻译系统。该系统完全基于有限状态自动机实现，因此非常适合对搜索空间进行有效的表示。\\ \url{http://ucam-smt.github.io/}
+\item HiFST：HiFST\cite{pino2010the}是剑桥大学开发的统计机器翻译系统。该系统完全基于有限状态自动机实现，因此非常适合对搜索空间进行有效的表示。网址：\\ \url{http://ucam-smt.github.io/}
 \vspace{0.5em}
-\item FastAlign：FastAlign是一个快速，无监督的词对齐工具，由卡内基梅隆大学开发。\url{https://github.com/clab/fast\_align}
+\item FastAlign：FastAlign\cite{dyer2013a}是一个快速，无监督的词对齐工具，由卡内基梅隆大学开发。网址：\url{https://github.com/clab/fast\_align}
 \end{itemize}
 \vspace{0.5em}
@@ -513,43 +513,43 @@ His house is on the south bank of the river.
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 \vspace{0.5em}
 \begin{itemize}
-\item GroundHog：GroundHog\cite{bahdanau2015neural}基于Theano框架，由蒙特利尔大学LISA 实验室使用Python语言编写的一个框架，旨在提供灵活而高效的方式来实现复杂的循环神经网络模型。它提供了包括LSTM在内的多种模型。Bahdanau等人在此框架上又编写了GroundHog神经机器翻译系统。该系统被当作很多论文的基线系统。\url{https://github.com/lisa-groundhog/GroundHog}
+\item GroundHog：GroundHog\cite{bahdanau2015neural}基于Theano框架，由蒙特利尔大学LISA 实验室使用Python语言编写的一个框架，旨在提供灵活而高效的方式来实现复杂的循环神经网络模型。它提供了包括LSTM在内的多种模型。Bahdanau等人在此框架上又编写了GroundHog神经机器翻译系统。该系统被当作很多论文的基线系统。网址：\url{https://github.com/lisa-groundhog/GroundHog}
 \vspace{0.5em}
-\item Nematus：Nematus\cite{SennrichNematus}是英国爱丁堡大学开发的，基于Theano框架的神经机器翻译系统。该系统使用GRU作为隐层单元，支持多层网络。Nematus 编码端有正向和反向的编码方式，可以同时提取源语句子中的上下文信息。该系统的一个优点是，它可以支持输入端有多个特征的输入（例如词的词性等）。\url{https://github.com/EdinburghNLP/nematus}
+\item Nematus：Nematus\cite{SennrichNematus}是英国爱丁堡大学开发的，基于Theano框架的神经机器翻译系统。该系统使用GRU作为隐层单元，支持多层网络。Nematus 编码端有正向和反向的编码方式，可以同时提取源语句子中的上下文信息。该系统的一个优点是，它可以支持输入端有多个特征的输入（例如词的词性等）。网址：\url{https://github.com/EdinburghNLP/nematus}
 \vspace{0.5em}
-\item ZophRNN：ZophRNN是由南加州大学的Barret Zoph 等人使用C++语言开发的系统。Zoph在多个GPU 上既可以训练序列模型（如语言模型），也可以训练序列到序列的模型（如神经机器翻译模型）。当训练神经机器翻译系统时，Zoph也支持了多源输入，即在输入源语句子时可同时输入其一种译文。该系统由于使用C++语言，运行速度快。\url{https://github.com/isi-nlp/Zoph\_RNN}
+\item ZophRNN：ZophRNN\cite{zoph2016simple}是由南加州大学的Barret Zoph 等人使用C++语言开发的系统。Zoph在多个GPU 上既可以训练序列模型（如语言模型），也可以训练序列到序列的模型（如神经机器翻译模型）。当训练神经机器翻译系统时，Zoph也支持了多源输入，即在输入源语句子时可同时输入其一种译文。该系统由于使用C++语言，运行速度快。网址：\url{https://github.com/isi-nlp/Zoph\_RNN}
 \vspace{0.5em}
 \item Fairseq：Fairseq\cite{Ottfairseq}是由Facebook开发的，基于PyTorch框架的用以解决序列到序列问题的工具包，其中包括基于卷积神经网络、基于循环神经网络、基于Transformer的模型等。Fairseq是当今使用最广泛的神经机器翻译开源系统之一。https://github.com/facebookresearch/fairseq
 \vspace{0.5em}
-\item Tensor2Tensor：Tensor2Tensor\cite{VaswaniTensor2Tensor}是由谷歌推出的，基于TensorFlow框架的开源系统。该系统基于Transformer模型，因此可以支持大多数序列到序列任务。得益于Transformer 的网络结构，系统的训练速度较快。现在，Tensor2Tensor也是机器翻译翻译领域广泛使用的开源系统之一。\url{https://github.com/tensorflow/tensor2tensor}
+\item Tensor2Tensor：Tensor2Tensor\cite{VaswaniTensor2Tensor}是由谷歌推出的，基于TensorFlow框架的开源系统。该系统基于Transformer模型，因此可以支持大多数序列到序列任务。得益于Transformer 的网络结构，系统的训练速度较快。现在，Tensor2Te-\\nsor也是机器翻译翻译领域广泛使用的开源系统之一。网址：\url{https://github.com/tensorflow/tensor2tensor}
 \vspace{0.5em}
-\item OpenNMT：OpenNMT\cite{KleinOpenNMT}系统是由哈佛大学自然语言处理研究组开源的，基于Torch框架的神经机器翻译系统。OpenNMT系统的早期版本使用Lua 语言编写，现在也扩展到了TensorFlow和PyTorch，设计简单易用，易于扩展，同时保持效率和翻译精度。\url{https://github.com/OpenNMT/OpenNMT}
+\item OpenNMT：OpenNMT\cite{KleinOpenNMT}系统是由哈佛大学自然语言处理研究组开源的，基于Torch框架的神经机器翻译系统。OpenNMT系统的早期版本使用Lua 语言编写，现在也扩展到了TensorFlow和PyTorch，设计简单易用，易于扩展，同时保持效率和翻译精度。网址：\url{https://github.com/OpenNMT/OpenNMT}
 \vspace{0.5em}
-\item 斯坦福神经机器翻译开源代码库：斯坦福大学自然语言处理组（Stanford NLP）发布了一篇文章（{\color{red} 文章地址？参考文献}），总结了该研究组在神经机器翻译上的研究信息，同时实现了多种翻译模型。\\ \url{https://nlp.stanford.edu/projects/nmt/}
+\item 斯坦福神经机器翻译开源代码库：斯坦福大学自然语言处理组（Stanford NLP）发布了一篇教程，介绍了该研究组在神经机器翻译上的研究信息，同时实现了多种翻译模型\cite{luong2016acl_hybrid}。网址：\url{https://nlp.stanford.edu/projects/nmt/}
 \vspace{0.5em}
-\item THUMT：清华大学NLP团队实现的神经机器翻译系统，支持Transformer等模型\cite{ZhangTHUMT}。主要基于Tensorflow和Theano实现，其中Theano版本包含了RNNsearch 模型，训练方式包括MLE （Maximum Likelihood Estimate）, MRT（minimum risk training）, SST（semi-supervised training）。Tensorflow 版本实现了Seq2Seq, RNNsearch, Transformer三种基本模型。\url{https://github.com/THUNLP-MT/THUMT}
+\item THUMT：清华大学NLP团队实现的神经机器翻译系统，支持Transformer等模型\cite{ZhangTHUMT}。该系统主要基于Tensorflow和Theano实现，其中Theano版本包含了RNNsearch模型，训练方式包括MLE （Maximum Likelihood Estimate）, MRT\\（minimum risk training）, SST（semi-supervised training）。Tensorflow 版本实现了Seq2Seq, RNNsearch, Transformer三种基本模型。网址：\url{https://github.com/THUNLP-MT/THUMT}
 \vspace{0.5em}
-\item NiuTrans.NMT：由小牛翻译团队基于NiuTensor工具集实现，支持循环神经网络、Transformer等结构，并支持语言建模、序列标注、机器翻译等任务。支持机器翻译GPU与CPU 训练及解码。其小巧易用，为开发人员提供快速二次开发基础。此外，NiuTrans.NMT已经得到了大规模应用，形成了支持187种语言翻译的小牛翻译系统。\url{http://niutrans.com/opensource/}
+\item NiuTrans.NMT：由小牛翻译团队基于NiuTensor工具集实现，支持循环神经网络、Transformer等结构，并支持语言建模、序列标注、机器翻译等任务。支持机器翻译GPU与CPU 训练及解码。其小巧易用，为开发人员提供快速二次开发基础。此外，NiuTrans.NMT已经得到了大规模应用，形成了支持187种语言翻译的小牛翻译系统。网址：\url{http://niutrans.com/opensource/}
 \vspace{0.5em}
-\item MARIANNMT：主要由微软翻译团队搭建\cite{JunczysMarian}，使用纯C++实现的用于GPU/CPU训练和解码的引擎，支持多GPU训练和批量解码，最小限度依赖第三方库，静态编译一次之后，复制其二进制文件就能在其他平台使用。\url{https://marian-nmt.github.io/}
+\item MARIANNMT：主要由微软翻译团队搭建\cite{JunczysMarian}，其使用纯C++实现的用于GPU\\/CPU训练和解码的引擎，支持多GPU训练和批量解码，最小限度依赖第三方库，静态编译一次之后，复制其二进制文件就能在其他平台使用。网址：\url{https://marian-nmt.github.io/}
 \vspace{0.5em}
-\item Sockeye：由Awslabs开发得神经机器翻译框架\cite{hieber2017sockeye}。其中支持RNNSearch、Transformer、CNN等翻译模型，同时还有提供了从图片翻译到文字的模块。提供了WMT 德英新闻翻译、领域适应任务、多语言零资源翻译任务的教程。\url{https://awslabs.github.io/sockeye/}
+\item Sockeye：由Awslabs开发得神经机器翻译框架\cite{hieber2017sockeye}。其中支持RNNSearch、Tra-nsformer、CNN等翻译模型，同时还有提供了从图片翻译到文字的模块。提供了WMT 德英新闻翻译、领域适应任务、多语言零资源翻译任务的教程。网址：\url{https://awslabs.github.io/sockeye/}
 \vspace{0.5em}
-\item CytonMT：由NICT开发的一种用C++实现的高效神经机器翻译开源工具包\cite{WangCytonMT}。主要支持Transformer模型，并支持一些常用的训练方法以及解码方法。\url{https://github.com/arthurxlw/cytonMt}
+\item CytonMT：由NICT开发的一种用C++实现的高效神经机器翻译开源工具包\cite{WangCytonMT}。主要支持Transformer模型，并支持一些常用的训练方法以及解码方法。网址：\url{https://github.com/arthurxlw/cytonMt}
 \vspace{0.5em}
-\item OpenSeq2Seq：由NVIDIA团队开发的\cite{KuchaievMixed}基于Tensorflow的模块化架构，用于序列到序列的模型，允许从可用组件中组装新模型，支持混合精度训练，利用NVIDIA Volta Turing GPU中的Tensor核心，基于Horovod的快速分布式训练，支持多GPU，多节点多模式。\url{https://nvidia.github.io/OpenSeq2Seq/html/index.html}
+\item OpenSeq2Seq：由NVIDIA团队开发的\cite{KuchaievMixed}基于Tensorflow的模块化架构，用于序列到序列的模型，允许从可用组件中组装新模型，支持混合精度训练，利用NVIDIA Volta Turing GPU中的Tensor核心，基于Horovod的快速分布式训练，支持多GPU，多节点多模式。网址：\url{https://nvidia.github.io/OpenSeq2Seq/html/index.html}
 \vspace{0.5em}
-\item NMTPyTorch：由勒芒大学语言实验室发布的基于序列到序列框架的神经网络翻译模型，Nmtpytorch的核心部分依赖于Numpy，Pytorch和tqdm。其允许训练各种端到端神经体系结构，包括但不限于神经机器翻译，图像字幕和自动语音识别系统。\url{https://github.com/lium-lst/nmtpytorch}
+\item NMTPyTorch：由勒芒大学语言实验室发布的基于序列到序列框架的神经网络翻译模型\cite{nmtpy2017}，Nmtpytorch的核心部分依赖于Numpy，Pytorch和tqdm。其允许训练各种端到端神经体系结构，包括但不限于神经机器翻译，图像字幕和自动语音识别系统。网址：\url{https://github.com/lium-lst/nmtpytorch}
 \end{itemize}
 \vspace{0.5em}
 \subsection{常用数据集及公开评测任务}\index{Chapter1.7.2}
-\parinterval 机器翻译相关评测主要有两种组织形式，一种是由政府及国家相关机构组织，权威性强，如由美国国家标准技术研究所组织的NIST评测、日本国家科学咨询系统中心主办的NACSIS Test Collections for IR（NTCIR）PatentMT、日本科学振兴机构（Japan Science and Technology Agency，简称JST）等组织联合举办的Workshop on Asian Translation（WAT）以及国内由中文信息学会主办的全国机器翻译大会（China Conference on Machine Translation，简称CCMT）；另一种是由相关学术机构组织，具有领域针对性的特点，如倾向新闻领域的Workshop on Statistical Machine Translation（WMT）以及面向口语的International Workshop on Spoken Language Translation（IWSLT）。下面将针对上述评测进行详细介绍。
+\parinterval 机器翻译相关评测主要有两种组织形式，一种是由政府及国家相关机构组织，权威性强。如由美国国家标准技术研究所组织的NIST评测、日本国家科学咨询系统中心主办的NACSIS Test Collections for IR（NTCIR）PatentMT、日本科学振兴机构（Japan Science and Technology Agency，简称JST）等组织联合举办的Workshop on Asian Translation（WAT）以及国内由中文信息学会主办的全国机器翻译大会（China Conference on Machine Translation，简称CCMT）；另一种是由相关学术机构组织，具有领域针对性的特点，如倾向新闻领域的Workshop on Statistical Machine Translation（WMT）以及面向口语的International Workshop on Spoken Language Translation（IWSLT）。下面将针对上述评测进行详细介绍。
 \vspace{0.5em}
 \begin{itemize}
-\item CCMT（全国机器翻译大会），前身为CWMT（全国机器翻译研讨会）是国内机器翻译领域旗舰会议，自2005年起已经组织多次机器翻译评测，对国内机器翻译相关技术的发展产生了深远影响。该评测主要针对汉语、英语以及国内的少数民族语言（蒙古语、藏语、维吾尔语等）进行评测，领域包括新闻、口语、政府文件等，不同语言方向对应的领域也有所不同。评价方式不同届略有不同，主要采用自动评价的方式，自CWMT 2013起则针对某些领域增设人工评价。自动评价的指标一般包括BLEU-SBP、BLEU-NIST、TER、METEOR、NIST、GTM、mWER、mPER 以及ICT 等，其中以\\BLEU-SBP 为主，汉语为目标语的翻译采用基于字符的评价方式，面向英语的翻译基于词进行评价。每年该评测吸引国内外近数十家家企业及科研机构参赛，业内认可度极高。关于CCMT的更多信息可参考官网：\url{http://www.ai-ia.ac.cn/cwmt2015/evaluation.html} （链接为CWMT 2015）。
+\item CCMT（全国机器翻译大会），前身为CWMT（全国机器翻译研讨会）是国内机器翻译领域旗舰会议，自2005年起已经组织多次机器翻译评测，对国内机器翻译相关技术的发展产生了深远影响。该评测主要针对汉语、英语以及国内的少数民族语言（蒙古语、藏语、维吾尔语等）进行评测，领域包括新闻、口语、政府文件等，不同语言方向对应的领域也有所不同。评价方式不同届略有不同，主要采用自动评价的方式，自CWMT 2013起则针对某些领域增设人工评价。自动评价的指标一般包括BLEU-SBP、BLEU-NIST、TER、METEOR、NIST、GTM、mWER、mPER 以及ICT 等，其中以\\BLEU-SBP 为主，汉语为目标语的翻译采用基于字符的评价方式，面向英语的翻译基于词进行评价。每年该评测吸引国内外近数十家企业及科研机构参赛，业内认可度极高。关于CCMT的更多信息可参考官网：\url{http://www.ai-ia.ac.cn/cwmt2015/evaluation.html} （链接为CWMT 2015）。
 \vspace{0.5em}
 \item WMT由Special Interest Group for Machine Translation（SIGMT）主办，会议自2006年起每年召开一次，是一个针对机器翻译多种任务的综合性会议，包括多领域翻译评测任务、评价任务（如自动评价标准评测、翻译质量评估评测等）以及其它与机器翻译的相关任务（如文档对齐评测等）。现在WMT已经成为机器翻译领域的旗舰评测任务，很多研究工作都以WMT任务作为基准。其翻译评测任务中其涉及的语言范围较广，包括英语、德语、芬兰语、捷克语、罗马尼亚语等十多种语言，翻译方向一般以英语为核心，探索英语与其他欧洲语言翻译的性能，领域包括新闻、信息技术、生物医学。最近，也增加了无指导机器翻译等热门问题。WMT在评价方面类似于CCMT，也采用人工评价与自动评价相结合的方式，自动评价的指标一般为BLEU、NIST以及TER 等。此外，WMT公开了所有评测数据，因此也经常被机器翻译相关人员所使用。更多WMT 的机器翻译评测相关信息可参考官网：\url{http://www.sigmt.org/}。
 \vspace{0.5em}
@@ -574,17 +574,17 @@ His house is on the south bank of the river.
 \parinterval 首先，推荐一本书《Statistical Machine Translation》\cite{SPhilipp}，其作者是机器翻译领域著名学者Philipp Koehn教授。该书是机器翻译领域内的经典之作，介绍了统计机器翻译技术的进展，并解释了如何为任意两种语言搭建机器翻译系统。该书从语言学和概率学两个方面介绍了统计机器翻译的构成要素，然后介绍了统计机器翻译的主要模型：基于词、基于短语和基于树的模型，以及机器翻译评价、语言建模、判别式训练等方法。这本书还报道了当时的最新研究，提出了主要的挑战，并使新手以及经验丰富的研究员能够为这一令人兴奋的领域做出新的贡献。该书内容全面，被很多高校和机器翻译的研究者使用。
-\parinterval 《Foundations of Statistical Natural Language Processing》\cite{SIDDHARTHANChristopher}中文译名《自然语言处理基础》，作者是自然语言处理领域的权威Chris Manning教授和Hinrich Sch$\ddot{\textrm{u}}$tze教授。该书对统计自然语言处理方法进行了全面介绍。书中讲解了必要的语言学和概率论基础知识，介绍了机器翻译评价、语言建模、判别式训练以及整合语言学信息等基础方法。其中包含了构建NLP工具所需的基本理论和算法，提供了对数学和语言学基础内容广泛而严格的覆盖，以及统计方法的详细讨论。
+\parinterval 《Foundations of Statistical Natural Language Processing》\cite{SIDDHARTHANChristopher}中文译名《自然语言处理基础》\cite{曼宁2005《统计自然语言处理基础》}，作者是自然语言处理领域的权威Chris Manning教授和Hinrich Sch$\ddot{\textrm{u}}$tze教授。该书对统计自然语言处理方法进行了全面介绍。书中讲解了必要的语言学和概率论基础知识，介绍了机器翻译评价、语言建模、判别式训练以及整合语言学信息等基础方法。其中包含了构建NLP工具所需的基本理论和算法，提供了对数学和语言学基础内容广泛而严格的覆盖，以及统计方法的详细讨论。
 \parinterval 《统计自然语言处理》\cite{宗成庆2013统计自然语言处理}由中国科学院自动化所宗成庆教授所著，其中全面介绍了统计自然语言处理的基本概念、理论方法和最新研究进展，既有对基础知识和理论模型的介绍，也有对相关问题的研究背景、实现方法和技术现状的详细阐述。可供从事自然语言处理、机器翻译等研究的相关人员参考。
 \parinterval  Ian Goodfellow、Yoshua Bengio，Aaron Courville三位机器学习领域的学者所写的《深度学习》\cite{HeatonIan}也是值得一读的参考书。其讲解了有关深度学习常用的方法，其中很多都会在深度学习模型设计和使用中用到。同时在《深度学习》应用一章中也简单讲解了神经机器翻译的任务定义和发展过程。
-\parinterval 《Neural Network Methods for Natural Language Processing》是Yoav Goldberg编写的面向自然语言处理的深度学习参考书（{\color{red} 参考文献！}）。相比《深度学习》，该书聚焦在自然语言处理中的深度学习方法，内容更加易读。
+\parinterval 《Neural Network Methods in Natural Language Processing》\cite{Goldberg2017Neural}是Yoav Goldberg编写的面向自然语言处理的深度学习参考书。相比《深度学习》，该书聚焦在自然语言处理中的深度学习方法，内容更加易读。
 \parinterval 《机器学习》\cite{周志华2018《机器学习》}由南京大学教授周志华教授所著，作为机器学习领域入门教材，该书尽可能地涵盖了机器学习基础知识的各个方面，试图尽可能少地使用数学知识介绍机器学习方法与思想。在机器翻译中使用的很多机器学习概念和方法可以从该书中进行学习。
-\parinterval  TensorFlow官网提供了一个有关神经机器翻译的教程，介绍了从数据处理开始如何利用TensorFlow工具从零搭建一个神经机器翻译系统以及如何解码，其地址为\url{https://www.tensorflow.org/tutorials/text/nmt\_with\_attention}。此外谷歌和Facebook也分别提供了基于序列到序列机器翻译模型的高级教程。谷歌的版本是基于TensorFlow实现，网址为：\url{https://github.com/tensorflow/nmt}，Facebook的教程主要是基于PyTorch实现--\url{https://pytorch.org/tutorials/intermediate/seq2seq\_translation\_tutorial.html}。网站上也包含一些综述论文详细的介绍了神经机器翻译的发展历程，问题定义以及目前遇到的问题。
+\parinterval  TensorFlow官网提供了一个有关神经机器翻译的教程，介绍了从数据处理开始如何利用TensorFlow工具从零搭建一个神经机器翻译系统以及如何解码，其地址为\url{https://www.tensorflow.org/tutorials/text/nmt\_with\_attention}。此外谷歌和Facebook也分别提供了基于序列到序列机器翻译模型的高级教程。谷歌的版本是基于TensorFlow实现，网址为：\url{https://github.com/tensorflow/nmt}，Facebook的教程主要是基于PyTorch实现，网址为：\url{https://pytorch.org/tutorials/intermediate/seq2seq\_translation\_tutorial.html}。网站上也包含一些综述论文，其中详细的介绍了神经机器翻译的发展历程，问题定义以及目前遇到的问题。
 \parinterval  \url{http://www.statmt.org}是一个介绍机器翻译研究的网站，该网站包含了对统计机器翻译研究的一些介绍资料，一些自然语言处理的会议和workshop，常用工具以及语料库。\url{http://www.mt-archive.info}与\url{https://www.aclweb.org/anthology}网站上有许多介绍机器翻译和自然语言处理的论文。通过这个网站可以了解到自然语言处理领域的一些重要的会议，比如与机器翻译相关的国际会议有：

--- a/Book/bibliography.bib
+++ b/Book/bibliography.bib
@@ -481,33 +481,103 @@ year={2017}}
  title={Mixed-Precision Training for NLP and Speech Recognition with OpenSeq2Seq},
  author={Kuchaiev, Oleksii and Ginsburg, Boris and Gitman, Igor and Lavrukhin, Vitaly and Li, Jason and Nguyen, Huyen and Case, Carl and Micikevicius, Paulius},
 }
+@article{bahdanau2015neural,
+title={Neural Machine Translation by Jointly Learning to Align and Translate},
+author={Bahdanau, Dzmitry and Cho, Kyunghyun and Bengio, Yoshua},
+year={2015}}
-@inproceedings{肖桐2011CWMT2011,
+@article{Li2010Joshua,
-  title={CWMT2011东北大学参评系统NiuTrans介绍(英文)},
+  title={Joshua: An Open Source Toolkit for Parsing-based Machine Translation},
-  author={肖桐 and 张浩 and 李强 and 路琦 and 朱靖波 and 任飞亮 and 王会珍},
+  author={Li, Zhifei and Callisonburch, Chris and Dyer, Chris and Ganitkevitch, Juri and Khudanpur, Sanjeev and Schwartz, Lane and Thornton, Wren N. G. and Weese, Jonathan and Zaidan, Omar F.},
-  booktitle={机器翻译研究进展——第七届全国机器翻译研讨会论文集},
+  pages={135--139},
-  year={2011},
+  year={2010},
 }
-@article{luong2016achieving,
+@inproceedings{Goldberg2017Neural,
-title={Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models},
+  title={Neural Network Methods in Natural Language Processing},
-author={Luong, Minhthang and Manning, Christopher D},
+  author={Goldberg, Yoav and Hirst, Graeme},
-journal={arXiv: Computation and Language},
+  booktitle={Neural Network Methods in Natural Language Processing},
-year={2016}}
+  year={2017},
+}
-@article{luong2015effective,
-title={Effective Approaches to Attention-based Neural Machine Translation},
+@article{pino2010the,
-author={Luong, Minhthang and Pham, Hieu and Manning, Christopher D},
+title={The CUED HiFST System for the WMT10 Translation Shared Task},
-journal={arXiv: Computation and Language},
+author={Pino, Juan and Iglesias, Gonzalo and De Gispert, Adria and Blackwood, Graeme and Brunning, Jamie and Byrne, William},
-year={2015}}
+pages={155--160},
+year={2010}}
-@article{see2016compression,
+@book{Junczysdowmunt2012SyMGiza,
-title={Compression of Neural Machine Translation Models via Pruning},
+  title={SyMGiza++: Symmetrized Word Alignment Models for Statistical Machine Translation},
-author={See, Abigail and Luong, Minhthang and Manning, Christopher D},
+  author={Junczysdowmunt, Marcin and Szał, Arkadiusz},
-journal={arXiv: Artificial Intelligence},
+  year={2012},
+}
+@article{VilarJane,
+  title={Jane: an advanced freely available hierarchical machine translation toolkit},
+  author={Vilar, David and Stein, Daniel and Huck, Matthias and Ney, Hermann},
+  journal={Machine Translation},
+  volume={26},
+  number={3},
+  pages={197-216},
+}
+@article{Cer2010Phrasal,
+  title={Phrasal: A Statistical Machine Translation Toolkit for Exploring New Model Features.},
+  author={Cer, Daniel M and Galley, Michel and Jurafsky, Daniel and Manning, Christopher D},
+  year={2010},
+}
+@article{zollmann2007the,
+title={The Syntax Augmented MT (SAMT) System at the Shared Task for the 2007 ACL Workshop on Statistical Machine Translation},
+author={Zollmann, Andreas and Venugopal, Ashish and Paulik, Matthias and Vogel, Stephan},
+pages={216--219},
+year={2007}}
+@article{曼宁2005《统计自然语言处理基础》,
+  title={《统计自然语言处理基础》},
+  author={曼宁},
+  journal={中文信息学报},
+  volume={19},
+  number={3},
+  pages={54-54},
+  year={2005},
+}
+@article{zoph2016simple,
+title={Simple, Fast Noise-Contrastive Estimation for Large RNN Vocabularies.},
+author={Zoph, Barret and Vaswani, Ashish and May, Jonathan and Knight, Kevin},
+pages={1217--1222},
 year={2016}}
-@article{bahdanau2015neural,
+@article{dyer2013a,
-title={Neural Machine Translation by Jointly Learning to Align and Translate},
+title={A Simple, Fast, and Effective Reparameterization of IBM Model 2},
-author={Bahdanau, Dzmitry and Cho, Kyunghyun and Bengio, Yoshua},
+author={Dyer, Chris and Chahuneau, Victor and Smith, Noah A},
-year={2015}}
+pages={644--648},
\ No newline at end of file
+year={2013}}
+@article{nmtpy2017,
+  author    = {Ozan Caglayan and
+               Mercedes Garc\'{i}a-Mart\'{i}nez and
+               Adrien Bardet and
+               Walid Aransa and
+               Fethi Bougares and
+               Lo\"{i}c Barrault},
+  title     = {NMTPY: A Flexible Toolkit for Advanced Neural Machine Translation Systems},
+  journal   = {Prague Bull. Math. Linguistics},
+  volume    = {109},
+  pages     = {15--28},
+  year      = {2017},
+  url       = {https://ufal.mff.cuni.cz/pbml/109/art-caglayan-et-al.pdf},
+  doi       = {10.1515/pralin-2017-0035},
+  timestamp = {Tue, 12 Sep 2017 10:01:08 +0100}
+}
+@inproceedings{luong2016acl_hybrid,
+ author = {Luong, Minh-Thang  and  Manning, Christopher D.},
+ title = {Achieving Open Vocabulary Neural Machine Translation with Hybrid Word-Character Models},
+ booktitle = {Association for Computational Linguistics (ACL)},
+ address = {Berlin, Germany},
+ month = {August},
+ year = {2016}
+}
--- a/Book/mt-book.bbl
+++ b/Book/mt-book.bbl
--- a/Book/mt-book.tex
+++ b/Book/mt-book.tex
@@ -55,7 +55,7 @@
 \IfFileExists{C:/WINDOWS/win.ini}
 {\newcommand{\mycfont}{song}}
-%{\newcommand{\mycfont}{gbsn}}
+{\newcommand{\mycfont}{gbsn}}
 \begin{CJK}{UTF8}{\mycfont}
 \end{CJK}