第一章剩余部分

Chapter1/chapter1.tex

@@ -99,9 +99,9 @@
 \end{figure}
 %------------------------------------------
 
-\parinterval 随后，更多的翻译工作在文化和知识传播中开展。其中一个典型代表是宗教文献的翻译。在人类的历史长河中，宗教是人类意识形态的一个重要载体。为了宣传教义，人们编写了大量的宗教文献。在西方，一项最早被记录的翻译活动是将旧约圣经（希伯来文及埃兰文）翻译为希腊文版本。迄今为止人类历史上翻译版本最多的书就是圣经。在中国唐代，有一位世界性的重量级文化人物\ \dash \ 玄奘，他不仅是佛学家、旅行家，还是翻译家。玄奘西行求法归来后把全部的心血和智慧奉献给了译经事业，在助手们的帮助下，共翻译佛教经论74部，1335卷，每卷万字左右，合计1335万字，占去整个唐代译经总数的一半以上，树立了我国古代翻译思想的光辉典范。
+\parinterval 在此之后，更多的翻译工作在文化和知识传播中开展。其中一个典型代表是宗教文献的翻译。在人类的历史长河中，宗教是人类意识形态的一个重要载体。为了宣传教义，人们编写了大量的宗教文献。在西方，一项最早被记录的翻译活动是将旧约圣经（希伯来文及埃兰文）翻译为希腊文版本。迄今为止人类历史上翻译版本最多的书就是圣经。在中国唐代，有一位世界性的文化人物\ \dash \ 玄奘，他不仅是佛学家、旅行家，还是翻译家。玄奘西行求法归来后把全部的心血和智慧奉献给了译经事业，在助手们的帮助下，共翻译佛教经论74部，1335卷，每卷万字左右，合计1335万字，占去整个唐代译经总数的一半以上，树立了我国古代翻译思想的光辉典范。
 
-\parinterval 翻译在人类历史长河中起到了重要的作用。一方面，由于语言文字、文化和地理位置的差异性，使得翻译成为一个重要的需求；另一方面，翻译也加速了不同文明的融会贯通，促进了世界的发展。今天，翻译已经成为重要的行业之一，包括各个高校也都设立了翻译及相关专业，相关人才不断涌现。据《2019年中国语言服务行业发展报告》统计：全球语言服务产值预计将首次接近500亿美元；中国涉及语言服务的在营企业360,000余家，语言服务为主营业务的在营企业近万家，总产值超过300亿元，年增长3\%以上；全国开设外语类专业的高校数量多达上千所，其中设立有翻译硕士（MTI）和翻译本科（BTI）专业的院校分别有250余所和280余所，MTI累计招生数达6万余人\upcite{赵军峰2019深化改革}。当然，面对着巨大的需求，如何使用机器辅助翻译等技术手段提高人工翻译效率，也是人工翻译和机器翻译领域需要共同探索的方向。
+\parinterval 翻译在人类历史长河中起到了重要的作用。一方面，由于语言文字、文化和地理位置的差异性，使得翻译成为一个重要的需求；另一方面，翻译也加速了不同文明的融会贯通，促进了世界的发展。今天，翻译已经成为重要的行业之一，包括各个高校也都设立了翻译及相关专业，相关人才不断涌现。据《2019年中国语言服务行业发展报告》统计：全球语言服务产值预计将首次接近500亿美元；中国涉及语言服务的在营企业360,000余家，语言服务为主营业务的在营企业近万家，总产值超过300亿元，年增长3\%以上；全国开设外语类专业的高校数量多达上千所，其中设立有翻译硕士（MTI）和翻译本科（BTI）专业的院校分别有250余所和280余所，其中仅MTI得累计招生数就高达6万余人\upcite{赵军峰2019深化改革}。当然，面对着巨大的需求，如何使用机器辅助翻译等技术手段提高人工翻译效率，也是人工翻译和机器翻译领域需要共同探索的方向。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -111,7 +111,7 @@
 
 \parinterval 人工翻译已经存在了上千年，而机器翻译又起源于什么时候呢？机器翻译跌宕起伏的发展史可以分为萌芽期、受挫期、快速成长期和爆发期四个阶段。
 
-\parinterval 早在17世纪，如Descartes、Leibniz、Cave\ Beck、Athanasius\ Kircher和Johann\ Joachim\ Becher等很多学者就提出采用机器词典（电子词典）来克服语言障碍的想法，这种想法在那个连计算机都没有的时代是很超前的。随着语言学、计算机科学等学科中基础知识的累积，在19世纪30年代使用计算模型进行自动翻译的思想开始萌芽，如当时法国科学家G.\ B.\ Artsouni就提出用机器来进行翻译的想法。但是那时依然没有合适的实现手段，所以这种想法的合理性无法被证实，所有的想法都仅仅是猜测。
+\parinterval 早在17世纪，如Descartes、Leibniz、Cave\ Beck、Athanasius\ Kircher和Johann\ Joachim\ Becher等很多学者就提出采用机器词典（电子词典）来克服语言障碍的想法，这种想法在当时是很超前的。随着语言学、计算机科学等学科中基础知识的累积，在19世纪30年代使用计算模型进行自动翻译的思想开始萌芽，如当时法国科学家G.\ B.\ Artsouni就提出用机器来进行翻译的想法。只是那时依然没有合适的实现手段，所以这种想法的合理性无法被证实。
 
 \parinterval 随着第二次世界大战爆发， 由于战争的需要，对文字进行加密和解密成为重要的军事需求，这也使得数学和密码学变得相当发达。残酷的战争使得科学飞速发展，在战争结束一年后，世界上第一台通用电子数字计算机于1946年研制成功（图\ref{fig:1-4}），至此使用机器进行翻译有了真正实现的可能。
 
@@ -124,9 +124,9 @@
 \end{figure}
 %-------------------------------------------
 
-\parinterval 基于战时密码学领域与通讯领域的研究，Claude\ Elwood\ Shannon在1948年提出使用“噪声信道”描述语言的传输过程，并借用热力学中的“{\small\bfnew{熵}}\index{熵}”（Entropy）\index{Entropy}来刻画消息中的信息量\upcite{DBLP:journals/bstj/Shannon48}。次年，Shannon和Warren\ Weaver更是合著了著名的《通讯的数学理论》\upcite{DBLP:journals/bstj/Shannon48a}，这都为后期的统计机器翻译打下了理论基础。
+\parinterval 基于战时密码学领域与通讯领域的研究，Claude\ Elwood\ Shannon在1948年提出使用“噪声信道”描述语言的传输过程，并借用热力学中的“{\small\bfnew{熵}}\index{熵}”（Entropy）\index{Entropy}来刻画消息中的信息量\upcite{DBLP:journals/bstj/Shannon48}。次年，Shannon与Warren\ Weaver更是合著了著名的《通讯的数学理论》\upcite{DBLP:journals/bstj/Shannon48a}，这些工作都为后期的统计机器翻译打下了理论基础。
 
-\parinterval 1949年，Weaver撰写了一篇名为《翻译》的备忘录，在这个备忘录中Weaver提出用密码学的方法解决人类语言翻译任务的想法，比如把汉语看成英语的一个加密文本，汉语翻译成英语就类似于解密的过程。并且在这篇备忘录中他也第一次提出了机器翻译，正式开创了{\small\bfnew{机器翻译}}\index{机器翻译}（Machine Translation）\index{Machine Translation}的概念，这个概念一直沿用至今。虽然，在那个年代进行机器翻译研究仍有很多不具备的条件，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过，这些早期的探索为后来机器翻译的发展提供了思想的火种。
+\parinterval 1949年，Weaver撰写了一篇名为\emph{TRANSLATION}的备忘录，在这个备忘录中Weaver提出用密码学的方法解决人类语言翻译任务的想法，比如把汉语看成英语的一个加密文本，那么将汉语翻译成英语就类似于解密的过程。并且在这篇备忘录中他也第一次提出了机器翻译，正式开创了{\small\bfnew{机器翻译}}\index{机器翻译}（Machine Translation）\index{Machine Translation}的概念，这个概念一直沿用至今。虽然，在那个年代进行机器翻译研究仍有很多不具备的条件，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过，这些早期的探索为后来机器翻译的发展提供了思想的火种。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -149,9 +149,9 @@
 \end{figure}
 %-------------------------------------------
 
-\parinterval 随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界对机器翻译都开始回避。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。
+\parinterval 随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界都开始回避机器翻译。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。
 
-\parinterval 从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受“待见”，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望过高。最后发现，当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静的思考机器翻译的发展方向，为后来的爆发蓄力。
+\parinterval 从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受“待见”，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望过高。最后发现，当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静地思考机器翻译的发展方向，为后来的爆发蓄力。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -159,13 +159,13 @@
 
 \subsection{机器翻译的快速成长}
 
-\parinterval 事物发展都是螺旋式上升的，机器翻译也是一样。早期基于规则的机器翻译方法需要人来书写规则，虽然对少部分句子具有较高的翻译精度，可是对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。
+\parinterval 事物的发展都是螺旋式上升的，机器翻译也是一样。早期基于规则的机器翻译方法需要人来书写规则，虽然对少部分句子具有较高的翻译精度，可是对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。
 
 \parinterval 上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。一方面，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多，这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法\ \dash\ {\small\bfnew{数据驱动}}\index{数据驱动}（Data-Driven）\index{Data-Driven}的方法。同时这类方法也成为了随后出现的统计机器翻译的基础，其中比较有代表性的就是IBM研究人员基于噪声信道模型提出的5种统计模型，后来被称为IBM Model1到IBM Model5\upcite{DBLP:journals/coling/BrownCPPJLMR90,DBLP:journals/coling/BrownPPM94}。
 
-\parinterval 基于数据驱动的方法不依赖于人写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如，日本学者长尾真提出的基于实例的方法\upcite{DBLP:conf/coling/SatoN90}和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。
+\parinterval 基于数据驱动的方法不依赖于人书写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如，日本学者长尾真提出的基于实例的方法\upcite{DBLP:conf/coling/SatoN90}和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。
 
-\parinterval 从上世纪90年代到本世纪初，随着语料库的完善与高性能计算机的发展，统计机器翻译很快成为了当时机器翻译研究与应用的代表性方法。一个标志性的事件是谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种“高大上”的技术快速进入人们的生活，而不再是束之高阁的科研想法。随着机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来进一步促进了机器翻译的研究进程。比如，在2005－2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
+\parinterval 从上世纪90年代到本世纪初，随着语料库的完善与高性能计算机的发展，统计机器翻译很快成为了当时机器翻译研究与应用的代表性方法。一个标志性的事件是谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种“高大上”的技术快速进入人们的生活，而不再是束之高阁的科研想法。随着机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来促进了机器翻译的研究进程。比如，在2005－2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -242,11 +242,11 @@
 \vspace{0.5em}
 \item {\small\bfnew{计算机的“理解”与人类的“理解”存在鸿沟}}。人类一直希望把自己翻译时所使用的知识描述出来，并用计算机程序进行实现，例如早期基于规则的机器翻译方法就源自这个思想。但是，经过实践发现，人和计算机在“理解”自然语言上存在着明显差异。首先，人类的语言能力是经过长时间在多种外部环境因素共同作用下形成的，这种能力很难直接准确地表达。况且人类的语言知识本身就很难描述，更不用说让计算机来理解；其次，人和机器翻译系统理解语言的目的不一样。人理解和使用语言是为了进行生活和工作，而机器翻译系统更多的是为了对某些数学上定义的目标函数进行优化。也就是说，机器翻译系统关注的是翻译这个单一目标，而并不是像人一样进行复杂的活动；此外，人和计算机的运行方式有着本质区别。人类语言能力的生物学机理与机器翻译系统所使用的计算模型本质上是不同的，机器翻译系统使用的是其自身能够理解的“知识”，比如，统计学上的词语表示。这种“知识”并不需要人来理解，当然从系统开发的角度，计算机也并不需要理解人是如何思考的。
 \vspace{0.5em}
-\item {\small\bfnew{单一的方法无法解决多样的翻译问题}}。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务。比如，世界上存在的语言多达几千种，如果选择任意两种语言进行互译就产生上百万种翻译方向。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是这类系统离真正可用还有很远的距离；其次，不同的领域，不同的应用场景对翻译也有不同的需求。比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译要适用于多样的需求，这些又进一步增加了计算机建模的难度；再次，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有的数据量有明显差异，甚至很多语种几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。值得注意的是，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给研究者带来了很大的挑战。
+\item {\small\bfnew{单一的方法无法解决多样的翻译问题}}。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务。比如，世界上存在的语言多达几千种，如果选择任意两种语言进行互译就会产生上百万种翻译方向。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是这类系统离真正可用还有很远的距离；其次，不同的领域，不同的应用场景对翻译也有不同的需求。比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译要适用于多样的需求，这些又进一步增加了计算机建模的难度；再次，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有的数据量有明显差异，很多语种甚至几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。值得注意的是，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给研究者带来了很大的挑战。
 \vspace{0.5em}
 \end{itemize}
 
-\parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现人工智能的终极目标。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果你看到过十年前机器翻译的结果，再对比今天的结果，一定会感叹翻译质量的今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多的得益于基于数据驱动方法和统计建模方法的使用。特别是近些年深度学习等基于表示学习的端到端方法使得机器翻译的水平达到了新高度。因此，本书将会对基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些内容可以对相关内容的学习和科研工作提供参考。
+\parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现人工智能的终极目标。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果你看到过十年前机器翻译的结果，再对比今天的结果，一定会感叹翻译质量的今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多得益于基于数据驱动方法和统计建模方法的使用。特别是近些年深度学习等基于表示学习的端到端方法使得机器翻译的水平达到了新高度。因此，本书将会对基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些论述可以对相关内容的学习和科研工作提供参考。
 
 %----------------------------------------------------------------------------------------
 %    NEW SECTION
@@ -267,7 +267,7 @@
 
 \parinterval 规则就像语言中的“IF-THEN”语句，如果满足条件，则执行相应的语义动作。这种方式实际上可以理解为对待翻译句子中的词，使用目标语言词汇替换，但是这种替换并非随意的，而是在语言学知识的指导下进行的。
 
-\parinterval 图\ref{fig:1-9}展示了一个使用转换法进行翻译的实例。这里，利用一个简单的汉译英规则库完成对句子“我对你感到满意”的翻译。当翻译“我”时，从规则库中找到规则1，该规则表示遇到单词“我”就翻译为“I”；类似地，也可以从规则库中找到规则4，该规则表示翻译调序，即将单词“you”放到“be satisfied with”后面。这种通过规则表示词汇的对应关系，并在翻译中使用的思想也为统计机器翻译方法提供了思路。如统计机器翻译中，基于短语的翻译模型使用短语对对原文进行替换，详细描述可以参考第四章。
+\parinterval 图\ref{fig:1-9}展示了一个使用转换法进行翻译的实例。这里，利用一个简单的汉译英规则库完成对句子“我对你感到满意”的翻译。当翻译“我”时，从规则库中找到规则1，该规则表示遇到单词“我”就翻译为“I”；类似地，也可以从规则库中找到规则4，该规则表示翻译调序，即将单词“you”放到“be satisfied with”后面。这种通过规则表示词汇的对应关系，并在翻译中使用的思想也为统计机器翻译方法提供了思路。如统计机器翻译中，基于短语的翻译模型使用短语对对原文进行替换，详细描述可以参考{\chapterseven}。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -278,7 +278,7 @@
 \end{figure}
 %-------------------------------------------
 
-\parinterval 在上述例子中可以发现，规则不仅仅可以翻译句子之间词汇的对应，如规则1，还可以表示句法甚至语法之间的对应，如规则6。因此基于规则的方法可以分成多个层次，如图\ref{fig:1-10}所示。图中不同的层次表示采用不同的知识来书写规则，进而完成机器翻译过程。对于一个翻译问题，可以构建不同层次的基于规则的机器翻译系统。这里包括四个层次，分别为：词汇转换、句法转换、语义转换和中间语言层。其中，上层可以继承下层的翻译知识，比如说句法转换层会利用词汇转换层知识。早期基于规则的方法属于词汇转换层。
+\parinterval 在上述例子中可以发现，规则不仅仅可以翻译句子之间词汇的对应，如规则1，还可以表示句法甚至语法之间的对应，如规则6。因此基于规则的方法可以分成多个层次，如图\ref{fig:1-10}所示。图中不同的层次表示采用不同的知识来书写规则，进而完成机器翻译过程。对于翻译问题，可以构建不同层次的基于规则的机器翻译系统。这里包括四个层次，分别为：词汇转换、句法转换、语义转换和中间语言层。其中，上层可以继承下层的翻译知识，比如说句法转换层会利用词汇转换层知识。早期基于规则的方法属于词汇转换层。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -296,7 +296,7 @@
 
 \subsection{转换法}
 
-\parinterval 通常一个典型的{\small\bfnew{基于转换规则的机器翻译}}\index{基于转换规则的机器翻译}（Transfer Based Translation）\index{Transfer Based Translation}过程可以被视为“独立分析-独立生成-相关转换”的过程\upcite{jurafsky2000speech}。如图\ref{fig:1-11}所示，完整的机器翻译过程可以分成六个步骤，其中每一个步骤都是通过相应的翻译规则来完成。比如，第一个步骤中需要构建源语词法分析规则，第二个步骤中需要构建源语句法分析规则，第三个和第四个步骤中需要构建转换规则，其中包括源语-目标语词汇和结构转换规则。
+\parinterval 通常一个典型的{\small\bfnew{基于转换规则的机器翻译}}\index{基于转换规则的机器翻译}（Transfer Based Translation）\index{Transfer Based Translation}的过程可以被视为“独立分析-独立生成-相关转换”的过程\upcite{jurafsky2000speech}。如图\ref{fig:1-11}所示，这些过程可以分成六个步骤，其中每一个步骤都是通过相应的翻译规则来完成。比如，第一个步骤中需要构建源语词法分析规则，第二个步骤中需要构建源语句法分析规则，第三个和第四个步骤中需要构建转换规则，其中包括源语-目标语词汇和结构转换规则等等。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -309,7 +309,7 @@
 
 \parinterval 转换法的目标就是使用规则定义的词法和句法，将原文句子分解成为一个蕴含语言学标志的结构。
 
-\parinterval 如一个中文源文“她把一束花放在桌上。”，经过词法和句法分析之后可以被表示成如图\ref{fig:1-12}所示的结构，对应于图\ref{fig:1-11}中的源文结构。这种使用语言学提取句子结构化表示，并使用某种规则匹配源文结构和译文结构的方式也为统计机器翻译中基于语言学句法的模型提供了思路。
+\parinterval 如一个中文源文“她把一束花放在桌上。”，经过词法和句法分析之后可以被表示成如图\ref{fig:1-12}所示的结构，这个结构就是图\ref{fig:1-11}中的源文结构。这种使用语言学提取句子结构化表示，并使用某种规则匹配源文结构和译文结构的方式也为{\chaptereight}将要介绍的基于语言学句法的模型提供了思路。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -322,7 +322,7 @@
 
 \parinterval 在转换法中，翻译规则通常会分成两类：通用规则和个性规则。所谓通用的规则主要用于句法分析、语义分析、结构转换和句法生成等，是不具体依赖于某个源语言或者目标语言词汇而设计的翻译规则；个性规则通常以具体源语言词汇来做索引，比如图\ref{fig:1-9}中规则5就是针对主语是“I”的个性规则，它直接针对某个具体词汇进行分析和翻译。
 
-\parinterval 个性规则通常会保留在词库中，每条具体的个性规则会与某具体词汇关联，一个词汇可能会关联多条个性规则。在翻译的过程中，根据当前被分析的单词来激活所关联的个性规则。通用规则通常会统一保存在一个规则库里，根据通用规则的用途来组织，比如词法分析通用规则库、句法分析通用规则库等等。通用规则库中可能包含很多不同的通用翻译规则，由于这些规则没有优先级，所以比较简单的方式就是从头开始匹配通用规则，一旦某一条通用规则被激活使用后，继续从头开始匹配，直到找不到可用的具体通用翻译规则为止。在实际应用中，为了避免因通用翻译规则的覆盖度不全使得找不到合适的通用翻译规则进行匹配，导致最后分析和翻译失败，通常会默认设置一条缺省通用翻译规则作为最后的选择，比如默认采用最有可能的操作保证分析和翻译过程能够继续下去。
+\parinterval 个性规则通常会保留在词库中，每条具体的个性规则会与某具体词汇关联，一个词汇可能会关联多条个性规则。在翻译的过程中，根据当前被分析的单词来激活所关联的个性规则。通用规则通常会统一保存在一个规则库里，根据通用规则的用途来组织，比如词法分析通用规则库、句法分析通用规则库等等。通用规则库中可能包含很多不同的通用翻译规则，由于这些规则没有优先级，所以使用时比较简单的方式就是从头开始匹配通用规则，一旦某一条通用规则被激活使用后，继续从头开始匹配，直到找不到可用的通用翻译规则为止。在实际应用中，为了避免因通用翻译规则的覆盖度不全使得找不到合适的通用翻译规则进行匹配，导致最后分析和翻译失败的情况，通常会默认设置一条缺省通用翻译规则作为最后的选择，比如默认采用最有可能的操作保证分析和翻译过程能够继续下去。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -345,9 +345,9 @@
 
 \parinterval 从图\ref{fig:1-10}可以发现，中间语言（知识表示）处于最顶端，本质上是独立于源语言和目标语言的，这也是基于中间语言的方法可以将分析过程和生成过程分开的原因。
 
-\parinterval 虽然基于中间语言的方法有上述优点，但如何定义中间语言是一个关键问题。严格上说，所谓中间语言本身是一种知识表示结构，承载着源语言句子的分析结果，应该包含和体现尽可能多的源语言知识，可以用于生成过程使用。如果中间语言的表示能力不强，会导致源语言句子信息丢失，这自然会影响目标语生成结果。
+\parinterval 虽然基于中间语言的方法有上述优点，但如何定义中间语言是一个关键问题。严格上说，所谓中间语言本身是一种知识表示结构，承载着源语言句子的分析结果，应该包含和体现尽可能多的源语言知识。如果中间语言的表示能力不强，会导致源语言句子信息丢失，这自然会影响目标语生成结果。
 
-\parinterval 在基于规则的机器翻译方法中，构建中间语言结构的知识表示方式有很多，比较常见是语法树、语义网、逻辑结构表示或者多种结构的融合等。但不管哪种方法，实际上都无法充分地表达源语言句子所携带的信息。因此，在早期的基于规则的机器翻译研究中，基于中间语言的方法明显弱于基于转换的机器翻译方法。不过，近些年随着神经机器翻译等方法的兴起，使用统一的中间表示来刻画句子又受到了广泛关注。但是，神经机器翻译中的“中间表示”并不是规则系统中的中间语言，二者有着本质区别，这部分内容将会在第十章进行介绍。
+\parinterval 在基于规则的机器翻译方法中，构建中间语言结构的知识表示方式有很多，比较常见的是语法树、语义网、逻辑结构表示或者多种结构的融合等。但不管哪种方法，实际上都无法充分地表达源语言句子所携带的信息。因此，在早期的基于规则的机器翻译研究中，基于中间语言的方法明显弱于基于转换的机器翻译方法。不过，近些年随着神经机器翻译等方法的兴起，使用统一的中间表示来刻画句子又受到了广泛关注。但是，神经机器翻译中的“中间表示”并不是规则系统中的中间语言，二者有着本质区别，这部分内容将会在第十章进行介绍。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -357,7 +357,7 @@
 
 \parinterval 在基于规则的机器翻译时代，机器翻译技术研究有一个特点就是{\small\bfnew{语法}}\index{语法}（Grammer）\index{Grammer}和{\small\bfnew{算法}}\index{算法}（Algorithm）\index{Algorithm}分开，本质上是把语言分析和程序设计分开。传统方式使用程序代码来实现翻译规则，并把所谓的翻译规则隐含在程序代码实现中。其中最大问题是一旦翻译规则发生修改，程序代码也需要进行相应修改，导致维护代价非常高。此外书写翻译规则的语言学家与编代码的程序员沟通代价也非常高，有时候会出现鸡同鸭讲的感觉。把语法和算法分开对于基于规则的机器翻译技术来说最大好处就是可以将语言学家和程序员的工作分开，各自发挥自己的优势。
 
-\parinterval 这种语言分析和程序设计分开的实现方式也使得基于人工书写翻译规则的机器翻译方法非常直观，语言学家可以很容易地将翻译知识利用规则的方法表达出来，并且不需要修改系统代码。例如：1991年，东北大学自然语言处理实验室王宝库教授提出的规则描述语言（CTRDL）\upcite{王宝库1991机器翻译系统中一种规则描述语言}。以及1995年，同为东北大学自然语言处理实验室的姚天顺教授提出的词汇语义驱动算法\upcite{唐泓英1995基于搭配词典的词汇语义驱动算法}，都是在这种思想上对机器翻译方法的一种改进。此外，使用规则本身就具有一定的优势。首先，翻译规则的书写颗粒度具有很大的可伸缩性。其次，较大颗粒度的翻译规则有很强的概括能力，较小颗粒度的翻译规则具有精细的描述能力。最后，翻译规则还便于处理复杂的句法结构和进行深层次的语义理解，比如解决翻译过程中的长距离依赖问题。
+\parinterval 这种语言分析和程序设计分开的实现方式也使得基于人工书写翻译规则的机器翻译方法非常直观，语言学家可以很容易地将翻译知识利用规则的方法表达出来，并且不需要修改系统代码。例如：1991年，东北大学自然语言处理实验室王宝库教授提出的规则描述语言（CTRDL）\upcite{王宝库1991机器翻译系统中一种规则描述语言}。以及1995年，同为东北大学自然语言处理实验室的姚天顺教授提出的词汇语义驱动算法\upcite{唐泓英1995基于搭配词典的词汇语义驱动算法}，都是在这种思想上对机器翻译方法的一种改进。此外，使用规则本身就具有一定的优势。首先，翻译规则的书写颗粒度具有很大的可伸缩性。其次，较大颗粒度的翻译规则有很强的概括能力，较小颗粒度的翻译规则具有精细的描述能力。最后，翻译规则便于处理复杂的句法结构和进行深层次的语义理解，比如解决翻译过程中的长距离依赖问题。
 
 \parinterval 通过图\ref{fig:1-9}中规则的翻译实例中可以看出，规则的使用和人类进行翻译时所使用的思想非常类似，可以说基于规则的方法实际上在试图描述人类进行翻译的思维过程。虽然直接模仿人类的翻译方式对翻译问题建模是合理的，但是这一定程度上也暴露了基于规则的方法的弱点。基于规则的机器翻译方法中，人工书写翻译规则的主观因素重，有时与客观事实有一定差距。并且人工书写翻译规则的难度大，代价非常高，这也成为了后来基于数据驱动的机器翻译方法主要改进的方向。
 
@@ -368,7 +368,7 @@
 \sectionnewpage
 \section{数据驱动的方法}
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
-\parinterval 虽然基于规则的方法有种种优势，但是该方法人工代价过高的特点是与使用机器进行翻译的初衷相违背的。所以研究者们开始尝试，是否可以更好地利用数据，从数据中学习到某些规律，而不是完全依靠人类来制定规则。在这样的思想下，基于数据驱动的方法诞生了。
+\parinterval 虽然基于规则的方法有种种优势，但是该方法人工代价过高的特点与使用机器进行翻译的初衷相违背。所以研究者们开始尝试，是否可以更好地利用数据，从数据中学习到某些规律，而不是完全依靠人类来制定规则。在这样的思想下，基于数据驱动的方法诞生了。
 
 %----------------------------------------------------------------------------------------
 %    NEW SUB-SECTION
@@ -376,7 +376,7 @@
 
 \subsection{基于实例的机器翻译}
 
-\parinterval 在实际使用上，\ref{section-1.4}章提到的基于规则的方法更多地被使用在受限翻译场景中，比如受限词汇集的翻译。针对基于规则的方法存在的问题，基于实例的机器翻译于上世纪80年代中期被提出\upcite{nagao1984framework}。该方法的基本思想是在双语句库中找到与待翻译句子相似的实例，之后对实例的译文进行修改，如替换、增加、删除等一系列操作，从而得到最终译文。这个过程可以类比人类学习并运用语言的过程：人会先学习一些翻译实例或者模板，当遇到新的句子时，会用以前的实例和模板作对比，之后得到新的句子的翻译结果。这也是一种举一反三的思想。
+\parinterval 在实际使用上，\ref{section-1.4}章提到的基于规则的方法更多地被使用在受限翻译场景中，比如受限词汇集的翻译。针对基于规则的方法存在的问题，基于实例的机器翻译于上世纪80年代中期被提出\upcite{nagao1984framework}。该方法的基本思想是在双语句库中找到与待翻译句子相似的实例，之后对实例的译文进行修改，如对译文进行替换、增加、删除等一系列操作，从而得到最终译文。这个过程可以类比人类学习并运用语言的过程：人会先学习一些翻译实例或者模板，当遇到新的句子时，会用以前的实例和模板作对比，之后得到新的句子的翻译结果。这也是一种举一反三的思想。
 
 \parinterval 图\ref{fig:1-14}展示了一个基于实例的机器翻译过程。它利用简单的翻译实例库与翻译词典完成对句子“我对你感到满意”的翻译。首先，使用待翻译句子的源语言端在翻译实例库中进行比较，根据相似度大小找到相似的实例“我对他感到高兴”。然后，标记实例中不匹配的部分，即“你”和“他”，“满意”和“高兴”。再查询翻译词典得到词“你”和“满意”所对应的翻译结果“you”和“satisfied”，用这两个词分别替换实例中的“him”和“happy”，从而得到最终译文。
 
@@ -399,7 +399,7 @@
 
 \parinterval 统计机器翻译兴起于上世纪90年代\upcite{brown1990statistical,koehn2003statistical}，它利用统计模型从单/双语语料中自动学习翻译知识。具体来说，可以使用单语语料学习语言模型，使用双语平行语料学习翻译模型，并使用这些统计模型完成对翻译过程的建模。整个过程不需要人工编写规则，也不需要从实例中构建翻译模板。无论是词还是短语，甚至是句法结构，统计机器翻译系统都可以自动学习。人更多的是定义翻译所需的特征和基本翻译单元的形式，而翻译知识都保存在模型的参数中。
 
-\parinterval 图\ref{fig:1-15}展示了一个统计机器翻译系统运行的简单实例。整个系统需要两个模型：翻译模型和语言模型。其中，翻译模型从双语平行语料中学习翻译知识，得到短语表，其中包含各种词汇的翻译及其概率，这样可以度量源语言和目标语言片段之间互为翻译的可能性大小；语言模型从单语语料中学习目标语的词序列生成规律，来衡量目标语言译文的流畅性。最后，将这两种模型联合使用，翻译引擎来搜索尽可能多的翻译结果，并计算不同翻译结果的可能性大小，最后将概率最大的译文作为最终结果输出。这个过程并没有显性使用人工翻译规则和模板，译文的生成仅仅依赖翻译模型和语言模型中的统计参数。
+\parinterval 图\ref{fig:1-15}展示了一个统计机器翻译系统运行的简单实例。整个系统需要两个模型：翻译模型和语言模型。其中，翻译模型从双语平行语料中学习翻译知识，得到短语表，短语表包含了各种词汇的翻译及其概率，这样可以度量源语言和目标语言片段之间互为翻译的可能性大小；语言模型从单语语料中学习目标语的词序列生成规律，来衡量目标语言译文的流畅性。最后，将这两种模型联合使用，通过翻译引擎来搜索尽可能多的翻译结果，并计算不同翻译结果的可能性大小，最后将概率最大的译文作为最终结果输出。这个过程并没有显性地使用人工翻译规则和模板，译文的生成仅仅依赖翻译模型和语言模型中的统计参数。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -418,9 +418,9 @@
 
 \subsection{神经机器翻译}
 
-\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\upcite{NIPS2014_5346,bahdanau2014neural}。在神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算，因此它对词序列表示的方式产生了本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由{\small\bfnew{编码器-解码器}}\index{编码器-解码器}（Encoder-Decoder）\index{Encoder-Decoder}框架实现。其中，编码器把源语言序列进行编码，并提取源语言中信息进行分布式表示，之后解码器再把这种信息转换为另一种语言的表达。
+\parinterval 随着机器学习技术的发展，基于深度学习的神经机器翻译逐渐兴起。自2014年开始，它在短短几年内已经在大部分任务上取得了明显的优势\upcite{NIPS2014_5346,bahdanau2014neural}。在神经机器翻译中，词串被表示成实数向量，即分布式向量表示。这样，翻译过程并不是在离散化的单词和短语上进行，而是在实数向量空间上计算。因此与之前的技术相比，它在词序列表示的方式上有着本质的改变。通常，机器翻译可以被看作一个序列到另一个序列的转化。在神经机器翻译中，序列到序列的转化过程可以由{\small\bfnew{编码器-解码器}}\index{编码器-解码器}（Encoder-Decoder）\index{Encoder-Decoder}框架实现。其中，编码器把源语言序列进行编码，并提取源语言中的信息进行分布式表示，之后解码器再把这种信息转换为另一种语言的表达。
 
-\parinterval 图\ref{fig:1-16}展示了一个神经机器翻译的实例。首先，通过编码器，源语言序列“我对你感到满意”经过多层神经网络编码生成一个向量表示，即图中的向量（0.2，-1，6，5，0.7，-2）。再将该向量作为输入送到解码器中，解码器把这个向量解码成目标语言序列。注意，目标语言序列的生成是逐词进行的（虽然图中展示的是解码器生成整个序列，但是在具体实现时是逐个单词生成目标语译文），产生某个词的时候依赖之前生成的目标语言的历史信息，直到产生句子结束符为止。
+\parinterval 图\ref{fig:1-16}展示了一个神经机器翻译的实例。首先，通过编码器，源语言序列“我对你感到满意”经过多层神经网络编码生成一个向量表示，即图中的向量（0.2，-1，6，5，0.7，-2）。再将该向量作为输入送到解码器中，解码器把这个向量解码成目标语言序列。注意，目标语言序列的生成是逐词进行的（虽然图中展示的是解码器一次生成了整个序列，但是在具体实现时是由左至右逐个单词地生成目标语译文），产生某个词的时候依赖之前生成的目标语言的历史信息，直到产生句子结束符为止。
 
 %----------------------------------------------
 \begin{figure}[htp]
@@ -431,7 +431,7 @@
 \end{figure}
 %-------------------------------------------
 
-\parinterval 相比统计机器翻译，神经机器翻译的优势体现在其不需要特征工程，所有信息由神经网络自动从原始输入中提取。而且，相比离散化的表示，词和句子的分布式连续空间表示可以为建模提供更为丰富的信息，同时可以使用相对成熟的基于梯度的方法优化模型。此外，神经网络的存储需求较小，天然适合小设备上的应用。但是，神经机器翻译也存在问题。
+\parinterval 与统计机器翻译相比，神经机器翻译的优势体现在其不需要特征工程，所有信息由神经网络自动从原始输入中提取。而且，相比于统计机器翻译中所使用的离散化的表示。神经机器翻译中词和句子的分布式连续空间表示可以为建模提供更为丰富的信息，同时可以使用相对成熟的基于梯度的方法优化模型。此外，神经网络的存储需求较小，天然适合小设备上的应用。当然，神经机器翻译也存在问题。
 \begin{itemize}
 \vspace{0.5em}
 \item 首先，虽然脱离了特征工程，但神经网络的结构需要人工设计，即使设计好结构，系统的调优、超参数的设置等仍然依赖大量的实验。
@@ -483,7 +483,7 @@
 }\end{table}
 %-------------------------------------------
 
-\parinterval 从现在机器翻译的研究和应用情况来看，基于统计建模的方法（统计机器翻译和神经机器翻译）是主流。这主要是由于它们的系统研发周期短，通过搜集一定量的数据即可实现快速原型。但是随着互联网等信息的不断开放，低成本的数据获取让神经机器翻译系统更快得以实现。因此最近神经机器翻译凭借其高质量的译文，受到越来越多研究人员和开发者的青睐。当然，对不同方法进行融合也是有价值的研究方向，也有很多有趣的探索，比如无指导机器翻译中还是会同时使用统计机器翻译和神经机器翻译方法，这也是一种典型的融合多种方法的思路。
+\parinterval 从现在机器翻译的研究和应用情况来看，基于统计建模的方法（统计机器翻译和神经机器翻译）是主流。这主要是由于它们的系统研发周期短，通过搜集一定量的数据即可实现快速原型。但是随着互联网等信息的不断开放，低成本的数据获取让神经机器翻译系统更快得以实现。因此最近神经机器翻译凭借其高质量的译文，受到越来越多研究人员和开发者的青睐。当然，对不同方法进行融合也是有价值的研究方向，也有很多有趣的探索，比如无指导机器翻译中会同时使用统计机器翻译和神经机器翻译方法，这也是一种典型的融合多种方法的思路。
 
 %----------------------------------------------------------------------------------------
 %    NEW SECTION
@@ -503,7 +503,7 @@
 
 \parinterval 《统计自然语言处理（第2版）》\upcite{宗成庆2013统计自然语言处理}由中国科学院自动化所宗成庆教授所著。该书中系统介绍了统计自然语言处理的基本概念、理论方法和最新研究进展，既有对基础知识和理论模型的介绍，也有对相关问题的研究背景、实现方法和技术现状的详细阐述。可供从事自然语言处理、机器翻译等研究的相关人员参考。
 
-\parinterval  Ian Goodfellow、Yoshua Bengio、Aaron Courville三位机器学习领域的学者所写的\emph{Deep Learning}\upcite{Goodfellow-et-al-2016}也是值得一读的参考书。其讲解了有关深度学习常用的方法，其中很多都会在深度学习模型设计和使用中用到。同时在该书的应用一章中也简单讲解了神经机器翻译的任务定义和发展过程。
+\parinterval  由Ian Goodfellow、Yoshua Bengio、Aaron Courville三位机器学习领域的学者所写的\emph{Deep Learning}\upcite{Goodfellow-et-al-2016}也是值得一读的参考书。其讲解了有关深度学习常用的方法，其中很多都会在深度学习模型设计和使用中用到。同时在该书的应用一章中也简单讲解了神经机器翻译的任务定义和发展过程。
 
 \parinterval $Neural\ Network\ Methods\ for\ Natural\ Language\ Processing$\upcite{goldberg2017neural}是Yoav Goldberg编写的面向自然语言处理的深度学习参考书。相比\emph{Deep Learning}，该书聚焦在自然语言处理中的深度学习方法，内容更加易读，非常适合刚入门自然语言处理及深度学习应用的人员参考。