Skip to content

T
Toy-MT-Introduction
Commit db453c38 by xiaotong
Options

updates of section 1

parent f504468e
正在显示 包含 110 行增加 和 672 行删除
Book/Chapter1/chapter1.tex
...@@ -13,7 +13,7 @@ ...@@ -13,7 +13,7 @@
\chapter{机器翻译简介} \chapter{机器翻译简介}
\section{机器翻译的概念}\index{Chapter1.1} \section{机器翻译的概念}\index{Chapter1.1}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\parinterval 广义上来讲，``翻译''是指把一个事物转化为另一个事物的过程。这个概念多使用在对符号串的转化上，比如计算机程序的编译、文字翻译、蛋白质生物合成等。在程序编译中，高级语言编写的程序经过一系列的处理后转化为可执行的目标程序，这是一种从高级程序语言到低级程序语言的``翻译''。在人类语言的翻译中，一种语言文字通过某种方式转化为另一种语言表达，这是一种自然语言的``翻译''。在蛋白质生成合成的第一步，RNA分子序列转化为特定的氨基酸序列，这是一种生物学遗传信息的``翻译''。甚至说，给上联对出下联、给一幅图片写出图片的主题等都可以被看作是``翻译''的过程。 \parinterval 广义上来讲，``翻译''是指把一个事物转化为另一个事物的过程。这个概念多使用在对序列的转化上，比如计算机程序的编译、自然语言文字翻译、蛋白质生物合成等。在程序编译中，高级语言编写的程序经过一系列的处理后转化为可执行的目标程序，这是一种从高级程序语言到低级程序语言的``翻译''。在人类语言的翻译中，一种语言文字通过人脑转化为另一种语言表达，这是一种自然语言的``翻译''。在蛋白质生成合成的第一步，RNA分子序列转化为特定的氨基酸序列，这是一种生物学遗传信息的``翻译''。甚至说，给上联对出下联、给一幅图片写出图片的主题等都可以被看作是``翻译''的过程。
\vspace{0.5em} \vspace{0.5em}
%---------------------------------------------- %----------------------------------------------
% 图1.1 % 图1.1
...@@ -25,29 +25,29 @@ ...@@ -25,29 +25,29 @@
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
\parinterval 这里我们更加关注人类语言之间的翻译问题，即自然语言的翻译。如图\ref{fig:zh_en-example}所示，通过计算机可以将一段中文文字自动转化为英文文字，其中中文被称为{\small\sffamily\bfseries{源语言}}（Source Language），英文被称为{\small\sffamily\bfseries{目标语言}}（Target Language）。 \parinterval 这里我们更加关注人类语言之间的翻译问题，即自然语言的翻译。如图\ref{fig:zh_en-example}所示，通过计算机可以将一段中文文字自动转化为英文文字，其中中文被称为{\small\bfnew{源语言}}（Source Language），英文被称为{\small\bfnew{目标语言}}（Target Language）。
\parinterval 一直以来，自然语言文字的翻译往往是由人工完成。让计算机像人一样进行翻译似乎还是电影中的桥段，因为很难想象人类语言的多样性和复杂性可以用计算机语言进行描述。但是时至今日，人工智能技术的发展已经大大超越了人类传统的认知，用计算机进行自动翻译也不再是一种想象，它已经深入到人们生活的很多方面，并发挥着重要作用。而这种由计算机进行自动翻译的过程也被称作机器翻译，类似的，自动翻译、智能翻译、多语言自动转换等概念也是指同样的事情。如果将今天的机器翻译和人工翻译进行对比，可以发现机器翻译系统所生成的译文还并不完美，有时翻译质量甚至非常差，但是其优点在于速度快并且成本低，更为重要的是机器翻译系统可以从大量数据中不断学习和进化，随着学习其翻译质量不断得到提升。人工翻译尽管翻译的精度很高，但是费时费力。当需要翻译大量的文本且精度要求不那么高时，比如海量数据的浏览型任务，机器翻译的优势就体现了出来。对于人工作业无法完成的事情，使用机器翻译可能只需花几个小时甚至几分钟就能完成。这就类似于拿着锄头耕地种庄稼和使用现代化机器作业。 \parinterval 一直以来，自然语言文字的翻译往往是由人工完成。让计算机像人一样进行翻译似乎还是电影中的桥段，因为很难想象人类语言的多样性和复杂性可以用计算机语言进行描述。但是时至今日，人工智能技术的发展已经大大超越了人类传统的认知，用计算机进行自动翻译也不再是一种想象，它已经深入到人们生活的很多方面，并发挥着重要作用。而这种由计算机进行自动翻译的过程也被称作{\small\bfnew{机器翻译}}（Machine Translation）。类似的，自动翻译、智能翻译、多语言自动转换等概念也是指同样的事情。如果将今天的机器翻译和人工翻译进行对比，可以发现机器翻译系统所生成的译文还并不完美，甚至有时翻译质量非常差。但是其优点在于速度快并且成本低，更为重要的是机器翻译系统可以从大量数据中不断学习和进化。人工翻译尽管精度很高，但是费时费力。当需要翻译大量的文本且精度要求不那么高时，比如海量数据的浏览型任务，机器翻译的优势就体现了出来。对于人工作业无法完成的事情，使用机器翻译可能只需花几个小时甚至几分钟就能完成。这就类似于拿着锄头耕地种庄稼和使用现代化机器作业之间的区别。
\parinterval 实现机器翻译往往需要多个学科知识的融合，如数学、语言学、计算机科学、心理学等等。而最终呈现给我们的是一套软件系统– 即机器翻译系统。通俗来讲，机器翻译系统就是一个可以在计算机上运行的软件工具，与我们使用的其它软件一样。只不过机器翻译系统是由``不可见的程序''组成，虽然这个系统非常复杂，但是呈现出来的展示形式却很简单，比如输入是待翻译的句子或文本，输出是译文句子或文本。 \parinterval 实现机器翻译往往需要多个学科知识的融合，如数学、语言学、计算机科学、心理学等等。而最终呈现给我们的是一套软件系统\ ——\ 即机器翻译系统。通俗来讲，机器翻译系统就是一个可以在计算机上运行的软件工具，与我们使用的其它软件一样。只不过机器翻译系统是由``不可见的程序''组成，虽然这个系统非常复杂，但是呈现出来的展示形式却很简单，比如输入是待翻译的句子或文本，输出是译文句子或文本。
%---------------------------------------------- %----------------------------------------------
% 图1.2 % 图1.2
\begin{figure}[htp] \begin{figure}[htp]
\centering \centering
\input{./Chapter1/Figures/figure-Required-parts-of-MT} \input{./Chapter1/Figures/figure-Required-parts-of-MT}
\caption{机器翻译的所需部分} \caption{机器翻译系统的组成}
\label{fig:Required-parts-of-MT} \label{fig:Required-parts-of-MT}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
\parinterval 虽然机器翻译的想法可以追溯到电子计算机产生之前，发展过程中也经历了多个范式的变迁，现代机器翻译系统大多是使用的是基于数据驱动的方法– 即从数据中自动学习翻译知识，并运用这些知识对新的文本进行翻译。如图\ref{fig:Required-parts-of-MT}所示，这类系统通常由两部分组成： \parinterval 虽然机器翻译的想法可以追溯到电子计算机产生之前，发展过程中也经历了多个范式的变迁，现代机器翻译系统大多是基于数据驱动的方法\ ——\ 即从数据中自动学习翻译知识，并运用这些知识对新的文本进行翻译。如图\ref{fig:Required-parts-of-MT}所示，机器翻译系统通常由两部分组成：
\vspace{0.5em} \vspace{0.5em}
\begin{itemize} \begin{itemize}
\item 资源：如果把机器翻译系统比作一辆汽车，资源好比是可以使汽车运行的``汽油''，它包括很多内容，如翻译规则、双（单）语数据、知识库等等翻译知识，且这些``知识''都是计算机可读的。值得一提的是：如果没有翻译资源的支持，任何的机器翻译系统都无法运行起来。 \item {\small\bfnew{资源}}：如果把机器翻译系统比作一辆汽车，资源好比是可以使汽车运行的``汽油''，它包括很多内容，如翻译规则、双（单）语数据、知识库等等翻译知识，且这些``知识''都是计算机可读的。值得一提的是,如果没有翻译资源的支持，任何的机器翻译系统都无法运行起来。
\vspace{0.5em} \vspace{0.5em}
\item 系统：机器翻译算法的程序实现被称作系统，也就是开发的软件。无论是翻译规则、翻译模板，还是统计模型中的参数都需要通过机器翻译系统进行读取和使用。 \item {\small\bfnew{系统}}：机器翻译算法的程序实现被称作系统，也就是机器翻译研究人员开发的软件。无论是翻译规则、翻译模板，还是统计模型中的参数都需要通过机器翻译系统进行读取和使用。
\end{itemize} \end{itemize}
\vspace{0.5em} \vspace{0.5em}
...@@ -55,23 +55,25 @@ ...@@ -55,23 +55,25 @@
\vspace{0.5em} \vspace{0.5em}
\begin{itemize} \begin{itemize}
\item 自然语言翻译问题的复杂性极高。语言是人类进化的最高成就之一，自然语言具有高度的概括性、灵活性、丰富性，这些都很难用几个简单的模型和算法描述出来，因此翻译问题的数学建模和计算机程序实现难度很大。虽然近几年Alpha Go等人工智能系统在围棋等领域取得了令人瞩目的成绩，但是相比翻译来说，围棋等棋类任务仍然``简单''，比如，对于一个句子，其潜在的译文几乎是不可穷尽的，即使同一句话不同人的理解也不尽相同，甚至在翻译一个句子、一个单词的时候，要考虑整个篇章的上下文语境，这些问题都不是传统棋类任务所具备的。 \item {\small\bfnew{自然语言翻译问题的复杂性极高}}。语言是人类进化的最高成就之一，自然语言具有高度的概括性、灵活性、多样性，这些都很难用几个简单的模型和算法进行描述，因此翻译问题的数学建模和计算机程序实现难度很大。虽然近几年Alpha Go等人工智能系统在围棋等领域取得了令人瞩目的成绩，但是相比翻译来说，围棋等棋类任务仍然``简单''，比如，对于一个句子，其潜在的译文几乎是不可穷尽的，即使同一句话不同人的理解也不尽相同，甚至在翻译一个句子、一个单词的时候，要考虑整个篇章的上下文语境，这些问题都不是传统棋类任务所具备的。
\vspace{0.5em} \vspace{0.5em}
\item 计算机的``理解''与人类的``理解''存在鸿沟。人类一直希望把自己进行翻译所使用的知识描述出来，并用计算机程序进行实现，包括早期基于规则的机器翻译方法都源自这个思想。但是经过实践发现，人和计算机在``理解''自然语言上存在着鸿沟。首先，人类的语言能力是经过长时间多种外部环境因素共同刺激形成的，这种能力很难直接准确表达。也就是说人类的语言知识本身就很难描述，更不用说让计算机来理解；其次，人和机器翻译系统理解语言的目标不一样。人理解和使用语言是为了进行生活和工作，目标非常复杂，而机器翻译系统更多的是为了对某些数学上定义的目标函数进行优化。也就是说，机器翻译系统关注的是翻译这个单一目标，而并不是像人一样进行复杂的活动；此外，人和计算机的运行方式有着本质区别。人类语言能力的生物学机理与机器翻译系统所使用的计算模型本质上是不同的，机器翻译系统使用的是其自身能够理解的``知识''，比如，统计学上的词语表示。这种知识并不需要人来理解，当然计算机也并不必须要理解人是如何思考的。 \item {\small\bfnew{计算机的``理解''与人类的``理解''存在鸿沟}}。人类一直希望把自己进行翻译所使用的知识描述出来，并用计算机程序进行实现，包括早期基于规则的机器翻译方法都源自这个思想。但是经过实践发现，人和计算机在``理解''自然语言上存在着明显差异。首先，人类的语言能力是经过长时间多种外部环境因素共同刺激形成的，这种能力很难直接准确表达。也就是说人类的语言知识本身就很难描述，更不用说让计算机来理解；其次，人和机器翻译系统理解语言的目标不一样。人理解和使用语言是为了进行生活和工作，目标非常复杂，而机器翻译系统更多的是为了对某些数学上定义的目标函数进行优化。也就是说，机器翻译系统关注的是翻译这个单一目标，而并不是像人一样进行复杂的活动；此外，人和计算机的运行方式有着本质区别。人类语言能力的生物学机理与机器翻译系统所使用的计算模型本质上是不同的，机器翻译系统使用的是其自身能够理解的``知识''，比如，统计学上的词语表示。这种知识并不需要人来理解，当然从系统开发的角度，计算机也并不需要理解人是如何思考的。
\vspace{0.5em} \vspace{0.5em}
\item 单一的方法无法解决多样的翻译问题。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务。比如，世界上存在的语言不下几千种，如果任意两种语言进行互译就有上百万种翻译需求。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是离真正可用还有相当的距离；此外，不同的领域，不同的应用场景对翻译也有不同的需求。比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译需要适用多样的需求，这些又进一步增加了对翻译进行计算机建模的难度；还有，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有数据量有明显差异，甚至很多语种几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。注意，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给我们提出了很大挑战。 \item {\small\bfnew{单一的方法无法解决多样的翻译问题}}。首先，语种的多样性会导致任意两种语言之间的翻译实际上都是不同的翻译任务。比如，世界上存在的语言不下几千种，如果任意两种语言进行互译就有上百万种翻译需求。虽然已经有研究者尝试用同一个框架甚至同一个翻译系统进行全语种的翻译，但是离真正可用还有相当的距离；此外，不同的领域，不同的应用场景对翻译也有不同的需求。比如，文学作品的翻译和新闻的翻译就有不同、口译和笔译也有不同，类似的情况不胜枚举。机器翻译需要适用多样的需求，这些又进一步增加了计算机建模的难度；还有，对于机器翻译来说，充足的高质量数据是必要的，但是不同语种、不同领域、不同应用场景所拥有的数据量有明显差异，甚至很多语种几乎没有可用的数据，这时开发机器翻译系统的难度可想而知。注意，现在的机器翻译还无法像人类一样在学习少量样例的情况下进行举一反三，因此数据稀缺情况下的机器翻译也给我们提出了很大挑战。
\end{itemize} \end{itemize}
\vspace{0.5em} \vspace{0.5em}
\parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现终极人工智能的标志。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果有机会了解十年之前机器翻译的结果，再对比今天的结果，一定会发现翻译品质已经今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多的得益于基于数据驱动方法和统计建模方法的使用，特别是近些年深度学习等基于表示学习的端到端方法，使得机器翻译的水平达到了新的高度。因此，本书将会对当代基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些内容可以对相关内容的学习和科研工作提供参考。 \parinterval 显然，实现机器翻译并不简单，甚至有人把机器翻译看作是实现人工智能的终极目标。幸运的是，今天的机器翻译无论从技术方法上还是从应用上都有了巨大的飞跃，很多问题在不断被求解。如果有机会看到过十年之前机器翻译的结果，再对比今天的结果，一定会发现翻译品质已经今非昔比，很多译文已经非常准确且流畅。从当今机器翻译的前沿技术看，近三十年机器翻译的进步更多的得益于基于数据驱动方法和统计建模方法的使用。特别是，近些年深度学习等基于表示学习的端到端方法使得机器翻译的水平达到了新的高度。因此，本书将会对当代基于统计建模和深度学习方法的机器翻译模型、方法和系统实现进行全面介绍和分析，希望这些内容可以对相关内容的学习和科研工作提供参考。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{机器翻译简史}\index{Chapter1.2} \section{机器翻译简史}\index{Chapter1.2}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\parinterval 虽然翻译这个概念在人类历史中已经存在了上千年，机器翻译至今只有七十余年的历史。纵观机器翻译的发展，历程曲折又耐人寻味，可以说了解机器翻译的历史对我们深入理解相关技术方法进行很好的启发，甚至对我们了解自然语言处理的发展也有启示作用。
\parinterval (一) 人工翻译%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% \parinterval 虽然翻译这个概念在人类历史中已经存在了上千年，机器翻译至今只有七十余年的历史。纵观机器翻译的发展，历程曲折又耐人寻味，可以说了解机器翻译的历史对我们深入理解相关技术方法会有很好的启发，甚至对我们了解整个自然语言处理领域的发展也有启示作用。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{人工翻译}
\parinterval 人类形成语言文字的过程中逐渐形成了翻译的概念。一个著名的标志性证据是罗塞塔石碑（Rosetta Stone），如图\ref{fig:rosetta-stone}所示。这个石碑制作于公元前196年，据说是能够考证出来的最久远的记载平行文字的历史遗迹。石碑由上至下共刻有同一段埃及国王诏书的三种语言版本，最上面是古埃及象形文，中间是埃及草书，再下面是古希腊文。可以明显看出这个石碑上中下雕刻的文字的纹理是不同的。尽管用不同的语言文字描述同一件事在今天看来很常见，但是这在生产力低下的两千年前是很罕见的。所以认为罗塞塔石碑是标志翻译或人工翻译的一个起点或者标志性的事件。目前这个石碑保存于大英博物馆，并成为了该馆最具代表性的镇馆之宝之一。 \parinterval 人类形成语言文字的过程中逐渐形成了翻译的概念。一个著名的标志性证据是罗塞塔石碑（Rosetta Stone），如图\ref{fig:rosetta-stone}所示。这个石碑制作于公元前196年，据说是能够考证出来的最久远的记载平行文字的历史遗迹。石碑由上至下共刻有同一段埃及国王诏书的三种语言版本，最上面是古埃及象形文，中间是埃及草书，再下面是古希腊文。可以明显看出这个石碑上中下雕刻的文字的纹理是不同的。尽管用不同的语言文字描述同一件事在今天看来很常见，但是这在生产力低下的两千年前是很罕见的。很多人认为罗塞塔石碑是标志翻译或人工翻译的一个起点。目前这个石碑保存于大英博物馆，并成为了该馆最具代表性的镇馆之宝之一。
%---------------------------------------------- %----------------------------------------------
% 图1.3 % 图1.3
...@@ -83,11 +85,12 @@ ...@@ -83,11 +85,12 @@
\end{figure} \end{figure}
%------------------------------------------ %------------------------------------------
\parinterval 但是翻译本身并不是来源于罗塞塔石碑。后来的翻译工作更多的是在文献传播中被大家接受。其中一个典型代表是宗教文献的翻译。在人类的历史长河中，宗教是人类意识形态的一个重要载体。为了宣传教义，产生了大量的宗教文献。在西方，一项最早被记录的翻译活动是将旧约圣经（希伯来文及埃兰文）翻译为希腊文版本。并且迄今为止人类历史上翻译版本最多的书就是圣经。在中国唐代，一个著名的人物是玄奘，他不仅是佛学家、旅行家，还是翻译家。玄奘西行求法归来后把全部的心血和智慧奉献给了译经事业，在助手们的帮助下，共翻译佛教经论74部，1335卷，每卷万字左右，合计1335万字，占去整个唐代译经总数的一半以上，是翻译史上的杰出典范。 \parinterval 随后，更多的翻译工作是在文化和知识传播中开展。其中一个典型代表是宗教文献的翻译。在人类的历史长河中，宗教是人类意识形态的一个重要载体。为了宣传教义，产生了大量的宗教文献。在西方，一项最早被记录的翻译活动是将旧约圣经（希伯来文及埃兰文）翻译为希腊文版本。并且迄今为止人类历史上翻译版本最多的书就是圣经。在中国唐代，一个著名的人物是玄奘，他不仅是佛学家、旅行家，还是翻译家。玄奘西行求法归来后把全部的心血和智慧奉献给了译经事业，在助手们的帮助下，共翻译佛教经论74部，1335卷，每卷万字左右，合计1335万字，占去整个唐代译经总数的一半以上，是翻译史上的杰出典范。
\parinterval 翻译在人类历史长河中起到了重要的作用。一方面，语言文字、文化和地理位置的差异性，使得翻译成为一个重要的需求；另一方面，翻译也加速了不同文明的融会贯通，促进了世界的发展。今天，翻译已经成为重要的行业之一，包括各个高校也都设立了翻译及相关专业，相关人才不断涌现。据《2019年中国语言服务行业发展报告》统计：全球语言服务产值预计将首次接近500亿美元；中国含有语言服务的在营企业369,935家，语言服务为主营业务的在营企业9734家，总产值为372.2亿元，年增长3.6\%；九成半的语言服务提供方对本年度语言服务产值持乐观态度；全国开设外语类专业的高校数量多达上千所；日语、德语、朝鲜语在非通用语种中招生规模最多，其他非通用语种招生规模总计不到两成；全国设立有翻译硕士（MTI）和翻译本科（BTI）专业的院校分别有253所和281所，MTI累计招生数达6万余人。当然，面对着巨大的需求，如何使用技术手段提高人工翻译效率，比如：机器辅助翻译，也是人工翻译和机器翻译领域需要共同探索的方向。 \parinterval 翻译在人类历史长河中起到了重要的作用。一方面，语言文字、文化和地理位置的差异性，使得翻译成为一个重要的需求；另一方面，翻译也加速了不同文明的融会贯通，促进了世界的发展。今天，翻译已经成为重要的行业之一，包括各个高校也都设立了翻译及相关专业，相关人才不断涌现。据《2019年中国语言服务行业发展报告》统计：全球语言服务产值预计将首次接近500亿美元；中国涉及语言服务的在营企业360,000余家，语言服务为主营业务的在营企业近万家，总产值超过300亿元，年增长3\%以上；全国开设外语类专业的高校数量多达上千所，其中设立有翻译硕士（MTI）和翻译本科（BTI）专业的院校分别有250余所和280余所，MTI累计招生数达6万余人。当然，面对着巨大的需求，如何使用技术手段提高人工翻译效率，比如：机器辅助翻译，也是人工翻译和机器翻译领域需要共同探索的方向。
\parinterval (二) 机器翻译的萌芽%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{机器翻译的萌芽}
\parinterval 人工翻译已经存在了上千年，而机器翻译又起源于什么时候呢？机器翻译的兴起与发展可以说充满了跌宕起伏，整个发展史可以分为萌芽期、受挫期、快速成长期和爆发期。 \parinterval 人工翻译已经存在了上千年，而机器翻译又起源于什么时候呢？机器翻译的兴起与发展可以说充满了跌宕起伏，整个发展史可以分为萌芽期、受挫期、快速成长期和爆发期。
...@@ -96,14 +99,15 @@ ...@@ -96,14 +99,15 @@
\begin{figure}[htp] \begin{figure}[htp]
\centering \centering
\includegraphics[scale=0.25]{./Chapter1/Figures/figure-eniac.jpg} \includegraphics[scale=0.25]{./Chapter1/Figures/figure-eniac.jpg}
\caption{世界上公认的第一台通用电子数字计算机``埃尼阿克''（ENIAC）}%\\【图片来源：百度百科】 \caption{世界上第一台通用电子数字计算机``埃尼阿克''（ENIAC）}%\\【图片来源：百度百科】
\label{fig:eniac} \label{fig:eniac}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
\parinterval 世界上第一台通用电子数字计算机在1946年研制成功（图\ref{fig:eniac}）。但在上世纪30年代使用计算模型进行自动翻译的思想就开始萌芽，当时法国科学家G.B. Artsouni提出了用机器来进行翻译的想法。在那个时代，第二次世界大战使得数学和密码学相当发达。由于战争的需要，消息传递变的更为隐秘，对文字进行加密和解密成为重要的军事需求。因此有人提出是否能用密码学的技术或方法解决人类语言的翻译，比如把汉语看成英语的一个加密文本，汉语翻译成英语就类似于解密的过程。当然这只是最初的想法。第一次提出机器翻译这个概念是在1949年，当时W. Weaver撰写了一篇名为《翻译》的备忘录，正式开创了机器翻译（MachineTranslation）的概念，这个概念一直沿用至今。当然，在那个年代进行机器翻译研究的很多条件还不具备，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过这些早期的探索为后来机器翻译的发展提供了思想火种。 \parinterval 世界上第一台通用电子数字计算机在1946年研制成功（图\ref{fig:eniac}）。但在上世纪30年代使用计算模型进行自动翻译的思想就开始萌芽，当时法国科学家G.B. Artsouni提出了用机器来进行翻译的想法。在那个时代，第二次世界大战使得数学和密码学相当发达。由于战争的需要，消息传递变的更为隐秘，对文字进行加密和解密成为重要的军事需求。因此有人提出是否能用密码学的技术或方法解决人类语言的翻译，比如把汉语看成英语的一个加密文本，汉语翻译成英语就类似于解密的过程。当然这只是最初的想法。第一次提出机器翻译这个概念是在1949年，当时W. Weaver撰写了一篇名为《翻译》的备忘录，正式开创了机器翻译（MachineTranslation）的概念，这个概念一直沿用至今。当然，在那个年代进行机器翻译研究的很多条件还不具备，包括使用加密解密技术进行自动翻译的很多尝试很快也被验证是不可行的。不过这些早期的探索为后来机器翻译的发展提供了思想的火种。
\parinterval (三) 机器翻译的受挫%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{机器翻译的受挫}
\parinterval 随着电子计算机的发展，研究者开始尝试使用计算机来进行自动的翻译。但是事情并不总是一帆风顺，怀疑论者对机器翻译一直存有质疑，并很容易找出一些机器翻译无法解决的问题。自然地，人们也期望能够客观地评估一下机器翻译的可行性。当时美国基金资助组织委任自动语言处理咨询会承担了这项任务。经过近两年的调查与分析，该委员会于1966年11月公布了一个题为《语言与机器》的报告（图\ref{fig:report}），简称ALPAC报告。该报告全面否定了机器翻译的可行性，为机器翻译的研究泼了一盆冷水。随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界对机器翻译都开始回避。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受``待见''，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望过高。最后发现，当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静的思考机器翻译的发展方向，为后来的爆发蓄力。 \parinterval 随着电子计算机的发展，研究者开始尝试使用计算机来进行自动的翻译。但是事情并不总是一帆风顺，怀疑论者对机器翻译一直存有质疑，并很容易找出一些机器翻译无法解决的问题。自然地，人们也期望能够客观地评估一下机器翻译的可行性。当时美国基金资助组织委任自动语言处理咨询会承担了这项任务。经过近两年的调查与分析，该委员会于1966年11月公布了一个题为《语言与机器》的报告（图\ref{fig:report}），简称ALPAC报告。该报告全面否定了机器翻译的可行性，为机器翻译的研究泼了一盆冷水。随后美国政府终止了对机器翻译研究的支持，这导致整个产业界和学术界对机器翻译都开始回避。大家觉得机器翻译像伪科学，无论是发表论文还是申请项目都很难得到支持。没有了政府的支持，企业也无法进行大规模投入，机器翻译的研究就此受挫。从历史上看，包括机器翻译在内很多人工智能领域在那个年代并不受``待见''，其主要原因在于当时的技术水平还比较低，而大家又对机器翻译等技术的期望过高。最后发现，当时的机器翻译水平无法满足实际需要，因此转而排斥它。但是，也正是这一盆冷水，让人们可以更加冷静的思考机器翻译的发展方向，为后来的爆发蓄力。
...@@ -117,23 +121,31 @@ ...@@ -117,23 +121,31 @@
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
\parinterval (四) 机器翻译的快速成长%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{机器翻译的快速成长}
\parinterval 事物发展都是螺旋式上升的，机器翻译也是一样。上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。其中，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多。这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法 -数据驱动的方法。这类方法也成为了随后出现的统计机器翻译的基础。传统的机器翻译方法，都需要人来书写规则，虽然对少部分句子具有较高的翻译精度，但这类方法对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。而基于数据驱动的方法不依赖于人写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如基于实例的方法和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。从上世纪90年代到本世纪初，统计机器翻译发展迅猛，很快成为了当时机器翻译研究与应用的代表性方法。一个最具标志性的事件是2005年谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种``高大上''的技术快速进入人们的生活，而不再是束之高阁的科研想法。也正是机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来进一步促进了机器翻译的研究进程。比如，在2005-2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。 \parinterval 事物发展都是螺旋式上升的，机器翻译也是一样。上世纪70年代中后期，特别是80年代到90年代初，国家之间往来日益密切，而不同语言之间形成的交流障碍愈发严重，传统的人工作业方式已经远远不能满足需求。与此同时，语料库语言学的发展也为机器翻译提供了新的思路。其中，随着传统纸质文字资料不断电子化，计算机可读的语料越来越多。这使得人们可以用计算机对语言规律进行统计分析。另一方面，随着可用数据越来越多，用数学模型描述这些数据中的规律并进行推理逐渐成为可能。这也衍生出一类数学建模方法\ ——\ {\small\bfnew{数据驱动}}（Data-Driven）的方法。这类方法也成为了随后出现的统计机器翻译的基础。
\parinterval (五) 机器翻译的爆发%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% 传统的机器翻译方法，都需要人来书写规则，虽然对少部分句子具有较高的翻译精度，但这类方法对翻译现象的覆盖度有限，而且对规则或者模板中的噪声非常敏感，系统健壮性差。而基于数据驱动的方法不依赖于人写的规则，机器翻译的建模、训练和推断都可以自动地从数据中学习。这使得整个机器翻译的范式发生了翻天覆地的变化，比如基于实例的方法和统计机器翻译就是在此期间兴起的。此外，这样的方法使得机器翻译系统的开发代价大大地降低。从上世纪90年代到本世纪初，统计机器翻译发展迅猛，很快成为了当时机器翻译研究与应用的代表性方法。一个标志性的事件是谷歌推出了一个在线的免费自动翻译服务，也就是大家熟知的谷歌翻译。这使得机器翻译这种``高大上''的技术快速进入人们的生活，而不再是束之高阁的科研想法。也正是机器翻译不断走向实用，机器翻译的应用也越来越多，这反过来进一步促进了机器翻译的研究进程。比如，在2005-2015年间，统计机器翻译这个主题几乎统治了ACL等自然语言处理相关方向顶级会议的论文，可见其在当时的影响力。
\parinterval 2005年以后迎来了统计机器翻译发展的十年黄金时期，各种基于统计机器翻译模型层出不穷，经典的基于短语的和基于句法的模型也先后被提出。但是在2013年以后，机器学习的进步带来了机器翻译技术进一步爆发。特别是，基于神经网络的深度学习方法在机器视觉、语音识别中被成功应用，带来性能的飞跃式提升。很快，相关模型和方法也被用于机器翻译。对于机器翻译来说，深度学习的成功也是一种必然，原因如下： %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\subsection{机器翻译的爆发}
\parinterval 第一、端到端学习不依赖于过多的先验假设。在统计机器翻译时代，模型设计或多或少会对翻译的过程进行假设，称为隐藏结构假设。比如短语统计机器翻译模型假设：源语言和目标语言都会被切分成短语序列，这些短语之间存在某种对齐关系。这种假设既有优点也有缺点。一方面，假设可以有助于模型融入人类的先验知识，包括短语这个概念也是借鉴了语言学相关的概念；另一方面，假设越多模型受到的限制也越多。如果假设是正确的，模型可以很好的描述问题。但如果假设错误或者存在偏差，那么模型就可能产生偏差。深度学习不依赖于先验知识，也不需要手工设计特征，模型直接从输入和输出的映射上进行学习（端到端学习），这样也在一定程度上避免了隐藏结构假设造成的偏差。 \parinterval 2005年以后迎来了统计机器翻译发展的十年黄金时期，各种基于统计机器翻译模型层出不穷，经典的基于短语的模型和基于句法的模型也先后被提出。但是在2013年以后，机器学习的进步带来了机器翻译技术进一步爆发。特别是，基于神经网络的深度学习方法在机器视觉、语音识别中被成功应用，带来性能的飞跃式提升。很快，相关模型和方法也被用于机器翻译。对于机器翻译来说，深度学习的成功也是一种必然，原因如下：
\parinterval 第二、神经网络的连续空间模型有更强的表示能力。机器翻译中的一个基本问题是：如何表示一个句子？统计机器翻译把句子的生成过程看作是短语或者规则的推导，这本质上是一个离散空间上的符号系统。深度学习把传统的基于离散化的表示变成了连续空间的表示。比如，用实数空间的分布式表示代替了离散化的词语表示，而整个句子可以被描述为一个实数向量。这使得翻译问题可以在连续空间上描述，进而可以大大缓解传统离散空间模型维度灾难等问题。更重要的是，连续空间模型可以用梯度下降等方法进行优化，具有很好的数学性质并且易于实现。 \begin{itemize}
\item 第一、端到端学习不依赖于过多的先验假设。在统计机器翻译时代，模型设计或多或少会对翻译的过程进行假设，称为隐藏结构假设。比如基于短语的模型假设：源语言和目标语言都会被切分成短语序列，这些短语之间存在某种对齐关系。这种假设既有优点也有缺点。一方面，假设可以有助于模型融入人类的先验知识，包括短语本身也借鉴了语言学相关的概念；另一方面，假设越多模型受到的限制也越多。如果假设是正确的，模型可以很好的描述问题。但如果假设错误，那么模型就可能产生偏差。深度学习不依赖于先验知识，也不需要手工设计特征，模型直接从输入和输出的映射上进行学习（端到端学习），这样也在一定程度上避免了隐藏结构假设造成的偏差。
\item 第二、神经网络的连续空间模型有更强的表示能力。机器翻译中的一个基本问题是：如何表示一个句子？统计机器翻译把句子的生成过程看作是短语或者规则的推导，这本质上是一个离散空间上的符号系统。深度学习把传统的基于离散化的表示变成了连续空间的表示。比如，用实数空间的分布式表示代替了离散化的词语表示，而整个句子可以被描述为一个实数向量。这使得翻译问题可以在连续空间上描述，进而可以大大缓解传统离散空间模型维度灾难等问题。更重要的是，连续空间模型可以用梯度下降等方法进行优化，具有很好的数学性质并且易于实现。
\parinterval 第三、深度网络学习算法的发展和GPU等并行计算模型为训练神经网络提供了可能。早期的基于神经网络的方法一直没有在机器翻译甚至自然语言处理领域得到大规模应用，其中一个重要的原因是这类方法需要大量的浮点运算，但是以前计算机的计算能力无法支撑这个要求。随着GPU等并行计算设备的进步，训练大规模神经网络也变为了可能。现在已经可以在几亿、几十亿，甚至上百亿句对上训练机器翻译系统，系统研发的周期越来越短，进展日新月异。 \item 第三、深度网络学习算法的发展和GPU（Graphics Processing Unit）等并行计算设备为训练神经网络提供了可能。早期的基于神经网络的方法一直没有在机器翻译甚至自然语言处理领域得到大规模应用，其中一个重要的原因是这类方法需要大量的浮点运算，但是以前计算机的计算能力无法支撑这个要求。随着GPU等并行计算设备的进步，训练大规模神经网络也变为了可能。现在已经可以在几亿、几十亿，甚至上百亿句对上训练机器翻译系统，系统研发的周期越来越短，进展日新月异。
\end{itemize}
\parinterval 今天，神经机器翻译已经成为新的范式，大有全面替代统计机器翻译之势。比如，从世界上著名的机器翻译比赛WMT和CCMT中就可以看出这个趋势。如图\ref{fig:wmt}所示，其中左图是WMT19全球机器翻译比赛的参赛队伍的截图，图中的队伍基本全是使用深度学习完成机器翻译的建模的。而在WMT19各个项目夺冠系统中（\ref{fig:wmt}右图），神经机器翻译也几乎一统天下。 \parinterval 今天，神经机器翻译已经成为新的范式，大有全面替代统计机器翻译之势。比如，从世界上著名的机器翻译比赛WMT和CCMT中就可以看出这个趋势。如图\ref{fig:wmt}所示，其中左图是WMT19全球机器翻译比赛的参赛队伍的截图，图中的队伍基本全是使用深度学习完成机器翻译的建模的。而在WMT19各个项目夺冠系统中（\ref{fig:wmt}右图），神经机器翻译也几乎一统天下。
\parinterval 值得一提的是近些年神经机器翻译的快速发展也得益于产业界的关注。各大互联网企业和机器翻译技术研发机构都对神经机器翻译的模型和实践方法给予了很大贡献。比如，除了谷歌，微软、百度、搜狗、腾讯、阿里、有道、小牛翻译等企业凭借自身人才和基础设施方面的优势，先后推出了以神经机器翻译为内核的产品及服务，相关技术方法已经在大规模应用中得到验证，大大推动了机器翻译的产业化进程，而且这种趋势在不断加强，机器翻译的前景也更加宽广。 \parinterval 值得一提的是近些年神经机器翻译的快速发展也得益于产业界的关注。各大互联网企业和机器翻译技术研发机构都对神经机器翻译的模型和实践方法给予了很大贡献。比如，谷歌，微软、百度、搜狗、腾讯、阿里、有道、小牛翻译等企业凭借自身人才和基础设施方面的优势，先后推出了以神经机器翻译为内核的产品及服务，相关技术方法已经在大规模应用中得到验证，大大推动了机器翻译的产业化进程，而且这种趋势在不断加强，机器翻译的前景也更加宽广。
%---------------------------------------------- %----------------------------------------------
% 图1.6 % 图1.6
\begin{figure}[htp] \begin{figure}[htp]
...@@ -144,12 +156,13 @@ ...@@ -144,12 +156,13 @@
\caption{国际机器翻译大赛(左：WMT19参赛队伍；右：WMT19最终个项目最好分数结果)} \caption{国际机器翻译大赛(左：WMT19参赛队伍；右：WMT19最终个项目最好分数结果)}
\label{fig:wmt} \label{fig:wmt}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
\section{机器翻译现状}\index{Chapter1.3} \section{机器翻译现状}\index{Chapter1.3}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%% %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\parinterval 机器翻译技术发展到今天已经经过无数次迭代，技术范式也经过若干次更替，近些年机器翻译的应用也如雨后春笋。但是大家都很好奇今天的机器翻译的质量究竟如何呢？乐观地说，在受限条件下，机器翻译的译文结果还是非常不错的，甚至可以接近人工翻译的结果。然而在开放式翻译任务中，机器翻译的结果却并不理想。更严格来说，机器翻译的质量远没有达到人们所期望的完美的程度。对于有些人提到的``机器翻译代替人工翻译''也并不是事实。比如，在高精度同声传译任务中，机器翻译仍需要更多打磨；再比如，针对于小说的翻译，机器翻译还无法做到与人工翻译媲美；甚至有人尝试用机器翻译系统翻译中国古代诗词，这里更多的是娱乐的味道。但是毫无疑问的是，机器翻译可以帮助，甚至有朝一日可以代替一些低端的人工翻译工作。 \parinterval 机器翻译技术发展到今天已经经过无数次迭代，技术范式也经过若干次更替，近些年机器翻译的应用也如雨后春笋。但是大家都很好奇今天的机器翻译的质量究竟如何呢？乐观地说，在受限条件下，机器翻译的译文结果还是非常不错的，甚至可以接近人工翻译的结果。然而在开放式翻译任务中，机器翻译的结果却并不理想。更严格来说，机器翻译的质量远没有达到人们所期望的完美的程度。对于有些人提到的``机器翻译代替人工翻译''也并不是事实。比如，在高精度同声传译任务中，机器翻译仍需要更多打磨；再比如，针对于小说的翻译，机器翻译还无法做到与人工翻译媲美；甚至有人尝试用机器翻译系统翻译中国古代诗词，这里更多的是娱乐的味道。但是毫无疑问的是，机器翻译可以帮助人类，甚至有朝一日可以代替一些低端的人工翻译工作。
\parinterval 图\ref{fig:results-zh-to-en news-field-translation}展示了机器翻译和人工翻译质量的一个对比结果。在汉语到英语的新闻翻译任务中，如果对译文进行人工评价，五分制机器翻译的译文得3.9分，人的译文得4.7分（人的翻译也不是完美的）。可见在这个任务中，机器翻译表现不错，但是与人还有一定差距。如果换一种方式评价，把人的译文作为参考答案，用机器翻译的译文与其进行自动比对，会发现机器翻译的得分只有47分。当然，这个结果并不是说机器翻译的译文质量很差，它更多的表明机器翻译系统可以生成一些与人工翻译不同的译文，机器翻译也具有一定的创造性。这也类似于，很多围棋选手都向AlphaGo学习一下，因为智能围棋系统也可以走出一些人类从未走过的妙招。 \parinterval 图\ref{fig:results-zh-to-en news-field-translation}展示了机器翻译和人工翻译质量的一个对比结果。在汉语到英语的新闻翻译任务中，如果对译文进行人工评价，五分制机器翻译的译文得3.9 分，人的译文得4.7分（人的翻译也不是完美的）。可见，在这个任务中机器翻译表现不错，但是与人还有一定差距。如果换一种方式评价，把人的译文作为参考答案，用机器翻译的译文与其进行自动比对，会发现百分制机器翻译的得分只有47分。当然，这个结果并不是说机器翻译的译文质量很差，它更多的是表明机器翻译系统可以生成一些与人工翻译不同的译文，机器翻译也具有一定的创造性。这也类似于，很多围棋选手都想向AlphaGo学习，因为智能围棋系统也可以走出一些人类从未走过的妙招。
%---------------------------------------------- %----------------------------------------------
% 图1.7 % 图1.7
...@@ -157,7 +170,7 @@ ...@@ -157,7 +170,7 @@
\centering \centering
\input{./Chapter1/Figures/figure-results-zh-to-en-news-field-translation} \input{./Chapter1/Figures/figure-results-zh-to-en-news-field-translation}
\setlength{\belowcaptionskip}{-0.5em} \setlength{\belowcaptionskip}{-0.5em}
\caption{真实的结果-汉英新闻领域翻译} \caption{机器翻译与人工翻译性能对比（汉英新闻领域翻译）}
\label{fig:results-zh-to-en news-field-translation} \label{fig:results-zh-to-en news-field-translation}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
...@@ -170,7 +183,7 @@ ...@@ -170,7 +183,7 @@
\centering \centering
\input{./Chapter1/Figures/figure-Example-RBMT} \input{./Chapter1/Figures/figure-Example-RBMT}
\setlength{\belowcaptionskip}{-1.5em} \setlength{\belowcaptionskip}{-1.5em}
\caption{基于规则的机器翻译的示例图（左：规则库；右：匹配结构）} \caption{基于规则的机器翻译的示例图（左：规则库；右：规则匹配结果）}
\label{fig:Example-RBMT} \label{fig:Example-RBMT}
\end{figure} \end{figure}
%------------------------------------------- %-------------------------------------------
......
Book/mt-book-xelatex.idx
\indexentry{Chapter1.1|hyperpage}{11} \indexentry{Chapter1.1|hyperpage}{7}
\indexentry{Chapter1.2|hyperpage}{14} \indexentry{Chapter1.2|hyperpage}{10}
\indexentry{Chapter1.3|hyperpage}{19} \indexentry{Chapter1.3|hyperpage}{15}
\indexentry{Chapter1.4|hyperpage}{20} \indexentry{Chapter1.4|hyperpage}{16}
\indexentry{Chapter1.4.1|hyperpage}{20} \indexentry{Chapter1.4.1|hyperpage}{16}
\indexentry{Chapter1.4.2|hyperpage}{22} \indexentry{Chapter1.4.2|hyperpage}{18}
\indexentry{Chapter1.4.3|hyperpage}{23} \indexentry{Chapter1.4.3|hyperpage}{19}
\indexentry{Chapter1.4.4|hyperpage}{24} \indexentry{Chapter1.4.4|hyperpage}{20}
\indexentry{Chapter1.4.5|hyperpage}{25} \indexentry{Chapter1.4.5|hyperpage}{21}
\indexentry{Chapter1.5|hyperpage}{25} \indexentry{Chapter1.5|hyperpage}{22}
\indexentry{Chapter1.5.1|hyperpage}{26} \indexentry{Chapter1.5.1|hyperpage}{22}
\indexentry{Chapter1.5.2|hyperpage}{27} \indexentry{Chapter1.5.2|hyperpage}{23}
\indexentry{Chapter1.5.2.1|hyperpage}{27} \indexentry{Chapter1.5.2.1|hyperpage}{23}
\indexentry{Chapter1.5.2.2|hyperpage}{28} \indexentry{Chapter1.5.2.2|hyperpage}{25}
\indexentry{Chapter1.5.2.3|hyperpage}{29} \indexentry{Chapter1.5.2.3|hyperpage}{25}
\indexentry{Chapter1.6|hyperpage}{30} \indexentry{Chapter1.6|hyperpage}{26}
\indexentry{Chapter1.7|hyperpage}{32} \indexentry{Chapter1.7|hyperpage}{29}
\indexentry{Chapter1.7.1|hyperpage}{33} \indexentry{Chapter1.7.1|hyperpage}{29}
\indexentry{Chapter1.7.1.1|hyperpage}{33} \indexentry{Chapter1.7.1.1|hyperpage}{29}
\indexentry{Chapter1.7.1.2|hyperpage}{34} \indexentry{Chapter1.7.1.2|hyperpage}{30}
\indexentry{Chapter1.7.2|hyperpage}{36} \indexentry{Chapter1.7.2|hyperpage}{32}
\indexentry{Chapter1.8|hyperpage}{39} \indexentry{Chapter1.8|hyperpage}{35}
\indexentry{Chapter2.1|hyperpage}{44}
\indexentry{Chapter2.2|hyperpage}{45}
\indexentry{Chapter2.2.1|hyperpage}{46}
\indexentry{Chapter2.2.2|hyperpage}{47}
\indexentry{Chapter2.2.3|hyperpage}{48}
\indexentry{Chapter2.2.4|hyperpage}{49}
\indexentry{Chapter2.2.5|hyperpage}{51}
\indexentry{Chapter2.2.5.1|hyperpage}{51}
\indexentry{Chapter2.2.5.2|hyperpage}{52}
\indexentry{Chapter2.2.5.3|hyperpage}{53}
\indexentry{Chapter2.3|hyperpage}{53}
\indexentry{Chapter2.3.1|hyperpage}{54}
\indexentry{Chapter2.3.2|hyperpage}{55}
\indexentry{Chapter2.3.2.1|hyperpage}{56}
\indexentry{Chapter2.3.2.2|hyperpage}{56}
\indexentry{Chapter2.3.2.3|hyperpage}{58}
\indexentry{Chapter2.4|hyperpage}{61}
\indexentry{Chapter2.4.1|hyperpage}{61}
\indexentry{Chapter2.4.2|hyperpage}{63}
\indexentry{Chapter2.4.2.1|hyperpage}{64}
\indexentry{Chapter2.4.2.2|hyperpage}{65}
\indexentry{Chapter2.4.2.3|hyperpage}{66}
\indexentry{Chapter2.5|hyperpage}{68}
\indexentry{Chapter2.5.1|hyperpage}{68}
\indexentry{Chapter2.5.2|hyperpage}{70}
\indexentry{Chapter2.5.3|hyperpage}{75}
\indexentry{Chapter2.6|hyperpage}{77}
\indexentry{Chapter3.1|hyperpage}{81}
\indexentry{Chapter3.2|hyperpage}{83}
\indexentry{Chapter3.2.1|hyperpage}{83}
\indexentry{Chapter3.2.1.1|hyperpage}{83}
\indexentry{Chapter3.2.1.2|hyperpage}{84}
\indexentry{Chapter3.2.1.3|hyperpage}{85}
\indexentry{Chapter3.2.2|hyperpage}{85}
\indexentry{Chapter3.2.3|hyperpage}{86}
\indexentry{Chapter3.2.3.1|hyperpage}{86}
\indexentry{Chapter3.2.3.2|hyperpage}{87}
\indexentry{Chapter3.2.3.3|hyperpage}{88}
\indexentry{Chapter3.2.4|hyperpage}{89}
\indexentry{Chapter3.2.4.1|hyperpage}{89}
\indexentry{Chapter3.2.4.2|hyperpage}{91}
\indexentry{Chapter3.2.5|hyperpage}{92}
\indexentry{Chapter3.3|hyperpage}{95}
\indexentry{Chapter3.3.1|hyperpage}{95}
\indexentry{Chapter3.3.2|hyperpage}{98}
\indexentry{Chapter3.3.2.1|hyperpage}{99}
\indexentry{Chapter3.3.2.2|hyperpage}{100}
\indexentry{Chapter3.3.2.3|hyperpage}{101}
\indexentry{Chapter3.4|hyperpage}{102}
\indexentry{Chapter3.4.1|hyperpage}{102}
\indexentry{Chapter3.4.2|hyperpage}{104}
\indexentry{Chapter3.4.3|hyperpage}{105}
\indexentry{Chapter3.4.4|hyperpage}{106}
\indexentry{Chapter3.4.4.1|hyperpage}{106}
\indexentry{Chapter3.4.4.2|hyperpage}{107}
\indexentry{Chapter3.5|hyperpage}{112}
\indexentry{Chapter3.5.1|hyperpage}{113}
\indexentry{Chapter3.5.2|hyperpage}{115}
\indexentry{Chapter3.5.3|hyperpage}{117}
\indexentry{Chapter3.5.4|hyperpage}{118}
\indexentry{Chapter3.5.5|hyperpage}{120}
\indexentry{Chapter3.5.5|hyperpage}{122}
\indexentry{Chapter3.6|hyperpage}{123}
\indexentry{Chapter3.6.1|hyperpage}{123}
\indexentry{Chapter3.6.2|hyperpage}{124}
\indexentry{Chapter3.6.4|hyperpage}{125}
\indexentry{Chapter3.6.5|hyperpage}{125}
\indexentry{Chapter3.7|hyperpage}{125}
\indexentry{Chapter5.1|hyperpage}{130}
\indexentry{Chapter5.1.1|hyperpage}{130}
\indexentry{Chapter5.1.1.1|hyperpage}{130}
\indexentry{Chapter5.1.1.2|hyperpage}{131}
\indexentry{Chapter5.1.1.3|hyperpage}{132}
\indexentry{Chapter5.1.2|hyperpage}{133}
\indexentry{Chapter5.1.2.1|hyperpage}{133}
\indexentry{Chapter5.1.2.2|hyperpage}{134}
\indexentry{Chapter5.2|hyperpage}{134}
\indexentry{Chapter5.2.1|hyperpage}{134}
\indexentry{Chapter5.2.1.1|hyperpage}{135}
\indexentry{Chapter5.2.1.2|hyperpage}{136}
\indexentry{Chapter5.2.1.3|hyperpage}{136}
\indexentry{Chapter5.2.1.4|hyperpage}{137}
\indexentry{Chapter5.2.1.5|hyperpage}{138}
\indexentry{Chapter5.2.1.6|hyperpage}{139}
\indexentry{Chapter5.2.2|hyperpage}{140}
\indexentry{Chapter5.2.2.1|hyperpage}{141}
\indexentry{Chapter5.2.2.2|hyperpage}{141}
\indexentry{Chapter5.2.2.3|hyperpage}{142}
\indexentry{Chapter5.2.2.4|hyperpage}{143}
\indexentry{Chapter5.2.3|hyperpage}{144}
\indexentry{Chapter5.2.3.1|hyperpage}{144}
\indexentry{Chapter5.2.3.2|hyperpage}{146}
\indexentry{Chapter5.2.4|hyperpage}{148}
\indexentry{Chapter5.3|hyperpage}{151}
\indexentry{Chapter5.3.1|hyperpage}{151}
\indexentry{Chapter5.3.1.1|hyperpage}{151}
\indexentry{Chapter5.3.1.2|hyperpage}{153}
\indexentry{Chapter5.3.1.3|hyperpage}{154}
\indexentry{Chapter5.3.2|hyperpage}{155}
\indexentry{Chapter5.3.3|hyperpage}{156}
\indexentry{Chapter5.3.4|hyperpage}{160}
\indexentry{Chapter5.3.5|hyperpage}{161}
\indexentry{Chapter5.4|hyperpage}{162}
\indexentry{Chapter5.4.1|hyperpage}{163}
\indexentry{Chapter5.4.2|hyperpage}{164}
\indexentry{Chapter5.4.2.1|hyperpage}{165}
\indexentry{Chapter5.4.2.2|hyperpage}{167}
\indexentry{Chapter5.4.2.3|hyperpage}{169}
\indexentry{Chapter5.4.3|hyperpage}{172}
\indexentry{Chapter5.4.4|hyperpage}{174}
\indexentry{Chapter5.4.4.1|hyperpage}{174}
\indexentry{Chapter5.4.4.2|hyperpage}{175}
\indexentry{Chapter5.4.4.3|hyperpage}{175}
\indexentry{Chapter5.4.5|hyperpage}{177}
\indexentry{Chapter5.4.6|hyperpage}{178}
\indexentry{Chapter5.4.6.1|hyperpage}{179}
\indexentry{Chapter5.4.6.2|hyperpage}{181}
\indexentry{Chapter5.4.6.3|hyperpage}{182}
\indexentry{Chapter5.5|hyperpage}{184}
\indexentry{Chapter5.5.1|hyperpage}{184}
\indexentry{Chapter5.5.1.1|hyperpage}{185}
\indexentry{Chapter5.5.1.2|hyperpage}{187}
\indexentry{Chapter5.5.1.3|hyperpage}{188}
\indexentry{Chapter5.5.1.4|hyperpage}{189}
\indexentry{Chapter5.5.2|hyperpage}{190}
\indexentry{Chapter5.5.2.1|hyperpage}{190}
\indexentry{Chapter5.5.2.2|hyperpage}{190}
\indexentry{Chapter5.5.3|hyperpage}{192}
\indexentry{Chapter5.5.3.1|hyperpage}{192}
\indexentry{Chapter5.5.3.2|hyperpage}{194}
\indexentry{Chapter5.5.3.3|hyperpage}{194}
\indexentry{Chapter5.5.3.4|hyperpage}{195}
\indexentry{Chapter5.5.3.5|hyperpage}{196}
\indexentry{Chapter5.6|hyperpage}{196}
\indexentry{Chapter6.1|hyperpage}{199}
\indexentry{Chapter6.1.1|hyperpage}{201}
\indexentry{Chapter6.1.2|hyperpage}{203}
\indexentry{Chapter6.1.3|hyperpage}{206}
\indexentry{Chapter6.2|hyperpage}{208}
\indexentry{Chapter6.2.1|hyperpage}{208}
\indexentry{Chapter6.2.2|hyperpage}{209}
\indexentry{Chapter6.2.3|hyperpage}{210}
\indexentry{Chapter6.2.4|hyperpage}{211}
\indexentry{Chapter6.3|hyperpage}{212}
\indexentry{Chapter6.3.1|hyperpage}{214}
\indexentry{Chapter6.3.2|hyperpage}{216}
\indexentry{Chapter6.3.3|hyperpage}{220}
\indexentry{Chapter6.3.3.1|hyperpage}{220}
\indexentry{Chapter6.3.3.2|hyperpage}{220}
\indexentry{Chapter6.3.3.3|hyperpage}{222}
\indexentry{Chapter6.3.3.4|hyperpage}{223}
\indexentry{Chapter6.3.3.5|hyperpage}{225}
\indexentry{Chapter6.3.4|hyperpage}{225}
\indexentry{Chapter6.3.4.1|hyperpage}{226}
\indexentry{Chapter6.3.4.2|hyperpage}{227}
\indexentry{Chapter6.3.4.3|hyperpage}{230}
\indexentry{Chapter6.3.5|hyperpage}{232}
\indexentry{Chapter6.3.5.1|hyperpage}{233}
\indexentry{Chapter6.3.5.2|hyperpage}{233}
\indexentry{Chapter6.3.5.3|hyperpage}{234}
\indexentry{Chapter6.3.5.4|hyperpage}{234}
\indexentry{Chapter6.3.5.5|hyperpage}{235}
\indexentry{Chapter6.3.5.5|hyperpage}{236}
\indexentry{Chapter6.3.6|hyperpage}{237}
\indexentry{Chapter6.3.6.1|hyperpage}{239}
\indexentry{Chapter6.3.6.2|hyperpage}{240}
\indexentry{Chapter6.3.6.3|hyperpage}{241}
\indexentry{Chapter6.3.7|hyperpage}{242}
\indexentry{Chapter6.4|hyperpage}{244}
\indexentry{Chapter6.4.1|hyperpage}{245}
\indexentry{Chapter6.4.2|hyperpage}{246}
\indexentry{Chapter6.4.3|hyperpage}{249}
\indexentry{Chapter6.4.4|hyperpage}{251}
\indexentry{Chapter6.4.5|hyperpage}{252}
\indexentry{Chapter6.4.6|hyperpage}{253}
\indexentry{Chapter6.4.7|hyperpage}{255}
\indexentry{Chapter6.4.8|hyperpage}{256}
\indexentry{Chapter6.4.9|hyperpage}{257}
\indexentry{Chapter6.4.10|hyperpage}{260}
\indexentry{Chapter6.5|hyperpage}{260}
\indexentry{Chapter6.5.1|hyperpage}{261}
\indexentry{Chapter6.5.2|hyperpage}{261}
\indexentry{Chapter6.5.3|hyperpage}{262}
\indexentry{Chapter6.5.4|hyperpage}{262}
\indexentry{Chapter6.5.5|hyperpage}{263}
\indexentry{Chapter6.6|hyperpage}{264}
Book/mt-book-xelatex.ptc
\boolfalse {citerequest}\boolfalse {citetracker}\boolfalse {pagetracker}\boolfalse {backtracker}\relax \boolfalse {citerequest}\boolfalse {citetracker}\boolfalse {pagetracker}\boolfalse {backtracker}\relax
\babel@toc {english}{}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\select@language {english} \contentsline {part}{\@mypartnumtocformat {I}{机器翻译基础}}{5}{part.1}%
\defcounter {refsection}{0}\relax
\contentsline {part}{\@mypartnumtocformat {I}{机器翻译基础}}{9}{part.1}
\ttl@starttoc {default@1} \ttl@starttoc {default@1}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {1}机器翻译简介}{11}{chapter.1} \contentsline {chapter}{\numberline {1}机器翻译简介}{7}{chapter.1}%
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.1}机器翻译的概念}{11}{section.1.1}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.2}机器翻译简史}{14}{section.1.2}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.3}机器翻译现状}{19}{section.1.3}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.4}机器翻译方法}{20}{section.1.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.4.1}基于规则的机器翻译}{20}{subsection.1.4.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.4.2}基于实例的机器翻译}{22}{subsection.1.4.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.4.3}统计机器翻译}{23}{subsection.1.4.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.4.4}神经机器翻译}{24}{subsection.1.4.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.4.5}对比分析}{25}{subsection.1.4.5}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.5}翻译质量评价}{25}{section.1.5}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.5.1}人工评价}{26}{subsection.1.5.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.5.2}自动评价}{27}{subsection.1.5.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{BLEU}{27}{section*.15}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{TER}{28}{section*.16}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{基于检测点的评价}{29}{section*.17}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.6}机器翻译应用}{30}{section.1.6}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.7}开源项目与评测}{32}{section.1.7}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.7.1}开源机器翻译系统}{33}{subsection.1.7.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{统计机器翻译开源系统}{33}{section*.19}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{神经机器翻译开源系统}{34}{section*.20}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {1.7.2}常用数据集及公开评测任务}{36}{subsection.1.7.2}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {1.8}推荐学习资源}{39}{section.1.8}
\defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {2}词法、语法及统计建模基础}{43}{chapter.2}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.1}问题概述 }{44}{section.2.1}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.2}概率论基础}{45}{section.2.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.2.1}随机变量和概率}{46}{subsection.2.2.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.2.2}联合概率、条件概率和边缘概率}{47}{subsection.2.2.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.2.3}链式法则}{48}{subsection.2.2.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.2.4}贝叶斯法则}{49}{subsection.2.2.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.2.5}KL距离和熵}{51}{subsection.2.2.5}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）信息熵}{51}{section*.27}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）KL距离}{52}{section*.29}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）交叉熵}{53}{section*.30}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.3}中文分词}{53}{section.2.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.3.1}基于词典的分词方法}{54}{subsection.2.3.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.3.2}基于统计的分词方法}{55}{subsection.2.3.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{统计模型的学习与推断}{56}{section*.34}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{掷骰子游戏}{56}{section*.36}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{全概率分词方法}{58}{section*.40}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.4}$n$-gram语言模型 }{61}{section.2.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.4.1}建模}{61}{subsection.2.4.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.4.2}未登录词和平滑算法}{63}{subsection.2.4.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{加法平滑方法}{64}{section*.47}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{古德-图灵估计法}{65}{section*.49}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{Kneser-Ney平滑方法}{66}{section*.51}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.5}句法分析（短语结构分析）}{68}{section.2.5}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.1}句子的句法树表示}{68}{subsection.2.5.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.2}上下文无关文法}{70}{subsection.2.5.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {2.5.3}规则和推导的概率}{75}{subsection.2.5.3}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {2.6}小结及深入阅读}{77}{section.2.6}
\defcounter {refsection}{0}\relax
\contentsline {part}{\@mypartnumtocformat {II}{统计机器翻译}}{79}{part.2}
\ttl@stoptoc {default@1}
\ttl@starttoc {default@2}
\defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {3}基于词的机器翻译模型}{81}{chapter.3}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.1}什么是基于词的翻译模型}{81}{section.3.1}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.2}构建一个简单的机器翻译系统}{83}{section.3.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.2.1}如何进行翻译？}{83}{subsection.3.2.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）机器翻译流程}{84}{section*.66}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）人工 vs. 机器}{85}{section*.68}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.2.2}基本框架}{85}{subsection.3.2.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.2.3}单词翻译概率}{86}{subsection.3.2.3}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）什么是单词翻译概率？}{86}{section*.70}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）如何从一个双语平行数据中学习？}{87}{section*.72}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）如何从大量的双语平行数据中学习？}{88}{section*.73}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.2.4}句子级翻译模型}{89}{subsection.3.2.4}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）句子级翻译的基础模型}{89}{section*.75}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）生成流畅的译文}{91}{section*.77}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.2.5}解码}{92}{subsection.3.2.5}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.3}基于词的翻译建模}{95}{section.3.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.3.1}噪声信道模型}{95}{subsection.3.3.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.3.2}统计机器翻译的三个基本问题}{98}{subsection.3.3.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{词对齐}{99}{section*.86}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{基于词对齐的翻译模型}{100}{section*.89}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{基于词对齐的翻译实例}{101}{section*.91}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.4}IBM模型1-2}{102}{section.3.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.4.1}IBM模型1}{102}{subsection.3.4.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.4.2}IBM模型2}{104}{subsection.3.4.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.4.3}解码及计算优化}{105}{subsection.3.4.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.4.4}训练}{106}{subsection.3.4.4}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）目标函数}{106}{section*.96}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）优化}{107}{section*.98}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.5}IBM模型3-5及隐马尔可夫模型}{112}{section.3.5}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.1}基于产出率的翻译模型}{113}{subsection.3.5.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.2}IBM 模型3}{115}{subsection.3.5.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.3}IBM 模型4}{117}{subsection.3.5.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.4} IBM 模型5}{118}{subsection.3.5.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.5}隐马尔可夫模型}{120}{subsection.3.5.5}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{隐马尔可夫模型}{120}{section*.110}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{词对齐模型}{121}{section*.112}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.5.6}解码和训练}{122}{subsection.3.5.6}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.6}问题分析}{123}{section.3.6}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.6.1}词对齐及对称化}{123}{subsection.3.6.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.6.2}Deficiency}{124}{subsection.3.6.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.6.3}句子长度}{125}{subsection.3.6.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {3.6.4}其它问题}{125}{subsection.3.6.4}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {3.7}小结及深入阅读}{125}{section.3.7}
\defcounter {refsection}{0}\relax
\contentsline {part}{\@mypartnumtocformat {III}{神经机器翻译}}{127}{part.3}
\ttl@stoptoc {default@2}
\ttl@starttoc {default@3}
\defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {4}人工神经网络和神经语言建模}{129}{chapter.4}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.1}深度学习与人工神经网络}{130}{section.4.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.1.1}发展简史}{130}{subsection.4.1.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）早期的人工神经网络和第一次寒冬}{130}{section*.114}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）神经网络的第二次高潮和第二次寒冬}{131}{section*.115}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）深度学习和神经网络的崛起}{132}{section*.116}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.1.2}为什么需要深度学习}{133}{subsection.4.1.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）端到端学习和表示学习}{133}{section*.118}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）深度学习的效果}{134}{section*.120}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.2}神经网络基础}{134}{section.4.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.2.1}线性代数基础}{134}{subsection.4.2.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）标量、向量和矩阵}{135}{section*.122}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）矩阵的转置}{136}{section*.123}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）矩阵加法和数乘}{136}{section*.124}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（四）矩阵乘法和矩阵点乘}{137}{section*.125}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（五）线性映射}{138}{section*.126}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（六）范数}{139}{section*.127}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.2.2}人工神经元和感知机}{140}{subsection.4.2.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）感知机\ \raisebox {0.5mm}{------}\ 最简单的人工神经元模型}{141}{section*.130}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）神经元内部权重}{141}{section*.133}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）神经元的输入\ \raisebox {0.5mm}{------}\ 离散 vs 连续}{142}{section*.135}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（四）神经元内部的参数学习}{143}{section*.137}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.2.3}多层神经网络}{144}{subsection.4.2.3}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）线性变换和激活函数}{144}{section*.139}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）单层神经网络$\rightarrow $多层神经网络}{146}{section*.146}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.2.4}函数拟合能力}{148}{subsection.4.2.4}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.3}神经网络的张量实现}{151}{section.4.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.3.1} 张量及其计算}{151}{subsection.4.3.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）张量}{151}{section*.156}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）张量的矩阵乘法}{153}{section*.159}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）张量的单元操作}{154}{section*.161}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.3.2}张量的物理存储形式}{155}{subsection.4.3.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.3.3}使用开源框架实现张量计算}{156}{subsection.4.3.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.3.4}神经网络中的前向传播}{160}{subsection.4.3.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.3.5}神经网络实例}{161}{subsection.4.3.5}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.4}神经网络的参数训练}{162}{section.4.4}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.1}损失函数}{163}{subsection.4.4.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.2}基于梯度的参数优化}{164}{subsection.4.4.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）梯度下降}{165}{section*.179}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）梯度获取}{167}{section*.181}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）基于梯度的方法的变种和改进}{169}{section*.185}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.3}参数更新的并行化策略}{172}{subsection.4.4.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.4}梯度消失、梯度爆炸和稳定性训练}{174}{subsection.4.4.4}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）梯度消失现象及解决方法}{174}{section*.188}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）梯度爆炸现象及解决方法}{175}{section*.192}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）稳定性训练}{175}{section*.193}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.5}过拟合}{177}{subsection.4.4.5}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.4.6}反向传播}{178}{subsection.4.4.6}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）输出层的反向传播}{179}{section*.196}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）隐藏层的反向传播}{181}{section*.200}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）程序实现}{182}{section*.203}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.5}神经语言模型}{184}{section.4.5}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.5.1}基于神经网络的语言建模}{184}{subsection.4.5.1}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）基于前馈神经网络的语言模型}{185}{section*.206}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）基于循环神经网络的语言模型}{187}{section*.209}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）基于自注意力机制的语言模型}{188}{section*.211}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（四）语言模型的评价}{189}{section*.213}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.5.2}单词表示模型}{190}{subsection.4.5.2}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）One-hot编码}{190}{section*.214}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）分布式表示}{190}{section*.216}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {4.5.3}句子表示模型及预训练}{192}{subsection.4.5.3}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（一）简单的上下文表示模型}{192}{section*.220}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（二）ELMO模型}{194}{section*.223}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（三）GPT模型}{194}{section*.225}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（四）BERT模型}{195}{section*.227}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{（五）为什么要预训练？}{196}{section*.229}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {4.6}小结及深入阅读}{196}{section.4.6}
\defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {5}神经机器翻译模型}{199}{chapter.5}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.1}神经机器翻译的发展简史}{199}{section.5.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.1.1}神经机器翻译的起源}{201}{subsection.5.1.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.1.2}神经机器翻译的品质 }{203}{subsection.5.1.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.1.3}神经机器翻译的优势 }{206}{subsection.5.1.3}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.2}编码器-解码器框架}{208}{section.5.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.2.1}框架结构}{208}{subsection.5.2.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.2.2}表示学习}{209}{subsection.5.2.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.2.3}简单的运行实例}{210}{subsection.5.2.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.2.4}机器翻译范式的对比}{211}{subsection.5.2.4}
\defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.3}基于循环神经网络的翻译模型及注意力机制}{212}{section.5.3}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.1}建模}{214}{subsection.5.3.1}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.2}输入（词嵌入）及输出（Softmax）}{216}{subsection.5.3.2}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.3}循环神经网络结构}{220}{subsection.5.3.3}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{循环神经单元（RNN）}{220}{section*.251}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{长短时记忆网络（LSTM）}{220}{section*.252}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{门控循环单元（GRU）}{222}{section*.255}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{双向模型}{223}{section*.257}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{多层循环神经网络}{225}{section*.259}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.4}注意力机制}{225}{subsection.5.3.4}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{翻译中的注意力机制}{226}{section*.262}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{上下文向量的计算}{227}{section*.265}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{注意力机制的解读}{230}{section*.270}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.5}训练}{232}{subsection.5.3.5}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{损失函数}{233}{section*.273}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{长参数初始化}{233}{section*.274}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{优化策略}{234}{section*.275}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{梯度裁剪}{234}{section*.277}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{学习率策略}{235}{section*.278}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{并行训练}{236}{section*.281}
\defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.6}推断}{237}{subsection.5.3.6}
\defcounter {refsection}{0}\relax
\contentsline {subsubsection}{贪婪搜索}{239}{section*.285}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsubsection}{束搜索}{240}{section*.288} \contentsline {section}{\numberline {1.1}机器翻译的概念}{7}{section.1.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsubsection}{长度惩罚}{241}{section*.290} \contentsline {section}{\numberline {1.2}机器翻译简史}{10}{section.1.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.3.7}实例-GNMT}{242}{subsection.5.3.7} \contentsline {subsection}{\numberline {1.2.1}人工翻译}{10}{subsection.1.2.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.4}Transformer}{244}{section.5.4} \contentsline {subsection}{\numberline {1.2.2}机器翻译的萌芽}{11}{subsection.1.2.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.1}自注意力模型}{245}{subsection.5.4.1} \contentsline {subsection}{\numberline {1.2.3}机器翻译的受挫}{12}{subsection.1.2.3}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.2}Transformer架构}{246}{subsection.5.4.2} \contentsline {subsection}{\numberline {1.2.4}机器翻译的快速成长}{13}{subsection.1.2.4}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.3}位置编码}{249}{subsection.5.4.3} \contentsline {subsection}{\numberline {1.2.5}机器翻译的爆发}{14}{subsection.1.2.5}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.4}基于点乘的注意力机制}{251}{subsection.5.4.4} \contentsline {section}{\numberline {1.3}机器翻译现状}{15}{section.1.3}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.5}掩码操作}{252}{subsection.5.4.5} \contentsline {section}{\numberline {1.4}机器翻译方法}{16}{section.1.4}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.6}多头注意力}{253}{subsection.5.4.6} \contentsline {subsection}{\numberline {1.4.1}基于规则的机器翻译}{16}{subsection.1.4.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.7}残差网络和层正则化}{255}{subsection.5.4.7} \contentsline {subsection}{\numberline {1.4.2}基于实例的机器翻译}{18}{subsection.1.4.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.8}前馈全连接网络子层}{256}{subsection.5.4.8} \contentsline {subsection}{\numberline {1.4.3}统计机器翻译}{19}{subsection.1.4.3}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.9}训练}{257}{subsection.5.4.9} \contentsline {subsection}{\numberline {1.4.4}神经机器翻译}{20}{subsection.1.4.4}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.4.10}推断}{260}{subsection.5.4.10} \contentsline {subsection}{\numberline {1.4.5}对比分析}{21}{subsection.1.4.5}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.5}序列到序列问题及应用}{260}{section.5.5} \contentsline {section}{\numberline {1.5}翻译质量评价}{22}{section.1.5}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.5.1}自动问答}{261}{subsection.5.5.1} \contentsline {subsection}{\numberline {1.5.1}人工评价}{22}{subsection.1.5.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.5.2}自动文摘}{261}{subsection.5.5.2} \contentsline {subsection}{\numberline {1.5.2}自动评价}{23}{subsection.1.5.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.5.3}文言文翻译}{262}{subsection.5.5.3} \contentsline {subsubsection}{BLEU}{23}{section*.15}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.5.4}对联生成}{262}{subsection.5.5.4} \contentsline {subsubsection}{TER}{25}{section*.16}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {subsection}{\numberline {5.5.5}古诗生成}{263}{subsection.5.5.5} \contentsline {subsubsection}{基于检测点的评价}{25}{section*.17}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {5.6}小结及深入阅读}{264}{section.5.6} \contentsline {section}{\numberline {1.6}机器翻译应用}{26}{section.1.6}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {part}{\@mypartnumtocformat {IV}{附录}}{267}{part.4} \contentsline {section}{\numberline {1.7}开源项目与评测}{29}{section.1.7}%
\ttl@stoptoc {default@3}
\ttl@starttoc {default@4}
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {A}附录A}{269}{Appendix.1.A} \contentsline {subsection}{\numberline {1.7.1}开源机器翻译系统}{29}{subsection.1.7.1}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {chapter}{\numberline {B}附录B}{271}{Appendix.2.B} \contentsline {subsubsection}{统计机器翻译开源系统}{29}{section*.19}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {B.1}IBM模型3训练方法}{271}{section.2.B.1} \contentsline {subsubsection}{神经机器翻译开源系统}{30}{section*.20}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {B.2}IBM模型4训练方法}{273}{section.2.B.2} \contentsline {subsection}{\numberline {1.7.2}常用数据集及公开评测任务}{32}{subsection.1.7.2}%
\defcounter {refsection}{0}\relax \defcounter {refsection}{0}\relax
\contentsline {section}{\numberline {B.3}IBM模型5训练方法}{274}{section.2.B.3} \contentsline {section}{\numberline {1.8}推荐学习资源}{35}{section.1.8}%
\contentsfinish \contentsfinish
Book/mt-book-xelatex.tex
...@@ -99,11 +99,11 @@ ...@@ -99,11 +99,11 @@
%---------------------------------------------------------------------------------------- %----------------------------------------------------------------------------------------
\include{Chapter1/chapter1} \include{Chapter1/chapter1}
\include{Chapter2/chapter2} %\include{Chapter2/chapter2}
\include{Chapter3/chapter3} %\include{Chapter3/chapter3}
\include{Chapter5/chapter5} %\include{Chapter5/chapter5}
\include{Chapter6/chapter6} %\include{Chapter6/chapter6}
\include{ChapterAppend/chapterappend} %\include{ChapterAppend/chapterappend}
......
Book/structure.tex
...@@ -454,6 +454,12 @@ innerbottommargin=5pt]{cBox} ...@@ -454,6 +454,12 @@ innerbottommargin=5pt]{cBox}
\fi} \fi}
%---------------------------------------------------------------------------------------- %----------------------------------------------------------------------------------------
% SPECIAL FONTS
%----------------------------------------------------------------------------------------
\newcommand\bfnew[1]{\sffamily\bfseries{#1}}
%----------------------------------------------------------------------------------------
% CHAPTER HEADINGS % CHAPTER HEADINGS
%---------------------------------------------------------------------------------------- %----------------------------------------------------------------------------------------
......
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑！
请 注册 或者 后发表评论