Skip to content

M
mtbookv2
Commit 45473557 by zengxin
Options

合并分支 'zengxin' 到 'caorunzhe' 

Zengxin

查看合并请求 !852
parents f04f1dd9 aa685589
正在显示 包含 41 行增加 和 41 行删除
Chapter18/chapter18.tex
......@@ -23,7 +23,7 @@
\chapter{机器翻译应用技术}
\parinterval 随着机器翻译品质的不断提升，越来越多的应用需求被挖掘出来。但是，一个优秀的机器翻译引擎并不意味着机器翻译可以被成功应用。机器翻译技术落地需要“额外”考虑很多因素，例如，数据加工方式、交互方式、应用的领域等，甚至机器翻译模型也要经过改造才能适应到不同的场景中。
\parinterval 随着机器翻译品质的不断提升，越来越多的应用需求被挖掘出来。但是，一个优秀的机器翻译引擎并不意味着机器翻译可以被成功应用。机器翻译技术落地需要“额外”考虑很多因素，例如，数据处理方式、交互方式、应用的领域等，甚至机器翻译模型也要经过改造才能适应到不同的场景中。
\parinterval 本章将重点介绍机器翻译应用中所面临的一些实际问题，以及解决这些问题可以采用的策略。本章所涉及的内容较为广泛，一方面会大量使用本书前十七章的模型和方法，另一方面也会介绍新的技术手段。最终，本章会结合机器翻译的特点展示一些机器翻译可以应用的场景。
......@@ -59,7 +59,7 @@
\begin{itemize}
\vspace{0.5em}
\item 应用的目标领域和场景可能是研发系统时无法预见的，但是用户会有一定量自有数据，可以用于系统优化。
\item 应用的目标领域和场景可能是研发系统时无法预见的，但是用户会有一定量的自有数据，可以用于系统优化。
\vspace{0.5em}
\item 系统在应用中会产生新的数据，这些数据经过一些筛选和修改也可以用于模型训练。
\vspace{0.5em}
......@@ -84,7 +84,7 @@
\vspace{0.5em}
\end{itemize}
\parinterval 图\ref{fig:18-1}给出了上述方法的对比。在实际应用中，还有很多细节会影响增量训练的效果，比如，学习率大小的选择等。另外，新的数据积累到何种规模可以进行增量训练也是实践中需要解决问题。一般来说，增量训练使用的数据量越大，训练的效果越稳定。但是，这并不是说数据量少就不可以进行增量训练，而是如果数据量过少时，需要考虑训练代价和效果之间的平衡。而且，过于频繁的增量训练也会带来更多的灾难性遗忘的风险，因此合理进行增量训练也是机器翻译应用中需要实践的。
\parinterval 图\ref{fig:18-1}给出了上述方法的对比。在实际应用中，还有很多细节会影响增量训练的效果，比如，学习率大小的选择等。另外，新的数据积累到何种规模可以进行增量训练也是实践中需要解决的问题。一般来说，增量训练使用的数据量越大，训练的效果越稳定。但是，这并不是说数据量少就不可以进行增量训练，而是如果数据量过少时，需要考虑训练代价和效果之间的平衡。而且，过于频繁的增量训练也会带来更多的灾难性遗忘的风险，因此合理进行增量训练也是机器翻译应用中需要实践的。
%----------------------------------------------
\begin{figure}[htp]
......@@ -106,11 +106,11 @@
\section{交互式机器翻译}
\parinterval 机器翻译的结果会存在错误，因此很多时候需要人工的修改才能被使用。例如，在{\small\bfnew 译后编辑}\index{译后编辑}（Post-editing）\index{Post-editing}中，翻译人员对机器翻译的译文进行修改，最终使译文达到要求。但是，译后编辑的成本仍然很高，因为它需要翻译人员阅读机器翻译的结果，同时做出修改的动作。有时候，由于译文修改的内容较为复杂，译后编辑的时间甚至比人工直接翻译源语言句子的时间都长。因此在机器翻译应用中，需要更高效的方式调整机器翻译的结果，使其达到可用。比如，可以使用质量评估方法（见{\chapterfour}），选择模型置信度较高的译文进行译后编辑，对置信度低的译文直接进行人工翻译。而另一种思路是，让人的行为直接影响机器翻译生成译文的过程，让人和机器翻译系统进行交互，在不断的修正中生成更好的译文。这种方法也被称作{\small\bfnew 交互式机器翻译}\index{交互式机器翻译}（Interactive Machine Translation，IMT）\index{Interactive Machine Translation}。
\parinterval 机器翻译的结果会存在错误，因此很多时候需要人工的修改才能被使用。例如，在{\small\bfnew 译后编辑}\index{译后编辑}（Post-editing）\index{Post-editing}中，翻译人员对机器翻译的译文进行修改，最终使译文达到要求。但是，译后编辑的成本仍然很高，因为它需要翻译人员阅读机器翻译的结果，同时做出修改的动作。有时候，由于译文修改的内容较为复杂，译后编辑的时间甚至比人工直接翻译源语言句子的时间都长。因此在机器翻译应用中，需要更高效的方式调整机器翻译的结果，使其达到可用的程度。比如，可以使用质量评估方法（见{\chapterfour}），选择模型置信度较高的译文进行译后编辑，对置信度低的译文直接进行人工翻译。而另一种思路是，让人的行为直接影响机器翻译生成译文的过程，让人和机器翻译系统进行交互，在不断的修正中生成更好的译文。这种方法也被称作{\small\bfnew 交互式机器翻译}\index{交互式机器翻译}（Interactive Machine Translation，IMT）\index{Interactive Machine Translation}。
\parinterval 交互式机器翻译的大致流程如下：机器翻译系统根据用户输入的源语言句子预测出可能的译文交给用户，然后用户在现有翻译的基础上进行接受、修改或者删除等操作，然后翻译系统根据用户的反馈信息再次生成比前一次更好的翻译并提交给用户。以此循环，直到得到最终的译文。
\parinterval 图\ref{fig:18-2}给出了一个使用TranSmart系统进行交互式机器翻译的例子，在这里我们要将一个汉语句子“疼痛/也/可能/会在/夜间/使/你/醒来。”翻译成英语“The pain may also wake you up during the night .”。在开始交互之前，系统首先推荐一个可能的译文“The pain may also wake you up at night .”。在第一次交互中，用户将单词at替换成during，然后系统根据用户修改后的译文立即给出新的译文候选，提供给用户选择。循环往复，直到用户接受了系统当前推荐的译文。
\parinterval 图\ref{fig:18-2}给出了一个使用TranSmart系统\footnote{\url{ https://transmart.qq.com/index}}进行交互式机器翻译的例子，在这里要将一个汉语句子“疼痛/也/可能/会在/夜间/使/你/醒来。”翻译成英语“The pain may also wake you up during the night .”。在开始交互之前，系统首先推荐一个可能的译文“The pain may also wake you up at night .”。在第一次交互中，用户将单词at替换成during，然后系统根据用户修改后的译文立即给出新的译文候选，提供给用户选择。循环往复，直到用户接受了系统当前推荐的译文。
%----------------------------------------------
\begin{figure}[htp]
......@@ -125,7 +125,7 @@
\parinterval 交互式机器翻译系统主要通过用户的反馈来提升译文的质量，不同类型的反馈信息则影响着系统最终的性能。根据反馈形式的不同，可以将交互式机器翻译分为以下几种：
\begin{itemize}
\vspace{0.5em}
\item 基于前缀的交互式机器翻译。早期的交互式机器翻译系统都是采用基于前缀的方式。基于翻译系统生成的初始译文，翻译人员从左到右检查翻译的正确性，并在第一个错误的位置进行更正。这为系统提供了一种双重信号：表明该位置上单词必须是翻译人员修改过后的单词，并且该位置之前的单词都是正确的。之后系统根据已经检查过的前缀再生成后面的译文\upcite{DBLP:conf/acl/WuebkerGDHL16,Zens2003EfficientSF,DBLP:journals/coling/BarrachinaBCCCKLNTVV09,DBLP:journals/csl/PerisC19}。
\item 基于前缀的交互式机器翻译。早期的交互式机器翻译系统都是采用基于前缀的方式。基于翻译系统生成的初始译文，翻译人员从左到右检查翻译的正确性，并在第一个错误的位置进行更正。这为系统提供了一种双重信号：表明该位置上的单词必须是翻译人员修改过后的单词，并且该位置之前的单词都是正确的。之后系统根据已经检查过的前缀再生成后面的译文\upcite{DBLP:conf/acl/WuebkerGDHL16,Zens2003EfficientSF,DBLP:journals/coling/BarrachinaBCCCKLNTVV09,DBLP:journals/csl/PerisC19}。
\vspace{0.5em}
\item 基于片段的交互式机器翻译。根据用户提供的反馈来生成更好的翻译结果是交互式翻译系统的关键。而基于前缀的系统则存在一个严重的缺陷，当翻译系统获得确定的翻译前缀之后，再重新生成译文时会将原本正确的翻译后缀遗漏了，因此会引入新的错误。在基于片段的交互式机器翻译系统中，翻译人员除了纠正第一个错误的单词，还可以指定在未来迭代中保留的单词序列。之后系统根据这些反馈信号再生成新的译文\upcite{Peris2017InteractiveNM,DBLP:journals/mt/DomingoPC17}。
......@@ -136,7 +136,7 @@
\vspace{0.5em}
\end{itemize}
\parinterval 除此之外，基于在线学习的方法也受到了关注，这类方法也可以被看作是交互式翻译与增量训练的一种结合。用户总是希望翻译系统能从反馈中自动纠正以前的错误。当用户最终确认一个修改过后的译文后，翻译系统将源语言句子与该修正后的译文作为训练语料继续训练\upcite{DBLP:conf/acl/DomingoGEBHPCH19}。实际上，交互式机器翻译是机器翻译大规模应用的重要路径之一，它为打通翻译人员和机器翻译系统之间的障碍提供了手段。不过，交互式机器翻译也有许多挑战等待解决。一个是如何设计交互方式？理想的交互方式应该式更加贴近翻译人员输入文字的习惯，比如，利用输入法完成交互；另一个是如何把交互式翻译嵌入到翻译的生产流程里？这本身不完全是一个技术问题，可能需要更多的产品手段来求解。
\parinterval 除此之外，基于在线学习的方法也受到了关注，这类方法也可以被看作是交互式翻译与增量训练的一种结合。用户总是希望翻译系统能从反馈中自动纠正以前的错误。当用户最终确认一个修改过后的译文后，翻译系统将源语言句子与该修正后的译文作为训练语料继续训练\upcite{DBLP:conf/acl/DomingoGEBHPCH19}。实际上，交互式机器翻译是机器翻译大规模应用的重要途径之一，它为打通翻译人员和机器翻译系统之间的障碍提供了手段。不过，交互式机器翻译也有许多挑战等待解决。一个是如何设计交互方式？理想的交互方式应该是更加贴近翻译人员输入文字的习惯，比如，利用输入法完成交互；另一个是如何把交互式翻译嵌入到翻译的生产流程里？这本身不完全是一个技术问题，可能需要更多的产品手段来求解。
%----------------------------------------------------------------------------------------
......@@ -145,7 +145,7 @@
\section{翻译结果可干预性}
\parinterval 交互式机器翻译体现了一种用户的行为“干预”机器翻译结果的思想。实际上，在机器翻译出现错误时，人们总是希望用一种直接有效的方式“改变”译文，最短时间内达到改善翻译质量的目的。比如，如果机器翻译系统可以输出多个候选译文，用户可以在其中挑选最好的译文进行输出。也就是，人干预了译文候选的排序过程。另一个例子是{\small\bfnew{翻译记忆}}\index{翻译记忆}（Translation Memory\index{Translation Memory}）。翻译记忆记录了高质量的源语言-目标语言句对，有时也可以被看作是一种先验知识或“记忆”。因此，当进行机器翻译时，使用翻译记忆指导翻译过程也可以被看作是一种干预手段\upcite{DBLP:conf/acl/WangZS13,DBLP:conf/aaai/XiaHLS19}。
\parinterval 交互式机器翻译体现了一种用户的行为“干预”机器翻译结果的思想。实际上，在机器翻译出现错误时，人们总是希望用一种直接有效的方式“改变”译文，最短时间内达到改善翻译质量的目的。比如，如果机器翻译系统可以输出多个候选译文，用户可以在其中挑选最好的译文进行输出。也就是，人为干预了译文候选的排序过程。另一个例子是{\small\bfnew{翻译记忆}}\index{翻译记忆}（Translation Memory\index{Translation Memory}）。翻译记忆记录了高质量的源语言-目标语言句对，有时也可以被看作是一种先验知识或“记忆”。因此，当进行机器翻译时，使用翻译记忆指导翻译过程也可以被看作是一种干预手段\upcite{DBLP:conf/acl/WangZS13,DBLP:conf/aaai/XiaHLS19}。
\parinterval 虽然干预机器翻译系统的方式很多，最常用的还是对源语言特定片段翻译的干预，以期望最终句子的译文满足某些约束。这个问题也被称作{\small\bfnew{基于约束的翻译}}\index{基于约束的翻译} （Constraint-based Translation\index{Constraint-based Translation}）。比如，在翻译网页时，需要保持译文中的网页标签与源文一致。另一个典型例子是术语翻译。在实际应用中，经常会遇到公司名称、品牌名称、产品名称等专有名词和行业术语，以及不同含义的缩写，比如，对于“小牛翻译”这个专有名词，不同的机器翻译系统给出的结果不一样:“Maverick translation”、“Calf translation”、“The mavericks translation”等等，而它正确的翻译应该为“NiuTrans”。 对于这些类似的特殊词汇，机器翻译引擎很难翻译得准确。一方面，因为模型大多是在通用数据集上训练出来的，并不能保证数据集能涵盖所有的语言现象。另一方面，即使是这些术语在训练数据中出现，它们通常也是低频的，模型不容易捕捉它们的规律。为了保证翻译的准确性，对术语翻译进行干预是十分有必要的，这对领域适应等问题的求解也是非常有意义的。
......@@ -156,24 +156,24 @@
\centering
\input{./Chapter18/Figures/figure-translation-interfered}
%\setlength{\abovecaptionskip}{-0.2cm}
\caption{翻译结果可干预性}
\caption{词汇约束翻译过程}
\label{fig:18-3}
\end{figure}
%----------------------------------------------
\parinterval 在统计机器翻译中，翻译本质上是由短语和规则构成的推导，因此修改译文比较容易，比如，可以在一个源语言片段所对应的翻译候选集中添加希望得到的译文即可。而神经机器翻译是一个端到端模型，翻译过程本质上是连续空间中元素的一系列映射、组合和代数运算。虽然在模型训练阶段仍然可以通过修改损失函数等手段引入约束，但是在推断阶段进行直接干预并不容易，因为我们无法像修改符号系统那样直接修改模型（如短语翻译表）来影响译文生成。实践中主要有两种解决思路：
\parinterval 在统计机器翻译中，翻译本质上是由短语和规则构成的推导，因此修改译文比较容易，比如，可以在一个源语言片段所对应的翻译候选集中添加希望得到的译文。而神经机器翻译是一个端到端模型，翻译过程本质上是连续空间中元素的一系列映射、组合和代数运算。虽然在模型训练阶段仍然可以通过修改损失函数等手段引入约束，但是在推断阶段进行直接干预并不容易，因为我们无法像修改符号系统那样直接修改模型（如短语翻译表）来影响译文生成。实践中主要有两种解决思路：
\begin{itemize}
\vspace{0.5em}
\item 强制生成。这种方法并不改变模型，而是在推断过程中按照一定的策略来实施约束，一般是修改束搜索算法以确保输出必须包含指定的词或者短语\upcite{DBLP:conf/acl/HokampL17,DBLP:conf/naacl/PostV18,DBLP:conf/wmt/ChatterjeeNTFSB17,DBLP:conf/naacl/HaslerGIB18}，例如，在获得译文输出后，利用注意力机制获取词对齐，之后通过词对齐得到源语言和目标语言片段的对应关系，最后对指定译文片段进行强制替换。或者，对包含正确术语翻译的翻译候选进行额外的加分，以确保推断时这样的翻译候选的排名足够靠前。
\item 强制生成。这种方法并不改变模型，而是在推断过程中按照一定的策略来实施约束，一般是修改束搜索算法以确保输出必须包含指定的词或者短语\upcite{DBLP:conf/acl/HokampL17,DBLP:conf/naacl/PostV18,DBLP:conf/wmt/ChatterjeeNTFSB17,DBLP:conf/naacl/HaslerGIB18}，例如，在获得译文输出后，利用注意力机制获取词对齐，之后通过词对齐得到源语言和目标语言片段的对应关系，最后对指定译文片段进行强制替换。或者，对包含正确术语的翻译候选进行额外的加分，以确保推断时这样的翻译候选的排名足够靠前。
\vspace{0.5em}
\item 数据增强。这类方法通过修改机器翻译模型的数据来实现推断阶段施加约束。通常是根据术语词典对数据进行一定的修改，例如，将术语的译文编辑到源语言句子中，之后将原始语料库和合成语料库进行混合训练，期望模型能够自动利用术语信息来指导解码，或者是利用占位符来替换术语，待翻译完成后再进行还原\upcite{DBLP:conf/naacl/SongZYLWZ19,DBLP:conf/acl/DinuMFA19,DBLP:journals/corr/abs-1912-00567,DBLP:conf/ijcai/ChenCWL20}。
\item 数据增强。这类方法通过修改机器翻译模型的训练数据来实现术语约束。通常根据术语词典对训练数据进行一定的修改，例如，将术语的译文添加到源文句子中，之后将原始语料库和合成语料库进行混合训练，期望模型能够学会自动利用术语信息来指导解码，或者是在训练数据中利用占位符来替换术语，待翻译完成后再进行还原\upcite{DBLP:conf/naacl/SongZYLWZ19,DBLP:conf/acl/DinuMFA19,DBLP:journals/corr/abs-1912-00567,DBLP:conf/ijcai/ChenCWL20}。
\vspace{0.5em}
\end{itemize}
\parinterval 强制生成的方法是在搜索策略上进行限制，与模型无关，这类方法能保证输出满足约束，但是会影响翻译速度。数据增强的方法是通过构造特定格式的数据让模型训练，从而让模型具有一定的泛化能力，通常不会影响翻译速度，但并不能保证输出能满足约束。
\parinterval 强制生成的方法是在搜索策略上进行限制，与模型无关，这类方法能保证输出满足约束，但是会影响翻译速度。数据增强的方法是通过构造特定格式的数据让模型训练，从而让模型具有自动适应术语约束的能力，通常不会影响翻译速度，但并不能保证输出能满足约束。
\parinterval 此外，机器翻译在应用时通常还需要进行译前译后的处理，译前处理指的是在翻译前对源语言句子进行修改和规范，从而能生成比较通顺的译文，提高译文的可读性和准确率。在实际应用时，由于用户输入的形式多样，可能会包含比如术语、缩写、数学公式等，有些甚至可能还包含网页标签，因此对源文进行预处理是很有必要的。常见的处理工作包括格式转换、标点符号检査、术语编辑、标签识别等，待翻译完成后，则需要对机器译文进行进一步的编辑和修正，从而使其符合使用规范，比如进行标点、格式检查，术语、标签还原等，这些过程通常都是按照设定的处理策略自动完成的。另外,译文长度的控制、译文多样性的控制等也可以丰富机器翻译系统干预的手段（见{\chapterfourteen}）。
......@@ -192,7 +192,7 @@
\item 知识蒸馏（{\chapterthirteen}）。这种方法可以有效地将翻译能力从大模型迁移到小模型。
\vspace{0.5em}
\item 低精度存储及计算（{\chapterfourteen}）。可以使用量化的方式将模型压缩，同时整数型计算也非常适合在CPU等设备上执行。
\item 低精度存储及计算（{\chapterfourteen}）。可以使用量化的方式将模型压缩，同时整型计算也非常适合在CPU等设备上执行。
\vspace{0.5em}
\item 轻量模型结构（{\chapterfourteen}和{\chapterfifteen}）。对机器翻译模型的局部结构进行优化也是非常有效的手段，比如，使用更加轻量的卷积计算模块，或者使用深编码器-浅解码器等高效的结构。
......@@ -206,11 +206,11 @@
\vspace{0.5em}
\end{itemize}
\parinterval 此外，机器翻译系统的工程实现方式也是十分重要的，例如，编译器的选择、底层线性代数库的选择等等。有时候，使用与运行设备相匹配的编译器\footnote{以神经机器翻译为例，张量计算部分大多使用C++等语言编写，因此编译器与设备的适配程度对程序的执行效率影响很大。}，会带来明显的性能提升。如果希望追求更加极致的性能，甚至需要对一些热点模块进行修改。例如，在神经机器翻译中，矩阵乘法就是一个非常耗时的部分。但是这部分计算又与设备、矩阵的形状有很大关系。对于不同设备，根据不同的矩阵形状可以设计相应的矩阵乘法算法。不过，这部分工作对系统开发和硬件指令的使用水平要求较高。
\parinterval 此外，机器翻译系统的工程实现方式也是十分重要的，例如，编译器的选择、底层线性代数库的选择等等。有时候，使用与运行设备相匹配的编译器，会带来明显的性能提升\footnote{以神经机器翻译为例，张量计算部分大多使用C++等语言编写，因此编译器与设备的适配程度对程序的执行效率影响很大。}。如果希望追求更加极致的性能，甚至需要对一些热点模块进行修改。例如，在神经机器翻译中，矩阵乘法就是一个非常耗时的部分。但是这部分计算又与设备、矩阵的形状有很大关系。对于不同设备，根据不同的矩阵形状可以设计相应的矩阵乘法算法。不过，这部分工作对系统开发和硬件指令的使用水平要求较高。
\parinterval 另一个工程问题是，在很多系统中，机器翻译模块并不是单独执行，而是与其他的模块并发执行。这时，由于多个计算密集型任务存在竞争，处理器要进行更多的上下文切换，会造成程序变慢。比如，机器翻译和语音识别两个模块一起运行时{\footnote{在一些语音翻译场景中，由于采用了语音识别和翻译异步执行的方式，两个程序可能会并发。}}，机器翻译的速度会有较明显的下降。对于这种情况，需要设计更好的调度机制。而且在一些同时具有CPU和GPU的设备上，可以考虑合理调度CPU和GPU的资源，增加两种设备可并行处理的内容，避免在某个处理器上的拥塞。
\parinterval 另外，在很多系统中，机器翻译模块并不是单独执行，而是与其它的模块并发执行。这时，由于多个计算密集型任务存在竞争，处理器要进行更多的上下文切换，会造成程序变慢。比如，机器翻译和语音识别两个模块一起运行时{\footnote{在一些语音翻译场景中，由于采用了语音识别和翻译异步执行的方式，两个程序可能会并发。}}，机器翻译的速度会有较明显的下降。对于这种情况，需要设计更好的调度机制。因此在一些同时具有CPU和GPU的设备上，可以考虑合理调度CPU和GPU的资源，增加两种设备可并行处理的内容，避免在某个处理器上的拥塞。
\parinterval 除了运行速度，模型过大也是限制其在小设备上运行的因素。在模型体积上，神经机器翻译具有天然的优势。因此，在对模型规模有苛刻要求的场景中，神经机器翻译是不二的选择。通过量化、剪枝、参数共享等方式，还可以将模型压缩一个数量级以上。
\parinterval 除了运行速度，模型过大也是限制其在小设备上运行的因素。在模型体积上，神经机器翻译模型具有天然的优势。因此，在对模型规模有苛刻要求的场景中，神经机器翻译是不二的选择。另外通过量化、剪枝、参数共享等方式，还可以将模型压缩一个数量级以上。
%----------------------------------------------------------------------------------------
% NEW SECTION
......@@ -218,11 +218,11 @@
\section{机器翻译系统部署}
\parinterval 除了在一些离线设备上使用机器翻译，更多时候机器翻译系统会部署在运算能力较强的服务器上。特别是随着神经机器翻译的大规模应用，在GPU服务器上部署机器翻译系统已经成为了常态。另一方面，GPU服务器的成本较高，而且很多应用中需要同时部署多个语言方向的系统。这时如何充分利用设备以满足大规模的翻译需求就成为了不可回避的问题。有几个方向值得尝试：
\parinterval 除了在一些离线设备上使用机器翻译，更多时候机器翻译系统会部署在运算能力较强的服务器上。一方面随着神经机器翻译的大规模应用，在GPU服务器上部署机器翻译系统已经成为了常态。另一方面，GPU服务器的成本较高，而且很多应用中需要同时部署多个语言方向的系统。这时如何充分利用设备以满足大规模的翻译需求就成为了不可回避的问题。有几个方向值得尝试：
\begin{itemize}
\vspace{0.5em}
\item 对于多语言翻译的场景，使用单模型多语言翻译系统是一种很好的选择（{\chaptersixteen}）。当多个语种的数据量有限、使用频度不高时，这种方法可以很有效地解决翻译需求中长尾部分。例如，一些线上机器翻译服务已经支持超过100种语言的翻译，其中大部分语言之间的翻译需求是相对低频的，因此使用同一个模型进行翻译可以大大节约部署和运维的成本。
\item 对于多语言翻译的场景，使用多语言单模型翻译系统是一种很好的选择（{\chaptersixteen}）。当多个语种的数据量有限、使用频度不高时，这种方法可以很有效地解决翻译需求中的长尾部分。例如，一些线上机器翻译服务已经支持超过100种语言的翻译，其中大部分语言之间的翻译需求是相对低频的，因此使用同一个模型进行翻译可以大大节约部署和运维的成本。
\vspace{0.5em}
\item 使用基于中介语言的翻译也可以有效的解决多语言翻译问题（{\chaptersixteen}）。这种方法同时适合统计机器翻译和神经机器翻译，因此很早就使用在大规模机器翻译部署中。
......@@ -260,15 +260,15 @@
\parinterval （一）网页翻译
\parinterval 进入信息爆炸的时代之后，互联网上海量的数据随处可得，然而由于不同国家和地区语言的差异，网络上的数据也呈现出多语言的特性。当人们在遇到包含不熟悉语言的网页时，无法及时有效地获取其中的信息。因此，对不同语言的网页进行翻译是必不可少的一步。由于网络上网页的数量数不胜数，依靠人工对网页进行翻译是不切实际的，相反，机器翻译十分适合这个任务。目前，市场上有很多浏览器提供网页翻译的服务，极大地简化了人们从网络上获取不同语言信息的难度。
\parinterval 进入信息爆炸的时代之后，互联网上海量的数据随处可得，然而由于不同国家和地区语言的差异，网络上的数据也呈现出多语言的特性。当人们在遇到包含不熟悉语言的网页时，无法及时有效地获取其中的信息。因此，对不同语言的网页进行翻译是必不可少的一步。由于网络上网页的数量数不胜数，依靠人工对网页进行翻译是不切实际的，相反，机器翻译十分适合这个任务。目前，市场上有很多浏览器提供网页翻译的服务，极大地降低了人们从网络上获取不同语言信息的难度。
\parinterval （二）科技文献翻译
\parinterval 在专利等科技文献翻译中，往往需要将文献翻译为英语或者其他语言，比如摘要翻译。以往这种翻译工作通常由人工来完成。由于对翻译结果的质量要求较高，因此要求翻译人员具有相关专业的背景知识，这导致翻译人员资源稀缺。特别是，近几年国内专利申请数不断增加，这给人工翻译带来了很大的负担。相比于人工翻译，机器翻译可以在短时间内完成大量的专利翻译，同时结合术语词典和人工校对等方式，可以保证专利的翻译质量。同时，以专利为代表的科技文献往往具有很强的领域性，针对各类领域文本进行单独优化，机器翻译的品质可以大大提高。因此，机器翻译在专利翻译等行业有十分广泛的应用前景。
\parinterval 在专利等科技文献翻译中，往往需要将文献翻译为英语或者其他语言，比如摘要翻译。以往这种翻译工作通常由人工来完成。由于对翻译结果的质量要求较高，因此要求翻译人员具有相关专业的背景知识，这导致翻译人员资源稀缺。特别是，近几年国内专利申请数不断增加，这给人工翻译带来了很大的负担。相比于人工翻译，机器翻译可以在短时间内完成大量的专利翻译，同时结合术语词典和人工校对等方式，可以保证专利的翻译质量。另外，以专利为代表的科技文献往往具有很强的领域性，针对各类领域文本进行单独优化，机器翻译的品质可以大大提高。因此，机器翻译在专利翻译等行业有十分广泛的应用前景。
\parinterval （三）视频字幕翻译
\parinterval 随着互联网的普及，人们可以通过互联网接触到大量境外影视作品。由于人们可能没有相应的外语能力，通常需要专业人员对字幕进行翻译。因此，这些境外视频的传播受限于字幕翻译的速度和准确度。现在的一些视频网站在使用语音识别为视频生成源语言字幕的同时，通过机器翻译技术为各种语言的受众提供质量尚可的目标语言字幕，这种方式为人们提供了极大的便利。
\parinterval 随着互联网的普及，人们可以通过互联网接触到大量境外影视作品。由于人们可能没有相应的外语能力，通常需要翻译人员对字幕进行翻译。因此，这些境外视频的传播受限于字幕翻译的速度和准确度。现在的一些视频网站在使用语音识别为视频生成源语言字幕的同时，通过机器翻译技术为各种语言的受众提供质量尚可的目标语言字幕，这种方式为人们提供了极大的便利。
\parinterval （四）社交
......@@ -280,7 +280,7 @@
\parinterval （六）中国传统语言文化的翻译
\parinterval 中国几千年的历史留下了极为宝贵的文化遗产，而其中，文言文作为古代书面语，具有言文分离、行文简练的特点，易于流传。言文分离的特点使得文言文和现在的标准汉语具有一定的区别。为了更好发扬中国传统文化，我们需要对文言文进行翻译。而文言文古奥难懂，人们需要具备一定的文言文知识背景才能准确翻译。机器翻译技术也可以帮助人们快速完成文言文的翻译。除此之外，机器翻译技术同样可以用于古诗生成和对联生成等任务。
\parinterval 中国几千年的历史留下了极为宝贵的文化遗产，而其中，文言文作为古代书面语，具有言文分离、行文简练的特点，易于流传。言文分离的特点使得文言文和现在的标准汉语具有一定的区别。为了更好发扬中国传统文化，需要对文言文进行翻译。而文言文古奥难懂，人们需要具备一定的文言文知识背景才能准确翻译。机器翻译技术也可以帮助人们快速完成文言文的翻译。除此之外，机器翻译技术同样可以用于古诗生成和对联生成等任务。
\parinterval （七）全球化
......@@ -288,11 +288,11 @@
\parinterval （八）翻译机/翻译笔
\parinterval 出于商务、学术交流或者旅游的目的，人们在出国时会面临着跨语言交流的问题。近几年，随着出境人数的增加，不少企业推出了翻译机产品。通过结合机器翻译、语音识别和图像识别技术，翻译机实现了图像翻译和语音翻译的功能。用户可以很便捷地获取一些外语图像文字和语音信息，同时可以通过翻译机进行对话，降低跨语言交流门槛。类似的，翻译笔等应用产品可以通过划词翻译的方式，对打印材料中的外语文字进行翻译。
\parinterval 出于商务、学术交流或者旅游的目的，人们在出国时会面临着跨语言交流的问题。近几年，随着出境人数的增加，不少企业推出了翻译机产品。通过结合机器翻译、语音识别和图像识别技术，翻译机实现了图像翻译和语音翻译的功能。用户可以很便捷地获取一些外语图像文字和语音信息，同时可以通过翻译机进行对话，降低跨语言交流门槛。类似地，翻译笔等应用产品可以通过划词翻译的方式，对打印材料中的外语文字进行翻译。
\parinterval （九）翻译结果后编辑
\parinterval （九）译后编辑
\parinterval 翻译结果后编辑是指在机器翻译的结果之上，通过少量的人工编辑来进一步完善机器译文。在传统的人工翻译过程中，翻译人员完全依靠人工的方式进行翻译，这虽然保证了翻译质量，但是时间成本高。相对应的，机器翻译具有速度快和成本低的优势。在一些领域，目前的机器翻译质量已经可以很大程度上减小翻译人员的工作量，翻译人员可以在机器翻译的辅助下，花费相对较小的代价来完成翻译。
\parinterval 翻译结果后编辑是指在机器翻译的结果之上，通过少量的人工编辑来进一步完善机器译文。在传统的人工翻译过程中，翻译人员完全依靠人工的方式进行翻译，这虽然保证了翻译质量，但是时间成本高。相对应地，机器翻译具有速度快和成本低的优势。在一些领域，目前的机器翻译质量已经可以很大程度上减小翻译人员的工作量，翻译人员可以在机器翻译的辅助下，花费相对较小的代价来完成翻译。
%----------------------------------------------------------------------------------------
% NEW SECTION
......
ChapterAppend/chapterappend.tex
......@@ -40,7 +40,7 @@
\vspace{0.5em}
\item NiuTrans.SMT。NiuTrans\upcite{Tong2012NiuTrans}是由东北大学自然语言处理实验室自主研发的统计机器翻译系统，该系统可支持基于短语的模型、基于层次短语的模型以及基于句法的模型。由于使用C++ 语言开发，所以该系统运行时间快，所占存储空间少。系统中内嵌有$n$-gram语言模型，故无需使用其他的系统即可对完成语言建模。网址：\url{http://opensource.niutrans.com/smt/index.html}
\vspace{0.5em}
\item Moses。Moses\upcite{Koehn2007Moses}是统计机器翻译时代最著名的系统之一，（主要）由爱丁堡大学的机器翻译团队开发。最新的Moses系统支持很多的功能，例如，它既支持基于短语的模型，也支持基于句法的模型。Moses 提供因子化翻译模型（Factored Translation Model），因此该模型可以很容易地对不同层次的信息进行建模。此外，它允许将混淆网络和字格作为输入，可缓解系统的1-best输出中的错误。Moses还提供了很多有用的脚本和工具，被机器翻译研究者广泛使用。网址：\url{http://www.statmt.org/moses/}
\item Moses。Moses\upcite{Koehn2007Moses}是统计机器翻译时代最著名的系统之一，（主要）由爱丁堡大学的机器翻译团队开发。最新的Moses系统支持很多的功能，例如，它既支持基于短语的模型，也支持基于句法的模型。Moses 提供因子化翻译模型（Factored Translation Model），因此该模型可以很容易地对不同层次的信息进行建模。此外，它允许将混淆网络和字格作为输入，可缓解系统的1-best输出中的错误。Moses还提供了很多有用的脚本和工具，被机器翻译研究人员广泛使用。网址：\url{http://www.statmt.org/moses/}
\vspace{0.5em}
\item Joshua。Joshua\upcite{Li2010Joshua}是由约翰霍普金斯大学的语言和语音处理中心开发的层次短语翻译系统。由于Joshua是由Java语言开发，所以它在不同的平台上运行或开发时具有良好的可扩展性和可移植性。Joshua也是使用非常广泛的开源机器翻译系统之一。网址：\url{https://cwiki.apache.org/confluence/display/JOSHUA/}
\vspace{0.5em}
......@@ -109,7 +109,7 @@
\label{appendix-B}
\parinterval 除了开源系统，机器翻译的发展还离不开评测比赛。评测比赛使得各个研究组织的成果可以进行科学的对比，共同推动机器翻译的发展与进步。另外在构建机器翻译系统的过程中，数据是必不可少的，尤其是现在主流的神经机器翻译系统，系统的性能往往受限于语料库规模和质量。所幸的是，随着语料库语言学的发展，一些主流语种的相关语料资源已经十分丰富。
\parinterval 为了方便读者进行相关研究，我们汇总了几个常见的评测比赛、一些常用的基准数据集和常用的平行语料。
\parinterval 为了方便读者进行相关研究，本书汇总了几个常见的评测比赛、一些常用的基准数据集和常用的平行语料。
%----------------------------------------------------------------------------------------
% NEW SECTION
......@@ -133,14 +133,14 @@
\vspace{0.5em}
\end{itemize}
\parinterval 以上评测数据大多可以从评测网站上下载，此外部分数据也可以从LDC（Lingu-istic Data Consortium）上申请，网址为\url{https://www.ldc.upenn.edu/}。ELRA（Euro-pean Language Resources Association）上也有一些免费的语料库供研究使用，其官网为\url{http://www.elra.info/}。从机器翻译发展的角度看，这些评测任务给相关研究提供了基准数据集，使得不同的系统都可以在同一个环境下进行比较和分析，进而建立了机器翻译研究所需的实验基础。此外，公开评测也使得研究者可以第一时间了解机器翻译研究的最新成果，比如，有多篇ACL会议最佳论文的灵感就来自当年参加机器翻译评测任务的系统。
\parinterval 以上评测数据大多可以从评测网站上下载，此外部分数据也可以从LDC（Lingu-istic Data Consortium）上申请，网址为\url{https://www.ldc.upenn.edu/}。ELRA（Euro-pean Language Resources Association）上也有一些免费的语料库供研究使用，其官网为\url{http://www.elra.info/}。从机器翻译发展的角度看，这些评测任务给相关研究提供了基准数据集，使得不同的系统都可以在同一个环境下进行比较和分析，进而建立了机器翻译研究所需的实验基础。此外，公开评测也使得研究人员可以第一时间了解机器翻译研究的最新成果，比如，有多篇ACL会议最佳论文的灵感就来自当年参加机器翻译评测任务的系统。
%----------------------------------------------------------------------------------------
% NEW SECTION
%----------------------------------------------------------------------------------------
\section{基准数据集}
\parinterval 这些数据集已经在机器翻译领域中被广泛使用，有很多之前的相关工作可以进行复现和对比。
\parinterval 表\ref{tab:Reference-data-set}所展示的数据集已经在机器翻译领域中被广泛使用，有很多之前的相关工作可以进行复现和对比。
%----------------------------------------------
\begin{table}[htp]{
......@@ -183,7 +183,7 @@
%----------------------------------------------------------------------------------------
\section{平行语料}
\parinterval 神经机器翻译系统的训练需要大量的双语数据，这里我们汇总了一些公开的平行语料，方便读者获取。
\parinterval 神经机器翻译系统的训练需要大量的双语数据，这里本节汇总了一些公开的平行语料，方便读者获取。
\vspace{0.5em}
\begin{itemize}
\item News Commentary Corpus：包括汉语、英语等12个语种，64个语言对的双语数据，爬取自Project Syndicate网站的政治、经济评论。URL：\url{http://www.casmacat.eu/corpus/news-commentary.html}
......@@ -312,7 +312,7 @@ S &=& N(b^{\infty}(V(\seq{s}|\seq{t};2))) \cup (\mathop{\cup}\limits_{ij} N(b_{i
\end{itemize}
\vspace{0.5em}
\parinterval 公式\eqref{eq:1.12}中，$b^{\infty}(V(\seq{s}|\seq{t};2))$ 和 $b_{i \leftrightarrow j}^{\infty}(V_{i \leftrightarrow j}(\seq{s}|\seq{t},2))$ 分别是对 $V(\seq{s}|\seq{t};3)$ 和 $V_{i \leftrightarrow j}(\seq{s}|\seq{t},3)$ 的估计。在计算$S$的过程中，需要知道一个对齐$\seq{a}$的邻居$\seq{a}'$的概率，即通过$\funp{P}_{\theta}(\seq{a},\seq{s}|\seq{t})$计算$\funp{P}_{\theta}(\seq{a}',\seq{s}|\seq{t})$。在模型3中，如果$\seq{a}$和$\seq{a}'$仅区别于某个源语单词$s_j$对齐从$a_j$变到$a_{j}'$，且$a_j$和$a'_j$均不为零，令$a_j=i$，$a'_{j}=i'$，那么
\parinterval 公式\eqref{eq:1.12}中，$b^{\infty}(V(\seq{s}|\seq{t};2))$ 和 $b_{i \leftrightarrow j}^{\infty}(V_{i \leftrightarrow j}(\seq{s}|\seq{t},2))$ 分别是对 $V(\seq{s}|\seq{t};3)$ 和 $V_{i \leftrightarrow j}(\seq{s}|\seq{t},3)$ 的估计。在计算$S$的过程中，需要知道一个对齐$\seq{a}$的邻居$\seq{a}'$的概率，即通过$\funp{P}_{\theta}(\seq{a},\seq{s}|\seq{t})$计算$\funp{P}_{\theta}(\seq{a}',\seq{s}|\seq{t})$。在模型3中，如果$\seq{a}$和$\seq{a}'$仅区别于某个源语言单词$s_j$对齐从$a_j$变到$a_{j}'$，且$a_j$和$a'_j$均不为零，令$a_j=i$，$a'_{j}=i'$，那么
\begin{eqnarray}
\funp{P}_{\theta}(\seq{a}',\seq{s}|\seq{t}) & = & \funp{P}_{\theta}(\seq{a},\seq{s}|\seq{t}) \cdot \nonumber \\
......
ChapterPostscript/postscript.tex
......@@ -40,25 +40,25 @@
\parinterval 如何构建一套好的机器翻译系统呢？假设我们需要给用户提供一套翻译品质不错的机器翻译系统，至少需要考虑三个方面：足够大规模的双语句对集合用于训练、强大的机器翻译技术和错误驱动的打磨过程。从技术应用和产业化角度来看，简单靠提出一个新的机器翻译技术，对于构建一套好的机器翻译系统来说，只能说必要条件，不是充要条件，上述三者缺一不可。
\parinterval 然而，大部分语言对的电子化双语句对集合规模非常小，有的甚至只有一个小规模双语词典。因此资源稀缺语种机器翻译技术研究也成为学术界的研究热点，相信这个课题的突破能大大推动机器翻译技术落地应用。在2017年以前机器翻译市场规模一直很小，主要原因就是机器翻译品质不够好，就算采用最先进的神经机器翻译技术，缺乏足够大规模的双语句对集合作为训练数据，我们也是巧妇难为无米之炊。从技术研究和应用可行性角度来说，解决资源稀缺语种机器翻译问题非常有价值。我们通常可以从两个维度来思考，一是如何获取更多双语句对，甚至包括质量低一点的伪双语数据；二是如何利用更少样本实现高效学习，或者如何充分利用单语数据资源或者可比较数据资源来提升模型学习效果。
\parinterval 然而，大部分语言对的电子化双语句对集合规模非常小，有的甚至只有一个小规模双语词典。因此资源稀缺语种机器翻译技术研究也成为学术界的研究热点，相信这个课题的突破能大大推动机器翻译技术落地应用。在2017年以前机器翻译市场规模一直很小，主要原因就是机器翻译品质不够好，就算采用最先进的神经机器翻译技术，缺乏足够大规模的双语句对集合作为训练数据，我们也是巧妇难为无米之炊。从技术研究和应用可行性角度来说，解决资源稀缺语种机器翻译问题非常有价值。通常可以从两个维度来思考，一是如何获取更多双语句对，甚至包括质量低一点的伪双语数据；二是如何利用更少样本实现高效学习，或者如何充分利用单语数据资源或者可比较数据资源来提升模型学习效果。
\parinterval 做研究可以搞单点突破，但从可实用机器翻译系统构建来说，需要多技术互补融合，以解决实际问题和改善翻译品质。比如说，业内不少研究人员提出采用知识图谱来改善机器翻译，并希望用于解决稀缺资源语种机器翻译问题；还有一些研究工作引入语言分析技术来改善机器翻译，也有的将基于规则的方法、统计机器翻译技术与神经机器翻译技术互补性融合；另外还可以引入预训练技术来改善机器翻译品质，特别是针对稀缺资源语种机器翻译等等。不仅仅限于上述这些，总体来说，这些思路都具有良好的研究价值，但是从应用角度构建可实用机器翻译系统，我们还需要更多考虑技术落地可行性才行。比如大规模知识图谱构建的代价和语言分析技术的精度如何，预训练技术对机器翻译帮助的上限等。
\parinterval 做研究可以搞单点突破，但从可实用机器翻译系统构建来说，需要多技术互补融合，以解决实际问题和改善翻译品质。比如说，业内不少研究人员提出采用知识图谱来改善机器翻译，并希望用于解决稀缺资源语种机器翻译问题；还有一些研究工作引入语言分析技术来改善机器翻译，也有的将基于规则的方法、统计机器翻译技术与神经机器翻译技术互补性融合；另外还可以引入预训练技术来改善机器翻译品质，特别是针对稀缺资源语种机器翻译等等。不仅仅限于上述这些，总体来说，这些思路都具有良好的研究价值，但是从应用角度构建可实用机器翻译系统，还需要更多考虑技术落地可行性才行。比如大规模知识图谱构建的代价和语言分析技术的精度如何，预训练技术对机器翻译帮助的上限等。
\parinterval 通常我们把基于规则的方法、统计机器翻译和神经机器翻译称之为第一、第二和第三代机器翻译技术，很自然会问第四代机器翻译会如何发展？有人说是基于知识的机器翻译技术，也有人说是无监督机器翻译技术或者新的机器翻译范式等。在讨论第四代的问题前，我们能否先回答一个问题？所谓新一代机器翻译技术是否应该比目前机器翻译技术的翻译品质更好？现在的问题是实验结果显示，比如拿商用的英汉汉英新闻机器翻译系统举例，经过几个亿双语句对的训练学习后，翻译品质人工评价可以达到80-90\%之间，那我们需要回答的一个简单问题是所谓的第四代机器翻译技术准备在新闻领域翻译达到怎样的准确率呢？92\%或者93\%的数字估计无法支撑起新一代机器翻译技术的碾压性。
\parinterval 通常把基于规则的方法、统计机器翻译和神经机器翻译称之为第一、第二和第三代机器翻译技术，很自然会问第四代机器翻译会如何发展？有人说是基于知识的机器翻译技术，也有人说是无监督机器翻译技术或者新的机器翻译范式等。在讨论第四代的问题前，能否先回答一个问题？所谓新一代机器翻译技术是否应该比目前机器翻译技术的翻译品质更好？现在的问题是实验结果显示，比如拿商用的英汉汉英新闻机器翻译系统举例，经过几个亿双语句对的训练学习后，翻译品质人工评价准确率可以达到80-90\%之间，那需要回答的一个简单问题是所谓的第四代机器翻译技术准备在新闻领域翻译达到怎样的准确率呢？92\%或者93\%的数字估计无法支撑起新一代机器翻译技术的碾压性。
\parinterval 从历史发展观上来看，新一代的技术必然是存在，换句话说，第四代机器翻译技术一定会出现，只是不知道在什么时候而已。我们可以换个角度来讨论这个问题，神经机器翻译的红利还没有被挖尽，还存在很好的发展空间，在可预期的将来，神经机器翻译技术估计还是属于主流技术，但会产生大量变种。我们愿意把新一代机器翻译技术称之为面向具体应用场景的第四代机器翻译技术，本质上是针对不同应用条件、不同应用场景提出新一代能力更强的机器翻译技术，不是简单一个技术，而是一个技术集合，这是完全可能的。
\parinterval 从历史发展观上来看，新一代的技术必然是存在，换句话说，第四代机器翻译技术一定会出现，只是不知道在什么时候而已。可以换个角度来讨论这个问题，神经机器翻译的红利还没有被挖尽，还存在很好的发展空间，在可预期的将来，神经机器翻译技术估计还是属于主流技术，但会产生大量变种。我们愿意把新一代机器翻译技术称之为面向具体应用场景的第四代机器翻译技术，本质上是针对不同应用条件、不同应用场景提出新一代能力更强的机器翻译技术，不是简单一个技术，而是一个技术集合，这是完全可能的。
\parinterval 近几年神经机器翻译技术大大提升了翻译品质，推动了机器翻译产业化的快速发展。与其它深度学习技术应用一样，缺乏可解释性成为了神经机器翻译一个被攻击点。我们先举个简单例子来说明一下，法庭上法官判决犯罪嫌疑人罪名成立，我们不可能简单说有罪或者无罪，同时会说明根据哪条法律法规作为依据，从判决过程来看，这些依据就是判决结果的解释。如果采用深度学习技术，只是一个有罪或无罪的结果，不提供任何依据细节，不能解释，估计犯罪嫌疑人肯定不服。回头来说，我们希望研究神经机器翻译技术的可解释性，目的是为了“纠错”，也可以有利于人工干预机制等。只有通过可解释性研究，搞清楚翻译错误的原因，最终找到解决方案来实现纠错，才是我们研究神经机器翻译技术可解释性的目的所在。
\parinterval 近几年神经机器翻译技术大大提升了翻译品质，推动了机器翻译产业化的快速发展。与其它深度学习技术应用一样，缺乏可解释性成为了神经机器翻译的一个被攻击点。先举个简单例子来说明一下，法庭上法官判决犯罪嫌疑人罪名成立，不可能简单说有罪或者无罪，同时会说明根据哪条法律法规作为依据，从判决过程来看，这些依据就是判决结果的解释。如果采用深度学习技术，只是一个有罪或无罪的结果，不提供任何依据细节，不能解释，估计犯罪嫌疑人肯定不服。回头来说，我们希望研究神经机器翻译技术的可解释性，目的是为了“纠错”，也可以有利于人工干预机制等。只有通过可解释性研究，搞清楚翻译错误的原因，最终找到解决方案来实现纠错，才是研究神经机器翻译技术可解释性的目的所在。
\parinterval 从上述例子我们可以得出一个分析，我们所需要的可解释性的内涵到底是结论推理的计算过程还是结论推理的以理服人呢？对可解释性的两种理解可能是不一样的，前者面向结论推理过程（how），后者面向结论可理解性（why）。回头来说，对神经机器翻译可解释性研究的目标，到底是前者还是后者呢？目前学术界有一些相关研究，比如对神经机器翻译模型中注意力机制的可视化分析软对齐结果等。有一点是肯定的，我们希望研究神经机器翻译技术的可解释性，目的是为了“纠错”，也可以有利于人工干预机制等。只有通过可解释性研究，搞清楚翻译错误的原因，最终找到解决方案来实现纠错，才是我们研究神经机器翻译技术可解释性的目的所在。
\parinterval 从上述例子可以得出一个分析，我们所需要的可解释性的内涵到底是结论推理的计算过程还是结论推理的以理服人呢？对可解释性的两种理解可能是不一样的，前者面向结论推理过程（how），后者面向结论可理解性（why）。回头来说，对神经机器翻译可解释性研究的目标，到底是前者还是后者呢？目前学术界有一些相关研究，比如对神经机器翻译模型中注意力机制的可视化分析软对齐结果等。有一点是肯定的，我们希望研究神经机器翻译技术的可解释性，目的是为了“纠错”，也可以有利于人工干预机制等。只有通过可解释性研究，搞清楚翻译错误的原因，最终找到解决方案来实现纠错，才是研究神经机器翻译技术可解释性的目的所在。
\parinterval 除了翻译品质维度以外，机器翻译技术应用可以从三个维度来讨论，包括语种维度、领域维度和应用模式维度。关于语种维度，机器翻译技术应该为全球用户服务，提供支持所有国家至少一种官方语言的翻译能力，实现任意两种语言的自动互译。面临的最大问题就是双语数据稀缺，上述已经讨论了这个问题。关于领域维度，通用领域翻译系统对于垂直领域应用来说是不够充分的，最典型的问题在于垂直领域术语翻译的问题，计算机不能无中生有。比较直接可行的解决方案至少有两个，一是引入垂直领域术语双语词典用于改善机器翻译效果；二是收集加工一定规模的垂直领域双语句对来优化训练翻译模型。这两种工程方法虽然简单，但效果不错，相对来说，两者结合才能更加有效，但问题是垂直领域双语句对的收集很多时候代价太高，不太可行，本质上就转换成为垂直领域资源稀缺问题和领域自适应学习问题，另外也可以引入小样本学习、迁移学习和联合学习等机器学习技术来改善这个问题。
\parinterval 除了翻译品质维度以外，机器翻译技术应用还可以从三个维度来讨论，包括语种维度、领域维度和应用模式维度。关于语种维度，机器翻译技术应该为全球用户服务，提供支持所有国家至少一种官方语言的翻译能力，实现任意两种语言的自动互译。面临的最大问题就是双语数据稀缺，上述已经讨论了这个问题。关于领域维度，通用领域翻译系统对于垂直领域应用来说是不够充分的，最典型的问题在于垂直领域术语翻译的问题，计算机不能无中生有。比较直接可行的解决方案至少有两个，一是引入垂直领域术语双语词典用于改善机器翻译效果；二是收集加工一定规模的垂直领域双语句对来优化训练翻译模型。这两种工程方法虽然简单，但效果不错，相对来说，两者结合才能更加有效，但问题是垂直领域双语句对的收集很多时候代价太高，不太可行，本质上就转换成为垂直领域资源稀缺问题和领域自适应学习问题，另外也可以引入小样本学习、迁移学习和联合学习等机器学习技术来改善这个问题。
\parinterval 接下来主要讨论一下机器翻译应用模式的软硬件环境。通常机器翻译典型应用属于在线翻译公有云服务，用户接入非常简单，只需要联网使用浏览器就可以自由免费使用。在某些具体行业应用中，用户对数据翻译安全性和保密性要求非常高，其中可能还会涉及到个性化订制要求，这一点在线翻译公有云服务就无法满足用户需求，本地部署机器翻译私有云和离线机器翻译技术和服务成为了新的应用模式。本地部署私有云的问题在于用户需要自己购买GPU服务器和建机房，硬件投入和代价不低，也许将来会出现一种新的应用模式：在线私有云或专有云，有点像服务托管模式。除此之外还有混合云服务，简单来说就是公有云、私有云和专有云的混合体。
\parinterval 离线机器翻译技术可以为更小型的智能翻译终端设备提供服务，比如大家熟悉的翻译机、翻译笔、翻译耳机等智能翻译设备，在不联网的情况下能够实现高品质机器翻译功能，这个应用模式具有很大的潜力。但需要解决的问题很多，首先是模型大小、翻译速度和翻译品质三大问题，之后还需要考虑不同操作系统（Linux、Android Q和iOS）和不同架构（比如x86、MIPS、ARM等）的CPU芯片的智能适配兼容问题。将来离线翻译系统还可以安装到办公设备上，比如传真机、打印机和复印机等，实现支持多语言的智能办公。目前人工智能芯片发展速度非常快，机器翻译芯片的研发面临的最大问题应该是缺少应用场景和上下游的应用支撑，一旦这个时机成熟，机器翻译芯片研发和应用也有可能会爆发。
\parinterval 机器翻译可以与文档解析、语音识别、OCR和视频字幕提取等技术相结合，丰富机器翻译的应用模式。文档解析技术可以帮助实现Word文档翻译、PDF文档翻译、WPS 文档翻译、邮件翻译等更多格式文档自动翻译的目标，也可以作为插件嵌入到各种办公平台中，成为智能办公好助手。语音识别与机器翻译是绝配，语音翻译用途广泛，比如翻译机、语音翻译APP和会议AI同传应用。但目前最大的问题主要体现在两个方面，一是很多实际应用场景中语音识别结果欠佳，造成错误蔓延，导致机器翻译结果不够理想；二是就算小语种的语音识别效果很好，但资源稀缺型小语种翻译性能不够好。OCR技术可以帮助实现扫描笔和翻译笔的应用、出国旅游的拍照翻译功能，将来还可以与穿戴式设备相结合，比如智能眼镜等等。视频字幕翻译能够帮助我们欣赏没有中文字幕的国外电影和电视节目，比如我们到达任何一个国家，打开电视都能够看到中文字幕，也是非常酷的应用。
\parinterval 机器翻译可以与文档解析、语音识别、光学字符识别（OCR）和视频字幕提取等技术相结合，丰富机器翻译的应用模式。文档解析技术可以帮助实现Word文档翻译、PDF文档翻译、WPS 文档翻译、邮件翻译等更多格式文档自动翻译的目标，也可以作为插件嵌入到各种办公平台中，成为智能办公好助手。语音识别与机器翻译是绝配，语音翻译用途广泛，比如翻译机、语音翻译APP和会议AI同传应用。但目前最大的问题主要体现在两个方面，一是很多实际应用场景中语音识别效果欠佳，造成错误蔓延，导致机器翻译结果不够理想；二是就算小语种的语音识别效果很好，但资源稀缺型小语种翻译性能不够好。OCR技术可以帮助实现扫描笔和翻译笔的应用、出国旅游的拍照翻译功能，将来还可以与穿戴式设备相结合，比如智能眼镜等等。视频字幕翻译能够帮助我们欣赏没有中文字幕的国外电影和电视节目，比如到达任何一个国家，打开电视都能够看到中文字幕，也是非常酷的应用。
\parinterval 上面提到的机器翻译技术大多采用串行流水线，只是简单将两个或者多个不同的技术连接在一起，比如语音翻译过程分两步：语音识别和机器翻译，也可以增加一个语音合成发音功能。其它翻译模式也大同小异，这个简单的串行流水线技术框架最大的问题就是错误蔓延，一旦某个技术环节准确率不够好，最后的结果就不会太好，比如90\%$\times$90\%=81\%。并且后续的技术环节不一定有能力纠正前面技术环节引入的错误，最终导致用户体验不够好。很多人说会议英中AI同传用户体验不够好，很自然以为是机器翻译出了问题，其实目前问题主要出在语音识别环节。
......@@ -66,7 +66,7 @@
\parinterval 回头讨论一下上述提到的第二个问题，机器翻译一直存在一个诟病就是用户不知道如何有效干预纠错，帮助机器翻译系统越来越好，并且我们也不希望它屡教不改。基于规则的方法和统计机器翻译方法相对容易实现人工干预纠错，实现手段比较丰富，而神经机器翻译方法存在不可解释性，难以有效实现人工干预纠错。目前有的研究人员深入研究引入外部知识库（用户双语术语库）来实现对集外词翻译的干预纠错；有的提出使用增量式训练方法不断迭代优化模型，也取得了一些进展；有的融合不同技术来实现更好的机器翻译效果，比如引入基于规则的翻译前处理和后处理，或者引入统计机器翻译技术优化译文选择等等。但这些方法代价不低甚至很高，并且性能提升的效果无法得到保障，有时候可能降低翻译品质，有点像跷跷板现象。总体来说，这个方向的研究工作成果还不够丰富，但对用户来说非常重要，如果能够采用隐性反馈学习方法，在用户不知不觉中不断改善优化机器翻译品质，就非常酷了，这也许会成为将来的一个研究热点。
\parinterval 最后简单评价一下机器翻译市场发展的趋势。机器翻译本身是个强刚需，用于解决全球用户多语言交流障碍问题。机器翻译产业真正热起来，应该归功于神经机器翻译技术应用，之前基于规则的方法和统计机器翻译技术虽然也在工业界得到了应用，但由于翻译品质没有达到用户预期，用户付费欲望比较差，没有良好的商业变现能力，导致机器翻译产业在2017年以前类似于“鸡肋”产业。严格上来说，2016年下半年开始，神经机器翻译技术工业界应用快速激活了用户需求，用户对机器翻译的认可度急剧上升，越来越丰富的应用模式和需求被挖掘出来，除了传统计算机辅助翻译CAT以外，语音和OCR与机器翻译技术结合，使得大家比较熟悉的语音翻译APP、翻译机、翻译笔、会议AI同传和垂直行业（专利、医药、旅游等）等的机器翻译解决方案也逐渐得到了广泛应用。总体来说，机器翻译产学研正处于快速上升期，每年市场规模至少达到100\%增长，随着多模态机器翻译和大数据翻译技术应用，应用场景会越来越丰富，随着5G甚至6G技术发展，视频翻译和电话通讯翻译等应用会进一步爆发。另外，随着人工智能芯片领域的发展，很自然地机器翻译芯片也会逐渐得到应用，比如嵌入到手机、打印机、复印机、传真机和电视机等智能终端设备，实现所有内容皆可翻译，任何场景皆可运行的目标，机器翻译服务将进入人们的日常生活中，无所不在，让生活更加美好！\\
\parinterval 最后简单评价一下机器翻译市场发展的趋势。机器翻译本身是个强刚需，用于解决全球用户多语言交流障碍问题。机器翻译产业真正热起来，应该归功于神经机器翻译技术应用，之前基于规则的方法和统计机器翻译技术虽然也在工业界得到了应用，但由于翻译品质没有达到用户预期，用户付费欲望比较差，没有良好的商业变现能力，导致机器翻译产业在2017年以前类似于“鸡肋”产业。严格上来说，2016年下半年开始，神经机器翻译技术工业界应用快速激活了用户需求，用户对机器翻译的认可度急剧上升，越来越丰富的应用模式和需求被挖掘出来，除了传统计算机辅助翻译（CAT）以外，语音和OCR与机器翻译技术结合，使得大家比较熟悉的语音翻译APP、翻译机、翻译笔、会议AI同传和垂直行业（专利、医药、旅游等）等的机器翻译解决方案也逐渐得到了广泛应用。总体来说，机器翻译产学研正处于快速上升期，每年市场规模至少达到100\%增长，随着多模态机器翻译和大数据翻译技术应用，应用场景会越来越丰富，随着5G甚至6G技术发展，视频翻译和电话通讯翻译等应用会进一步爆发。另外，随着人工智能芯片领域的发展，很自然的机器翻译芯片也会逐渐得到应用，比如嵌入到手机、打印机、复印机、传真机和电视机等智能终端设备，实现所有内容皆可翻译，任何场景皆可运行的目标，机器翻译服务将进入人们的日常生活中，无所不在，让生活更加美好！\\
\hfill 朱靖波
......
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑！
请 注册 或者 后发表评论