Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
3d11c0fd
Commit
3d11c0fd
authored
Sep 30, 2020
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
bug fix
parent
da4c208c
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
11 行增加
和
11 行删除
+11
-11
Chapter3/chapter3.tex
+3
-3
Chapter4/chapter4.tex
+8
-8
没有找到文件。
Chapter3/chapter3.tex
查看文件 @
3d11c0fd
...
@@ -64,7 +64,7 @@
...
@@ -64,7 +64,7 @@
\parinterval
一般来说,在送入机器翻译系统前需要对文字序列进行处理和加工,这个过程被称为
{
\small\sffamily\bfseries
{
预处理
}}
\index
{
预处理
}
(Preprocessing)
\index
{
Preprocessing
}
。类似地,在机器翻译模型输出译文后进行的处理被称作
{
\small\sffamily\bfseries
{
后处理
}}
\index
{
后处理
}
(Postprocessing)
\index
{
Postprocessing
}
。这两个过程对机器翻译性能影响很大,比如,对于神经机器翻译系统来说,不同的分词策略可能会造成翻译性能的天差地别。
\parinterval
一般来说,在送入机器翻译系统前需要对文字序列进行处理和加工,这个过程被称为
{
\small\sffamily\bfseries
{
预处理
}}
\index
{
预处理
}
(Preprocessing)
\index
{
Preprocessing
}
。类似地,在机器翻译模型输出译文后进行的处理被称作
{
\small\sffamily\bfseries
{
后处理
}}
\index
{
后处理
}
(Postprocessing)
\index
{
Postprocessing
}
。这两个过程对机器翻译性能影响很大,比如,对于神经机器翻译系统来说,不同的分词策略可能会造成翻译性能的天差地别。
\parinterval
值得注意的是,有些观点认为,对于机器翻译来说,不论是分词还是句法分析,并不要求符合人的认知和语言学约束。换句话说,机器翻译所使用的“单词”和“结构”本身并不是为了符合人类的解释,它们更直接目的是为了进行翻译。从系统开发的角度,有时候即使使用一些与人类的语言习惯有差别的处理,仍然会带来性能的提升,比如在神经机器翻译中,在传统分词的基础上进一步使用
{
\small\sffamily\bfseries
{
双字节编码
}}
\index
{
双字节编码
}
(Byte Pair Encoding,BPE)
\index
{
Byte Pair Encoding
,BPE
}
子词切分
\upcite
{
DBLP:conf/acl/SennrichHB16a
}
会使得机器翻译性能大幅提高。当然,自然语言处理中语言学信息的使用一直是学界关注的焦点。甚至关于语言学结构对机器翻译是否有作用这个问题也有一些不同的观点。但是不能否认的是,无论是语言学的知识,还是计算机自己学习到的知识,对机器翻译都是有价值的。在后续章节会看到,这两种类型的知识对机器翻译帮助很大。
\parinterval
值得注意的是,有些观点认为,对于机器翻译来说,不论是分词还是句法分析,并不要求符合人的认知和语言学约束。换句话说,机器翻译所使用的“单词”和“结构”本身并不是为了符合人类的解释,它们更直接目的是为了进行翻译。从系统开发的角度,有时候即使使用一些与人类的语言习惯有差别的处理,仍然会带来性能的提升,比如在神经机器翻译中,在传统分词的基础上进一步使用
{
\small\sffamily\bfseries
{
双字节编码
}}
\index
{
双字节编码
}
(Byte Pair Encoding,BPE)
\index
{
Byte Pair Encoding
}
子词切分
\upcite
{
DBLP:conf/acl/SennrichHB16a
}
会使得机器翻译性能大幅提高。当然,自然语言处理中语言学信息的使用一直是学界关注的焦点。甚至关于语言学结构对机器翻译是否有作用这个问题也有一些不同的观点。但是不能否认的是,无论是语言学的知识,还是计算机自己学习到的知识,对机器翻译都是有价值的。在后续章节会看到,这两种类型的知识对机器翻译帮助很大。
\parinterval
剩下的问题是如何进行句子的切分和结构的分析。思路有很多,一种常用的方法是对问题进行概率化,用统计模型来描述问题并求解之。比如,一个句子切分的好坏,并不是非零即一的判断,而是要估计出这种切分的可能性大小,最终选择可能性最大的结果进行输出。这也是一种典型的用统计建模的方式来描述自然语言处理问题的方法。
\parinterval
剩下的问题是如何进行句子的切分和结构的分析。思路有很多,一种常用的方法是对问题进行概率化,用统计模型来描述问题并求解之。比如,一个句子切分的好坏,并不是非零即一的判断,而是要估计出这种切分的可能性大小,最终选择可能性最大的结果进行输出。这也是一种典型的用统计建模的方式来描述自然语言处理问题的方法。
...
@@ -266,7 +266,7 @@ $计算这种切分的概率值。
...
@@ -266,7 +266,7 @@ $计算这种切分的概率值。
\parinterval
对于像命名实体识别这样的任务,早期的方法主要是基于词典和规则的方法。这些方法依赖于人工构造的识别规则,通过字符串匹配的方式识别出文本中的命名实体
\upcite
{
1995University,krupka1998isoquest,DBLP:conf/muc/BlackRM98
}
。严格意义上来说,那时命名实体识别还并没有被看作是一种序列标注问题。
\parinterval
对于像命名实体识别这样的任务,早期的方法主要是基于词典和规则的方法。这些方法依赖于人工构造的识别规则,通过字符串匹配的方式识别出文本中的命名实体
\upcite
{
1995University,krupka1998isoquest,DBLP:conf/muc/BlackRM98
}
。严格意义上来说,那时命名实体识别还并没有被看作是一种序列标注问题。
\parinterval
序列标注这个概念更多的是出现在基于统计建模的方法中。许多统计机器学习方法都被成功应用用于命名实体识别任务,例如
{
\small\sffamily\bfseries
{
隐马尔可夫模型
}}
\index
{
隐马尔可夫模型
}
(Hidden Markov Model,HMM)
\index
{
Hidden Markov Model
,HMM
}
\upcite
{
1996Hidden
}
、
{
\small\sffamily\bfseries
{
条件随机场
}}
\index
{
条件随机场
}
(Conditional Random Fields,CRFs)
\index
{
Conditional Random Fields,CRFs
}
\upcite
{
lafferty2001conditional
}
、
{
\small\sffamily\bfseries
{
最大熵
}}
\index
{
最大熵
}
(Maximum Entropy,ME)
\index
{
Maximum Entropy,ME
}
模型
\upcite
{
kapur1989maximum
}
和
{
\small\sffamily\bfseries
{
支持向量机
}}
\index
{
支持向量机
}
(Support Vector Machine,SVM)
\index
{
Support Vector Machine,SVM
}
\upcite
{
1998Support
}
等。此外,近些年深度学习的兴起也给命名实体识别带来了新的思路
\upcite
{
2011Natural
}
。而命名实体识别也成为了验证机器学习方法有效性的重要任务之一。本节将对序列标注中几类基础的方法进行介绍。其中会涉及概率图模型、统计分类模型等方法。特别是统计分类的概念,在后续章节中也会被使用到。
\parinterval
序列标注这个概念更多的是出现在基于统计建模的方法中。许多统计机器学习方法都被成功应用用于命名实体识别任务,例如
{
\small\sffamily\bfseries
{
隐马尔可夫模型
}}
\index
{
隐马尔可夫模型
}
(Hidden Markov Model,HMM)
\index
{
Hidden Markov Model
}
\upcite
{
1996Hidden
}
、
{
\small\sffamily\bfseries
{
条件随机场
}}
\index
{
条件随机场
}
(Conditional Random Fields,CRFs)
\index
{
Conditional Random Fields
}
\upcite
{
lafferty2001conditional
}
、
{
\small\sffamily\bfseries
{
最大熵
}}
\index
{
最大熵
}
(Maximum Entropy,ME)
\index
{
Maximum Entropy
}
模型
\upcite
{
kapur1989maximum
}
和
{
\small\sffamily\bfseries
{
支持向量机
}}
\index
{
支持向量机
}
(Support Vector Machine,SVM)
\index
{
Support Vector Machine
}
\upcite
{
1998Support
}
等。此外,近些年深度学习的兴起也给命名实体识别带来了新的思路
\upcite
{
2011Natural
}
。而命名实体识别也成为了验证机器学习方法有效性的重要任务之一。本节将对序列标注中几类基础的方法进行介绍。其中会涉及概率图模型、统计分类模型等方法。特别是统计分类的概念,在后续章节中也会被使用到。
%----------------------------------------------------------------------------------------
%----------------------------------------------------------------------------------------
% NEW SUB-SECTION
% NEW SUB-SECTION
...
@@ -877,7 +877,7 @@ r_6: & & \textrm{VP} \to \textrm{VV}\ \textrm{NN} \nonumber
...
@@ -877,7 +877,7 @@ r_6: & & \textrm{VP} \to \textrm{VV}\ \textrm{NN} \nonumber
\begin{itemize}
\begin{itemize}
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
在建模方面,本章描述了基于1-gram语言模型的分词、基于上下文无关文法的句法分析等,它们都是基于人工先验知识进行模型设计的思路。也就是,问题所表达的现象被“一步一步”生成出来。这是一种典型的生成式建模思想,它把要解决的问题看作一些观测结果的隐含变量(比如,句子是观测结果,分词结果是隐含在背后的变量),之后通过对隐含变量生成观测结果的过程进行建模,以达到对问题进行数学描述的目的。这类模型一般需要依赖一些独立性假设,假设的合理性对最终的性能有较大影响。相对于
{
\small\sffamily\bfseries
{
生成式模型
}}
\index
{
生成式模型
}
(Generative Model)
\index
{
Generative Model
}
,另一类方法是
{
\small\sffamily\bfseries
{
判别式模型
}}
\index
{
判别式模型
}
(Discriminative Model)
\index
{
Discriminative Model
}
。本章序列标注内容中提到一些模型就是判别式模型,如条件随机场
\upcite
{
lafferty2001conditional
}
。它直接描述了从隐含变量生成观测结果的过程,这样对问题的建模更加直接,同时这类模型可以更加灵活的引入不同的特征。判别模型在自然语言处理中也有广泛应用
\upcite
{
ng2002discriminative,manning2008introduction,berger1996maximum,mitchell1996m,DBLP:conf/acl/OchN02
}
。 在本书的第七章也会使用到判别式模型。
\item
在建模方面,本章描述了基于1-gram语言模型的分词、基于上下文无关文法的句法分析等,它们都是基于人工先验知识进行模型设计的思路。也就是,问题所表达的现象被“一步一步”生成出来。这是一种典型的生成式建模思想,它把要解决的问题看作一些观测结果的隐含变量(比如,句子是观测结果,分词结果是隐含在背后的变量),之后通过对隐含变量生成观测结果的过程进行建模,以达到对问题进行数学描述的目的。这类模型一般需要依赖一些独立性假设,假设的合理性对最终的性能有较大影响。相对于
生成式模型
,另一类方法是
{
\small\sffamily\bfseries
{
判别式模型
}}
\index
{
判别式模型
}
(Discriminative Model)
\index
{
Discriminative Model
}
。本章序列标注内容中提到一些模型就是判别式模型,如条件随机场
\upcite
{
lafferty2001conditional
}
。它直接描述了从隐含变量生成观测结果的过程,这样对问题的建模更加直接,同时这类模型可以更加灵活的引入不同的特征。判别模型在自然语言处理中也有广泛应用
\upcite
{
ng2002discriminative,manning2008introduction,berger1996maximum,mitchell1996m,DBLP:conf/acl/OchN02
}
。 在本书的第七章也会使用到判别式模型。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
此外,本章并没有对分词、句法分析中的预测问题进行深入介绍。比如,如何找到概率最大的分词结果?这部分可以直接借鉴第二章中介绍的搜索方法。比如,对于基于
$
n
$
-gram语言模型的分词方法,可以 使用动态规划
\upcite
{
huang2008coling
}
。对于动态规划的使用条件不满足的情况,可以考虑使用更加复杂的搜索策略,并配合一定的剪枝方法。实际上,无论是基于
$
n
$
-gram 语言模型的分词还是简单的上下文无关文法都有高效的推断方法。比如,
$
n
$
-gram语言模型可以被视为概率有限状态自动机,因此可以直接使用成熟的自动机工具
\upcite
{
mohri2008speech
}
。对于更复杂的句法分析问题,可以考虑使用移进- 规约方法来解决预测问题
\upcite
{
aho1972theory
}
。
\item
此外,本章并没有对分词、句法分析中的预测问题进行深入介绍。比如,如何找到概率最大的分词结果?这部分可以直接借鉴第二章中介绍的搜索方法。比如,对于基于
$
n
$
-gram语言模型的分词方法,可以 使用动态规划
\upcite
{
huang2008coling
}
。对于动态规划的使用条件不满足的情况,可以考虑使用更加复杂的搜索策略,并配合一定的剪枝方法。实际上,无论是基于
$
n
$
-gram 语言模型的分词还是简单的上下文无关文法都有高效的推断方法。比如,
$
n
$
-gram语言模型可以被视为概率有限状态自动机,因此可以直接使用成熟的自动机工具
\upcite
{
mohri2008speech
}
。对于更复杂的句法分析问题,可以考虑使用移进- 规约方法来解决预测问题
\upcite
{
aho1972theory
}
。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
...
...
Chapter4/chapter4.tex
查看文件 @
3d11c0fd
...
@@ -53,7 +53,7 @@
...
@@ -53,7 +53,7 @@
\end{center}
\end{center}
}
\end{table}
}
\end{table}
\parinterval
这里的一个核心问题是:从哪个角度对译文质量进行评价呢?常用的标准有:
{
\small\sffamily\bfseries
{
流畅度
}}
\index
{
流畅度
}
(Fluency)
\index
{
Fluency
}
和
{
\small\sffamily\bfseries
{
忠
实度
}}
\index
{
忠实度
}
(Adequacy)
\index
{
Adequac
y
}
\upcite
{
DBLP:journals/mt/ChurchH93
}
。其中流畅度是指译文在目标语言中的流畅程度,越通顺的译文流畅度越高;忠实度是指译文表达源文意思的程度,如果译文能够全面、准确的表达源文的意思,那么它具有较高的翻译忠实度。在一些极端的情况下,译文可以非常流畅,但是与源文完全不对应。或者,译文可以非常好的对应源文,但是读起来非常不连贯。这些译文都不是很好的译文。
\parinterval
这里的一个核心问题是:从哪个角度对译文质量进行评价呢?常用的标准有:
{
\small\sffamily\bfseries
{
流畅度
}}
\index
{
流畅度
}
(Fluency)
\index
{
Fluency
}
和
{
\small\sffamily\bfseries
{
忠
诚度
}}
\index
{
忠诚度
}
(Fidelity)
\index
{
Fidelit
y
}
\upcite
{
DBLP:journals/mt/ChurchH93
}
。其中流畅度是指译文在目标语言中的流畅程度,越通顺的译文流畅度越高;忠实度是指译文表达源文意思的程度,如果译文能够全面、准确的表达源文的意思,那么它具有较高的翻译忠实度。在一些极端的情况下,译文可以非常流畅,但是与源文完全不对应。或者,译文可以非常好的对应源文,但是读起来非常不连贯。这些译文都不是很好的译文。
\parinterval
传统观点把翻译分为“信”、“达”、“雅”三个层次,而忠实度体现的是一种“信”的思想,而流畅度体现的是一种“达”的思想。不过“雅”在机器翻译评价中还不是一个常用的标准,而且机器翻译还没有达到“雅”的水平,是未来所追求的目标。
\parinterval
传统观点把翻译分为“信”、“达”、“雅”三个层次,而忠实度体现的是一种“信”的思想,而流畅度体现的是一种“达”的思想。不过“雅”在机器翻译评价中还不是一个常用的标准,而且机器翻译还没有达到“雅”的水平,是未来所追求的目标。
...
@@ -109,7 +109,7 @@
...
@@ -109,7 +109,7 @@
\subsection
{
评价策略
}
\subsection
{
评价策略
}
\parinterval
合理的评价指标是人工评价得以顺利进行的基础。机器译文质量的人工评价可以追溯到1966年,自然语言处理咨询委员会提出
{
\small\sffamily\bfseries
{
可理解度
}}
\index
{
可理解度
}
(Intelligibility)
\index
{
Intelligibility
}
和
{
\small\sffamily\bfseries
{
忠诚度
}}
\index
{
忠诚度
}
(Fidelity)
\index
{
Fidelity
}
作为机器译文质量人工评价指标
\upcite
{
DBLP:journals/mtcl/Carroll66
}
。1994 年,
{
\small\sffamily\bfseries
{
充分性
}}
\index
{
充分性
}
(Adequacy)
\index
{
Adequacy
}
、
{
\small\sffamily\bfseries
{
流利度
}}
\index
{
流利度
}
(Fluency)
\index
{
Fluency
}
和
{
\small\sffamily\bfseries
{
信息性
}}
\index
{
信息性
}
(Informativeness)
\index
{
Informativeness
}
成为为ARPA MT
\footnote
{
ARPA MT计划是美国高级研究计划局软件和智能系统技术处人类语言技术计划的一部分。
}
的人工评价标准
\upcite
{
DBLP:conf/amta/WhiteOO94
}
。此后,有不少研究者提出了更多的机器译文质量人工评估指标,例如将
{
\small\sffamily\bfseries
{
清晰度
}}
\index
{
清晰度
}
(Clarity)
\index
{
Clarity
}
和
{
\small\sffamily\bfseries
{
连贯性
}}
\index
{
连贯性
}
(Coherence)
\index
{
Coherence
}
加入人工评价指标中
\upcite
{
Miller:2005:MTS
}
。甚至有人将各种人工评价指标集中在一起,组成了尽可能全面的机器翻译评估框架
\upcite
{
king2003femti
}
。
\parinterval
合理的评价指标是人工评价得以顺利进行的基础。机器译文质量的人工评价可以追溯到1966年,自然语言处理咨询委员会提出
{
\small\sffamily\bfseries
{
可理解度
}}
\index
{
可理解度
}
(Intelligibility)
\index
{
Intelligibility
}
和
忠诚度作为机器译文质量人工评价指标
\upcite
{
DBLP:journals/mtcl/Carroll66
}
。1994 年,
{
\small\sffamily\bfseries
{
充分性
}}
\index
{
充分性
}
(Adequacy)
\index
{
Adequacy
}
、流畅度
和
{
\small\sffamily\bfseries
{
信息性
}}
\index
{
信息性
}
(Informativeness)
\index
{
Informativeness
}
成为为ARPA MT
\footnote
{
ARPA MT计划是美国高级研究计划局软件和智能系统技术处人类语言技术计划的一部分。
}
的人工评价标准
\upcite
{
DBLP:conf/amta/WhiteOO94
}
。此后,有不少研究者提出了更多的机器译文质量人工评估指标,例如将
{
\small\sffamily\bfseries
{
清晰度
}}
\index
{
清晰度
}
(Clarity)
\index
{
Clarity
}
和
{
\small\sffamily\bfseries
{
连贯性
}}
\index
{
连贯性
}
(Coherence)
\index
{
Coherence
}
加入人工评价指标中
\upcite
{
Miller:2005:MTS
}
。甚至有人将各种人工评价指标集中在一起,组成了尽可能全面的机器翻译评估框架
\upcite
{
king2003femti
}
。
\parinterval
人工评价的策略非常多。考虑不同的因素,往往会使用不同的评价方案,比如:
\parinterval
人工评价的策略非常多。考虑不同的因素,往往会使用不同的评价方案,比如:
...
@@ -224,9 +224,9 @@
...
@@ -224,9 +224,9 @@
\subsubsection
{
2.基于
$
\bm
{
n
}$
-gram的方法
}
\label
{
sec:ngram-eval
}
\subsubsection
{
2.基于
$
\bm
{
n
}$
-gram的方法
}
\label
{
sec:ngram-eval
}
\parinterval
BLEU是目前使用最广泛的自动评价指标。BLEU 是Bilingual Evaluation Understudy的缩写,由IBM 的研究人员在2002 年提出
\upcite
{
DBLP:conf/acl/PapineniRWZ02
}
。通过采用
$
n
$
-gram匹配的方式评定机器翻译结果和参考答案之间的相似度,机器译文越接近参考答案就认定它的质量越高。
$
n
$
-gram是指
$
n
$
个连续单词组成的单元,称为
{
\small\sffamily\bfseries
{$
\bm
{
n
}$
元语法单元
}}
\index
{$
\bm
{
n
}$
元语法单元
}
(见
{
\chapterthree
}
)。
$
n
$
越大表示评价时考虑的匹配片段越大。
\parinterval
BLEU是目前使用最广泛的自动评价指标。BLEU 是Bilingual Evaluation Understudy的缩写,由IBM 的研究人员在2002 年提出
\upcite
{
DBLP:conf/acl/PapineniRWZ02
}
。通过采用
$
n
$
-gram匹配的方式评定机器翻译结果和参考答案之间的相似度,机器译文越接近参考答案就认定它的质量越高。
$
n
$
-gram是指
$
n
$
个连续单词组成的单元,称为
{
\small\sffamily\bfseries
{$
\bm
{
n
}$
元语法单元
}}
\index
{${
n
}$
元语法单元
}
(见
{
\chapterthree
}
)。
$
n
$
越大表示评价时考虑的匹配片段越大。
\parinterval
BLEU 的计算首先考虑待评价机器译文中
$
n
$
-gram在参考答案中的匹配率,称为
{
\small\sffamily\bfseries
{$
\bm
{
n
}$
-gram准确率
}}
\index
{$
\
bm
{
n
}$
-gram准确率
}
(
$
n
$
-gram Precision)
\index
{$
n
$
-gram Precision
}
。其计算方法如下:
\parinterval
BLEU 的计算首先考虑待评价机器译文中
$
n
$
-gram在参考答案中的匹配率,称为
{
\small\sffamily\bfseries
{$
\bm
{
n
}$
-gram准确率
}}
\index
{$
\{
n
}$
-gram准确率
}
(
$
n
$
-gram Precision)
\index
{$
n
$
-gram Precision
}
。其计算方法如下:
\begin{eqnarray}
\begin{eqnarray}
\funp
{
P
}_{
n
}
=
\frac
{{{
\textrm
{
coun
}}{{
\textrm
{
t
}}_{{
\textrm
{
hit
}}}}}}{{{
\textrm
{
coun
}}{{
\textrm
{
t
}}_{{
\textrm
{
output
}}}}}}
\funp
{
P
}_{
n
}
=
\frac
{{{
\textrm
{
coun
}}{{
\textrm
{
t
}}_{{
\textrm
{
hit
}}}}}}{{{
\textrm
{
coun
}}{{
\textrm
{
t
}}_{{
\textrm
{
output
}}}}}}
\label
{
eq:4-4
}
\label
{
eq:4-4
}
...
@@ -675,7 +675,7 @@ d=t \frac{s}{\sqrt{n}}
...
@@ -675,7 +675,7 @@ d=t \frac{s}{\sqrt{n}}
\sectionnewpage
\sectionnewpage
\section
{
无参考答案的自动评价
}
\section
{
无参考答案的自动评价
}
\parinterval
无参考答案自动评价在机器翻译领域又被称作
{
\small\sffamily\bfseries
{
质量评估
}}
\index
{
质量评估
}
(Quality Estimation,
\\
QE)
\index
{
Quality Estimation
,QE
}
。与传统的译文质量评价方法不同,质量评估旨在不参照标准译文的情况下,对机器翻译系统的输出在单词、短语、句子、文档等各个层次进行评价。
\parinterval
无参考答案自动评价在机器翻译领域又被称作
{
\small\sffamily\bfseries
{
质量评估
}}
\index
{
质量评估
}
(Quality Estimation,
\\
QE)
\index
{
Quality Estimation
}
。与传统的译文质量评价方法不同,质量评估旨在不参照标准译文的情况下,对机器翻译系统的输出在单词、短语、句子、文档等各个层次进行评价。
\parinterval
人们对于无参考答案自动评价的需求大多来源于机器翻译的实际应用。例如,在机器翻译的译后编辑过程中,译员不仅仅希望了解机器翻译系统的整体翻译质量,还需要了解该系统在某个句子上的表现如何:该机器译文的质量是否很差?需要修改的内容有多少?是否值得进行后编辑?这时,译员更加关注系统在单个数据点上(比如一段话)的可信度而非系统在测试数据集上的平均质量。这时,太多的人工介入就无法保证使用机器翻译所带来的高效性,因此在机器翻译输出译文的同时,需要质量评估系统给出对译文质量的预估结果。这些需求也促使研究人员在质量评估问题上投入了更多的研究力量。包括WMT、CCMT等知名机器翻译评测中也都设置了相关任务,受到了业界的关注。
\parinterval
人们对于无参考答案自动评价的需求大多来源于机器翻译的实际应用。例如,在机器翻译的译后编辑过程中,译员不仅仅希望了解机器翻译系统的整体翻译质量,还需要了解该系统在某个句子上的表现如何:该机器译文的质量是否很差?需要修改的内容有多少?是否值得进行后编辑?这时,译员更加关注系统在单个数据点上(比如一段话)的可信度而非系统在测试数据集上的平均质量。这时,太多的人工介入就无法保证使用机器翻译所带来的高效性,因此在机器翻译输出译文的同时,需要质量评估系统给出对译文质量的预估结果。这些需求也促使研究人员在质量评估问题上投入了更多的研究力量。包括WMT、CCMT等知名机器翻译评测中也都设置了相关任务,受到了业界的关注。
...
@@ -762,7 +762,7 @@ d=t \frac{s}{\sqrt{n}}
...
@@ -762,7 +762,7 @@ d=t \frac{s}{\sqrt{n}}
机器译文(MT):After reconstitution || in the refrigerator || and used within 24 ||
机器译文(MT):After reconstitution || in the refrigerator || and used within 24 ||
\hspace
{
8em
}
hours
.
(英语)
\hspace
{
8em
}
hours
.
(英语)
\label
{
eg:4-8
}
\label
{
eg:4-8
}
\end{example}
\end{example}
...
@@ -798,7 +798,7 @@ d=t \frac{s}{\sqrt{n}}
...
@@ -798,7 +798,7 @@ d=t \frac{s}{\sqrt{n}}
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
预测译文句子的相对排名。当相对排序(详见
\ref
{
sec:human-eval-scoring
}
节)的译文评价方法被引入后,给出机器译文的相对排名成为句子级质量评估的任务目标。
\item
预测译文句子的相对排名。当相对排序(详见
\ref
{
sec:human-eval-scoring
}
节)的译文评价方法被引入后,给出机器译文的相对排名成为句子级质量评估的任务目标。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
预测译文句子的后编辑工作量。在最近的研究中,句子级的质量评估一直在探索各种类型的离散或连续的后编辑标签。例如,通过测量以秒为单位的后编辑时间对译文句子进行评分;通过测量预测后编辑过程所需的击键数对译文句子进行评分;通过计算
{
\small\sffamily\bfseries
{
人工译后编辑距离
}}
\index
{
人工译后编辑距离
}
(Human Translation Error Rate,HTER)
\index
{
Human Translation Error Rate
,HTER
}
,即在后编辑过程中编辑(插入/删除/替换)数量与参考翻译长度的占比率对译文句子进行评分。HTER的计算公式为:
\item
预测译文句子的后编辑工作量。在最近的研究中,句子级的质量评估一直在探索各种类型的离散或连续的后编辑标签。例如,通过测量以秒为单位的后编辑时间对译文句子进行评分;通过测量预测后编辑过程所需的击键数对译文句子进行评分;通过计算
{
\small\sffamily\bfseries
{
人工译后编辑距离
}}
\index
{
人工译后编辑距离
}
(Human Translation Error Rate,HTER)
\index
{
Human Translation Error Rate
}
,即在后编辑过程中编辑(插入/删除/替换)数量与参考翻译长度的占比率对译文句子进行评分。HTER的计算公式为:
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\begin{eqnarray}
\begin{eqnarray}
\textrm
{
HTER
}
=
\frac
{
\mbox
{
编辑操作数目
}}{
\mbox
{
翻译后编辑结果长度
}}
\textrm
{
HTER
}
=
\frac
{
\mbox
{
编辑操作数目
}}{
\mbox
{
翻译后编辑结果长度
}}
...
@@ -906,7 +906,7 @@ Reference: A few days ago, {\red he} contacted the News Channel and said that
...
@@ -906,7 +906,7 @@ Reference: A few days ago, {\red he} contacted the News Channel and said that
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
判断人工后编辑的工作量。人工后编辑工作中有两个不可避免的问题:1)待编辑的机器译文是否值得改?2)待编辑的机器译文需要修改哪里?对于一些质量较差的机器译文来说,人工重译远远比修改译文的效率高,后编辑人员可以借助质量评估系统提供的指标筛选出值得进行后编辑的机器译文,另一方面,质量评估模型可以为每条机器译文提供
{
错误内容、错误类型、错误严重程度
}
的注释,这些内容将帮助后编辑人员准确定位到需要修改的位置,同时在一定程度上提示后编辑人员采取何种修改策略,势必能大大减少后编辑的工作内容。
\item
判断人工后编辑的工作量。人工后编辑工作中有两个不可避免的问题:1)待编辑的机器译文是否值得改?2)待编辑的机器译文需要修改哪里?对于一些质量较差的机器译文来说,人工重译远远比修改译文的效率高,后编辑人员可以借助质量评估系统提供的指标筛选出值得进行后编辑的机器译文,另一方面,质量评估模型可以为每条机器译文提供
{
错误内容、错误类型、错误严重程度
}
的注释,这些内容将帮助后编辑人员准确定位到需要修改的位置,同时在一定程度上提示后编辑人员采取何种修改策略,势必能大大减少后编辑的工作内容。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
自动识别并更正翻译错误。质量评估模型和
{
\small\sffamily\bfseries
{
自动后编辑模型
}}
\index
{
自动后编辑模型
}
(Automatic Podt-Editing,APE)
\index
{
Automatic Podt-Editing
, APE
}
也是很有潜力的应用方向。因为质量评估可以预测出错的位置,进而可以使用自动方法修正这些错误。但是,在这种应用模式中,质量评估的精度是非常关键的,因为如果预测错误可能会产生错误的修改,甚至带来整体译文质量的下降。
\item
自动识别并更正翻译错误。质量评估模型和
{
\small\sffamily\bfseries
{
自动后编辑模型
}}
\index
{
自动后编辑模型
}
(Automatic Podt-Editing,APE)
\index
{
Automatic Podt-Editing
}
也是很有潜力的应用方向。因为质量评估可以预测出错的位置,进而可以使用自动方法修正这些错误。但是,在这种应用模式中,质量评估的精度是非常关键的,因为如果预测错误可能会产生错误的修改,甚至带来整体译文质量的下降。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
辅助外语交流和学习。例如,在很多社交网站上,用户会利用外语进行交流。质量评估模型可以提示该用户输入的内容中存在的用词、语法等问题,这样用户可以重新对内容进行修改。甚至质量评估可以帮助外语学习者发现外语使用中的问题,例如,对于一个英语初学者,如果能提示他/她写的句子中的明显错误,对他/她的外语学习是非常有帮助的。
\item
辅助外语交流和学习。例如,在很多社交网站上,用户会利用外语进行交流。质量评估模型可以提示该用户输入的内容中存在的用词、语法等问题,这样用户可以重新对内容进行修改。甚至质量评估可以帮助外语学习者发现外语使用中的问题,例如,对于一个英语初学者,如果能提示他/她写的句子中的明显错误,对他/她的外语学习是非常有帮助的。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论