Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
14108844
Commit
14108844
authored
Jan 06, 2021
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
16
parent
61e7c918
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
4 行删除
+4
-4
Chapter16/chapter16.tex
+4
-4
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
14108844
...
...
@@ -767,14 +767,14 @@
\label
{
sec:domain-adaptatoin-data-based-method
}
\parinterval
在统计机器翻译时代,如何有效利用外部数据来改善目标领域的翻译效果已经备受关注
。其中的绝大多数思想和方法和翻译模型无关,因此这些方法也同样适用于神经机器翻译。基于数据的领域适应可以分为基于数据加权的方法、基于数据选择的方法、基于伪数据的方法和使用多领域数据。图
\ref
{
fig:16-
19-2
}
展示了这几种方法的示意图。
。其中的绝大多数思想和方法和翻译模型无关,因此这些方法也同样适用于神经机器翻译。基于数据的领域适应可以分为基于数据加权的方法、基于数据选择的方法、基于伪数据的方法和使用多领域数据。图
\ref
{
fig:16-
20
}
展示了这几种方法的示意图。
%----------------------------------------------
\begin{figure}
[h]
\centering
\input
{
Chapter16/Figures/figure-data-based-domain-adaptation-approach
}
\caption
{
基于数据的领域适应方法
}
\label
{
fig:16-
19-2
}
\label
{
fig:16-
20
}
\end{figure}
%----------------------------------------------
...
...
@@ -818,7 +818,7 @@
%----------------------------------------------------------------------------------------
\subsubsection
{
1. 多目标学习
}
\parinterval
在使用多领域数据时,混合多个相差较大的领域数据进行训练会使单个领域的翻译性能下降
\upcite
{
DBLP:conf/eacl/NegriTFBF17
}
。 为了解决这一问题,可以对所有训练数据的来源领域进行区分,一个比较典型的做法是在使用多领域数据训练时,在神经机器翻译模型的编码器顶部中添加一个判别器
\upcite
{
britz2017effective
}
,该判别器使用源语言句子
$
x
$
的编码器表示作为输入,预测句子所属的领域标签
$
d
$
,如图
\ref
{
fig:16-2
0
}
所示。为了使预测领域标签
$
d
$
的正确概率
$
\funp
{
P
(
d|
\mathbi
{
H
}
)
}$
最大(其中
$
\mathbi
{
H
}$
为编码器的隐藏状态),模型在训练过程中最小化如下损失函数
$
\funp
{
L
}_{
\rm
{
disc
}}$
:
\parinterval
在使用多领域数据时,混合多个相差较大的领域数据进行训练会使单个领域的翻译性能下降
\upcite
{
DBLP:conf/eacl/NegriTFBF17
}
。 为了解决这一问题,可以对所有训练数据的来源领域进行区分,一个比较典型的做法是在使用多领域数据训练时,在神经机器翻译模型的编码器顶部中添加一个判别器
\upcite
{
britz2017effective
}
,该判别器使用源语言句子
$
x
$
的编码器表示作为输入,预测句子所属的领域标签
$
d
$
,如图
\ref
{
fig:16-2
1
}
所示。为了使预测领域标签
$
d
$
的正确概率
$
\funp
{
P
(
d|
\mathbi
{
H
}
)
}$
最大(其中
$
\mathbi
{
H
}$
为编码器的隐藏状态),模型在训练过程中最小化如下损失函数
$
\funp
{
L
}_{
\rm
{
disc
}}$
:
\begin{eqnarray}
\funp
{
L
}_{
\rm
{
disc
}}&
=
&
-
\log\funp
{
P
}
(d|
\mathbi
{
H
}
)
...
...
@@ -843,7 +843,7 @@
\centering
\input
{
Chapter16/Figures/figure-schematic-of-the-domain-discriminator
}
\caption
{
领域判别器示意图
}
\label
{
fig:16-2
0
}
\label
{
fig:16-2
1
}
\end{figure}
%----------------------------------------------
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论