Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
5a5a3fef
Commit
5a5a3fef
authored
4 years ago
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
更新 chapter16.tex
parent
e7276b45
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
1 行删除
+1
-1
Chapter16/chapter16.tex
+1
-1
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
5a5a3fef
...
@@ -1003,7 +1003,7 @@ P(\mathbi{y}|\mathbi{x}) & = & \frac{\mathrm{cos}(\mathbi{x},\mathbi{y})/\tau}{\
...
@@ -1003,7 +1003,7 @@ P(\mathbi{y}|\mathbi{x}) & = & \frac{\mathrm{cos}(\mathbi{x},\mathbi{y})/\tau}{\
\parinterval
统计机器翻译时代基于模型结构的方法集中在提升词对齐模型、语言模型等子模型的领域适应性,从而提升统计机器翻译模型在特定领域的表现。而神经机器翻译模型是一个端到端的框架,无法像统计机器翻译一样从增强子模型适应性的角度开展工作。
\parinterval
统计机器翻译时代基于模型结构的方法集中在提升词对齐模型、语言模型等子模型的领域适应性,从而提升统计机器翻译模型在特定领域的表现。而神经机器翻译模型是一个端到端的框架,无法像统计机器翻译一样从增强子模型适应性的角度开展工作。
\parinterval
在使用多领域数据时,神经机器翻译的结构无法有效地利用多领域语料库的信息多样性,混合多个相差较大的领域数据进行训练会使单个领域的翻译性能下降。为了解决这一问题,一个比较典型的做法是在使用多领域数据训练时,如图
\ref
{
fig:16-2-wbh
}
所示,在神经机器翻译模型的编码器中添加一个判别器,使用判别器预测输入句子的领域
\upcite
{
DBLP:conf/wmt/BritzLP17
}
,具体的做法为:在编码器的顶部添加一个判别器网络,这个判别器使用源语言句子
$
x
$
的编码器表示
$
x'
$
作为输入,预测句子所属的领域标签
$
d
$
。为了使预测领域标签d的正确概率
$
\funp
{
P
(
d|H
)
}$
最大,模型在训练过程中最小化如式
\ref
{
eq:16-1-wbh
}
所示的判别器损失
$
\funp
{
L
}_{
P
\rm
{
disc
}}$
。
\parinterval
在使用多领域数据时,神经机器翻译的结构无法有效地利用多领域语料库的信息多样性,混合多个相差较大的领域数据进行训练会使单个领域的翻译性能下降。为了解决这一问题,一个比较典型的做法是在使用多领域数据训练时,如图
\ref
{
fig:16-2-wbh
}
所示,在神经机器翻译模型的编码器中添加一个判别器,使用判别器预测输入句子的领域
\upcite
{
DBLP:conf/wmt/BritzLP17
}
,具体的做法为:在编码器的顶部添加一个判别器网络,这个判别器使用源语言句子
$
x
$
的编码器表示
$
x'
$
作为输入,预测句子所属的领域标签
$
d
$
。为了使预测领域标签d的正确概率
$
\funp
{
P
(
d|H
)
}$
最大,模型在训练过程中最小化如式
\ref
{
eq:16-1-wbh
}
所示的判别器损失
$
\funp
{
L
}_{
\rm
{
disc
}}$
。
\begin{figure}
[h]
\begin{figure}
[h]
\centering
\centering
...
...
This diff is collapsed.
Click to expand it.
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论