Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
a4bd822a
Commit
a4bd822a
authored
Jan 02, 2021
by
孟霞
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
更新 chapter16.tex
parent
934796f3
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
1 行删除
+1
-1
Chapter16/chapter16.tex
+1
-1
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
a4bd822a
...
...
@@ -803,7 +803,7 @@
\parinterval
在真实场景中,由于每个领域的数据量有限,同时领域数量较多,针对每个领域单独训练一个机器翻译模型是不现实的。所以,通常的策略是混合多领域的数据,来训练一个能够支持多领域翻译的机器翻译模型。虽然混合多个领域的数据可以有效增加训练数据规模,但正如前面所说,由于各个领域训练数据量之间的不平衡,在训练数据过少的领域上,模型表现往往差强人意。一种观点认为,数据量较少的领域数据应该在训练过程中获得更大的权重,从而使这些更有价值的数据发挥出更大的作用
\upcite
{
DBLP:conf/emnlp/MatsoukasRZ09,DBLP:conf/emnlp/FosterGK10
}
。
\parinterval
实际上,基于数据加权的方法与
{
\chapterthirteen
}
中基于样本价值的学习方法是一致的,只是描述的场景略有不同。这类方法本质上在解决
{
\small\bfnew
{
类别不均衡问题
}}
\index
{
类别不均衡问题
}
(Class Imbalance Problem
\index
{
Class Imbalance Problem
}
)
\upcite
{
DBLP:conf/emnlp/ZhuH07
}
。数据加权可以通过修改损失函数,将其缩放
$
\alpha
$
倍来实现(
$
\alpha
$
是样本的权重)。在具体实践中,也可以直接将低资源的领域数据进行复制
\footnote
{
相当于对数据进行重采样
}
达到与其相同的效果。
\parinterval
实际上,基于数据加权的方法与
{
\chapterthirteen
}
中基于样本价值的学习方法是一致的,只是描述的场景略有不同。这类方法本质上在解决
{
\small\bfnew
{
类别不均衡问题
}}
\index
{
类别不均衡问题
}
(Class Imbalance Problem
\index
{
Class Imbalance Problem
}
)
\upcite
{
DBLP:conf/emnlp/ZhuH07
}
。数据加权可以通过修改损失函数,将其缩放
$
\alpha
$
倍来实现(
$
\alpha
$
是样本的权重)。在具体实践中,也可以直接将低资源的领域数据进行复制
\footnote
{
相当于对数据进行重采样
}
达到与其相同的效果
\upcite
{
DBLP:conf/wmt/ShahBS10
}
。
\parinterval
数据选择是数据加权的一种特殊情况,它可以被看做是样本权重非零即一的情况。具体来说,可以直接选择与领域相关的数据参与训练
\upcite
{
DBLP:conf/acl/DuhNST13
}
。由于这种方法并不需要使用全量数据进行训练,因此模型的训练成本较低。由于
{
\chapterthirteen
}
已经对数据加权和数据选择方法进行了详细介绍,这里不再赘述。
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论