Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
ed1ce921
Commit
ed1ce921
authored
Dec 27, 2020
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
update 16 bib
parent
692876b2
全部展开
显示空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
2 行增加
和
2 行删除
+2
-2
Chapter16/chapter16.tex
+2
-2
bibliography.bib
+0
-0
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
ed1ce921
...
...
@@ -359,7 +359,7 @@
\vspace
{
0.5em
}
\item
基于枢轴语言的方法,即以资源丰富的语言(通常为英语、汉语等)为中心,在语言对之间进行翻译
\upcite
{
DBLP:journals/mt/WuW07
}
;
\vspace
{
0.5em
}
\item
基于知识蒸馏的方法,即用枢轴语言到目标语言的训练指导源语言到目标语言的训练
\upcite
{
DBLP:
conf/acl
/ChenLCL17
}
;
\item
基于知识蒸馏的方法,即用枢轴语言到目标语言的训练指导源语言到目标语言的训练
\upcite
{
DBLP:
journals/corr
/ChenLCL17
}
;
\vspace
{
0.5em
}
\item
基于迁移学习的方法,即从富资源语言对中转移翻译知识以改善低资源语言的翻译
\upcite
{
DBLP:conf/emnlp/KimPPKN19
}
,比如,将富资源的翻译知识迁移到零资源翻译模型上,即在没有双语训练数据的语言对之间进行翻译
\upcite
{
DBLP:journals/tacl/JohnsonSLKWCTVW17
}
。
\vspace
{
0.5em
}
...
...
@@ -403,7 +403,7 @@
\subsection
{
基于知识蒸馏的方法
}
\parinterval
为了解决基于枢轴语言的方法中存在的错误传播等问题,可以采用基于知识蒸馏的方法
\upcite
{
DBLP:
conf/acl
/ChenLCL17,DBLP:conf/iclr/TanRHQZL19
}
。知识蒸馏是一种常用的模型压缩方法
\upcite
{
Hinton2015Distilling
}
,基于教师-学生框架,在第十三章已经进行了详细介绍。针对稀缺资源任务,基于教师-学生框架的方法基本思想如图
\ref
{
fig:16-12
}
所示。其中,虚线表示具有平行语料库的语言对,带有箭头的实线表示翻译方向。这里,将枢轴语言(
$
\seq
{
p
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
当作教师模型,源语言(
$
\seq
{
x
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
当作学生模型。然后,用教师模型来指导学生模型的训练,这个过程中学习的目标就是让
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
尽可能接近
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
,这样学生模型就可以学习到源语言到目标语言的翻译知识。
\parinterval
为了解决基于枢轴语言的方法中存在的错误传播等问题,可以采用基于知识蒸馏的方法
\upcite
{
DBLP:
journals/corr
/ChenLCL17,DBLP:conf/iclr/TanRHQZL19
}
。知识蒸馏是一种常用的模型压缩方法
\upcite
{
Hinton2015Distilling
}
,基于教师-学生框架,在第十三章已经进行了详细介绍。针对稀缺资源任务,基于教师-学生框架的方法基本思想如图
\ref
{
fig:16-12
}
所示。其中,虚线表示具有平行语料库的语言对,带有箭头的实线表示翻译方向。这里,将枢轴语言(
$
\seq
{
p
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
当作教师模型,源语言(
$
\seq
{
x
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
当作学生模型。然后,用教师模型来指导学生模型的训练,这个过程中学习的目标就是让
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
尽可能接近
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
,这样学生模型就可以学习到源语言到目标语言的翻译知识。
%----------------------------------------------
\begin{figure}
[h]
\centering
...
...
bibliography.bib
查看文件 @
ed1ce921
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论