Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
ed1ce921
Commit
ed1ce921
authored
4 years ago
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
update 16 bib
parent
692876b2
全部展开
显示空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
2 行增加
和
2 行删除
+2
-2
Chapter16/chapter16.tex
+2
-2
bibliography.bib
+0
-0
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
ed1ce921
...
...
@@ -359,7 +359,7 @@
\vspace
{
0.5em
}
\item
基于枢轴语言的方法,即以资源丰富的语言(通常为英语、汉语等)为中心,在语言对之间进行翻译
\upcite
{
DBLP:journals/mt/WuW07
}
;
\vspace
{
0.5em
}
\item
基于知识蒸馏的方法,即用枢轴语言到目标语言的训练指导源语言到目标语言的训练
\upcite
{
DBLP:
conf/acl
/ChenLCL17
}
;
\item
基于知识蒸馏的方法,即用枢轴语言到目标语言的训练指导源语言到目标语言的训练
\upcite
{
DBLP:
journals/corr
/ChenLCL17
}
;
\vspace
{
0.5em
}
\item
基于迁移学习的方法,即从富资源语言对中转移翻译知识以改善低资源语言的翻译
\upcite
{
DBLP:conf/emnlp/KimPPKN19
}
,比如,将富资源的翻译知识迁移到零资源翻译模型上,即在没有双语训练数据的语言对之间进行翻译
\upcite
{
DBLP:journals/tacl/JohnsonSLKWCTVW17
}
。
\vspace
{
0.5em
}
...
...
@@ -403,7 +403,7 @@
\subsection
{
基于知识蒸馏的方法
}
\parinterval
为了解决基于枢轴语言的方法中存在的错误传播等问题,可以采用基于知识蒸馏的方法
\upcite
{
DBLP:
conf/acl
/ChenLCL17,DBLP:conf/iclr/TanRHQZL19
}
。知识蒸馏是一种常用的模型压缩方法
\upcite
{
Hinton2015Distilling
}
,基于教师-学生框架,在第十三章已经进行了详细介绍。针对稀缺资源任务,基于教师-学生框架的方法基本思想如图
\ref
{
fig:16-12
}
所示。其中,虚线表示具有平行语料库的语言对,带有箭头的实线表示翻译方向。这里,将枢轴语言(
$
\seq
{
p
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
当作教师模型,源语言(
$
\seq
{
x
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
当作学生模型。然后,用教师模型来指导学生模型的训练,这个过程中学习的目标就是让
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
尽可能接近
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
,这样学生模型就可以学习到源语言到目标语言的翻译知识。
\parinterval
为了解决基于枢轴语言的方法中存在的错误传播等问题,可以采用基于知识蒸馏的方法
\upcite
{
DBLP:
journals/corr
/ChenLCL17,DBLP:conf/iclr/TanRHQZL19
}
。知识蒸馏是一种常用的模型压缩方法
\upcite
{
Hinton2015Distilling
}
,基于教师-学生框架,在第十三章已经进行了详细介绍。针对稀缺资源任务,基于教师-学生框架的方法基本思想如图
\ref
{
fig:16-12
}
所示。其中,虚线表示具有平行语料库的语言对,带有箭头的实线表示翻译方向。这里,将枢轴语言(
$
\seq
{
p
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
当作教师模型,源语言(
$
\seq
{
x
}$
)到目标语言(
$
\seq
{
y
}$
)的翻译模型
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
当作学生模型。然后,用教师模型来指导学生模型的训练,这个过程中学习的目标就是让
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
尽可能接近
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
p
}
)
$
,这样学生模型就可以学习到源语言到目标语言的翻译知识。
%----------------------------------------------
\begin{figure}
[h]
\centering
...
...
This diff is collapsed.
Click to expand it.
bibliography.bib
查看文件 @
ed1ce921
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论