Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
ee090da1
Commit
ee090da1
authored
Oct 11, 2020
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
wording (sec 10)
parent
2863fdf0
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
1 行删除
+1
-1
Chapter10/chapter10.tex
+1
-1
没有找到文件。
Chapter10/chapter10.tex
查看文件 @
ee090da1
...
...
@@ -1255,7 +1255,7 @@ L(\vectorn{\emph{Y}},\widehat{\vectorn{\emph{Y}}}) = \sum_{j=1}^n L_{\textrm{ce}
\vspace
{
0.5em
}
\item
循环神经网络有很多变种结构。比如,除了RNN、LSTM、GRU,还有其他改进的循环单元结构,如LRN
\upcite
{
DBLP:journals/corr/abs-1905-13324
}
、SRU
\upcite
{
Lei2017TrainingRA
}
、ATR
\upcite
{
Zhang2018SimplifyingNM
}
。
\vspace
{
0.5em
}
\item
注意力机制的使用是机器翻译乃至整个自然语言处理近几年获得成功的重要因素之一
\upcite
{
bahdanau2014neural,DBLP:journals/corr/LuongPM15
}
。早期,有研究者尝试将注意力机制和统计机器翻译的词对齐进行统一
\upcite
{
WangNeural,He2016ImprovedNM,li-etal-2019-word
}
,注意力机制也被应用到文本分类
\upcite
{
yang-etal-2016-hierarchical
}
等任务中
。
\item
注意力机制的使用是机器翻译乃至整个自然语言处理近几年获得成功的重要因素之一
\upcite
{
bahdanau2014neural,DBLP:journals/corr/LuongPM15
}
。早期,有研究者尝试将注意力机制和统计机器翻译的词对齐进行统一
\upcite
{
WangNeural,He2016ImprovedNM,li-etal-2019-word
}
。最近,也有大量的研究工作对注意力机制进行改进,比如,使用自注意力机制构建翻译模型等
\upcite
{
vaswani2017attention
}
。而对注意力模型的改进也成为了自然语言处理中的热点问题之一。在
{
\chapterfifteen
}
会对机器翻译中不同注意力模型进行进一步讨论
。
\vspace
{
0.5em
}
\item
一般来说,神经机器翻译的计算过程是没有人工干预的,翻译流程也无法用人类的知识直接进行解释,因此一个有趣的方向是在神经机器翻译中引入先验知识,使得机器翻译的行为更“像”人。比如,可以使用句法树来引入人类的语言学知识
\upcite
{
Yang2017TowardsBH,Wang2019TreeTI
}
,基于句法的神经机器翻译也包含大量的树结构的神经网络建模
\upcite
{
DBLP:journals/corr/abs-1809-01854,DBLP:journals/corr/abs-1808-09374
}
。此外,也可以把用户定义的词典或者翻译记忆加入到翻译过程来
\upcite
{
DBLP:journals/corr/ZhangZ16c,zhang-etal-2017-prior,duan-etal-2020-bilingual,cao-xiong-2018-encoding
}
,使得用户的约束可以直接反映到机器翻译的结果上来。先验知识的种类还有很多,包括词对齐
\upcite
{
li-etal-2019-word
}
、 篇章信息
\upcite
{
Werlen2018DocumentLevelNM,DBLP:journals/corr/abs-1805-10163
}
等等,都是神经机器翻译中能够使用的信息。
\end{itemize}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论