Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
T
Toy-MT-Introduction
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
Toy-MT-Introduction
Commits
df4971a9
Commit
df4971a9
authored
Mar 31, 2020
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
remove spaces (section 5, book)
parent
0681eeb8
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
0 行增加
和
66 行删除
+0
-66
Book/Chapter5/chapter5.tex
+0
-66
没有找到文件。
Book/Chapter5/chapter5.tex
查看文件 @
df4971a9
...
...
@@ -2217,69 +2217,3 @@ Jobs was the CEO of {\red{\underline{apple}}}.
\item
预训练是表示学习的重要产物。预训练已经在图像处理等领域得到应用。在自然语言处理中,以BERT为代表的预训练模型席卷了很多自然语言处理任务,在阅读理解等比赛(如Stanford Question Answering)中已经成为了所有参赛系统的标配。除了ELMO、GPT、BERT,还有很多优秀的预训练模型,包括GPT-2
\cite
{
radford2019language
}
、XLM
\cite
{
lample2019cross
}
、MASS
\cite
{
song2019mass
}
、XLNet
\cite
{
yang2019xlnet
}
,等等。但是,预训练往往依赖大规模的数据和并行运算设备,这使得很多普通研究者对训练这样的模型望而却步。不过,也有一些研究关注轻量的预训练方法,也受到了很多关注,例如ALBERT
\cite
{
lan2019albert
}
。
\end{itemize}
\vspace
{
0.5em
}
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论