Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
889debec
Commit
889debec
authored
4 years ago
by
曹润柘
Browse files
Options
Browse Files
Download
Plain Diff
合并分支 'caorunzhe' 到 'master'
Caorunzhe 查看合并请求
!373
parents
959f0cff
a5b48227
隐藏空白字符变更
内嵌
并排
正在显示
4 个修改的文件
包含
24 行增加
和
26 行删除
+24
-26
Chapter10/Figures/mt-history.png
+0
-0
Chapter10/Figures/qa-sys.jpg
+0
-0
Chapter9/chapter9.tex
+2
-2
bibliography.bib
+22
-24
没有找到文件。
Chapter10/Figures/mt-history.png
查看文件 @
889debec
176 KB
|
W:
1px
|
H:
1px
185 KB
|
W:
1px
|
H:
1px
2-up
Swipe
Onion skin
This diff is collapsed.
Click to expand it.
Chapter10/Figures/qa-sys.jpg
deleted
100644 → 0
查看文件 @
959f0cff
55.4 KB
This diff is collapsed.
Click to expand it.
Chapter9/chapter9.tex
查看文件 @
889debec
...
...
@@ -2162,10 +2162,10 @@ Jobs was the CEO of {\red{\underline{apple}}}.
\begin{itemize}
\vspace
{
0.5em
}
\item
端到端学习是神经网络方法的特点之一。这样,系统开发者不需要设计输入和输出的隐含结构,甚至连特征工程都不再需要。但是,另一方面,由于这种端到端学习完全由神经网络自行完成,整个学习过程没有人的先验知识做指导,导致学习的结构和参数很难进行解释。针对这个问题也有很多研究者进行
{
\small\sffamily\bfseries
{
可解释机器学习
}}
\index
{
可解释机器学习
}
(Explainable Machine Learning)
\index
{
Explainable Machine Learning
}
的研究
\upcite
{
DBLP:journals/corr/abs-1905-09418,moraffah2020causal,blodgett2020language,
}
。对于自然语言处理,方法的可解释性是十分必要的。从另一个角度说,如何使用先验知识改善端到端学习也是很多人关注的方向
\upcite
{
arthur2016incorporating,zhang-etal-2017-prior
}
,比如,如何使用句法知识改善自然语言处理模型
\upcite
{
stahlberg2016syntactically,currey2019incorporating,Yang2017TowardsBH,marevcek2018extracting,blevins2018deep
}
。
\item
端到端学习是神经网络方法的特点之一。这样,系统开发者不需要设计输入和输出的隐含结构,甚至连特征工程都不再需要。但是,另一方面,由于这种端到端学习完全由神经网络自行完成,整个学习过程没有人的先验知识做指导,导致学习的结构和参数很难进行解释。针对这个问题也有很多研究者进行
{
\small\sffamily\bfseries
{
可解释机器学习
}}
\index
{
可解释机器学习
}
(Explainable Machine Learning)
\index
{
Explainable Machine Learning
}
的研究
\upcite
{
moraffah2020causal
}
。对于自然语言处理,方法的可解释性是十分必要的。从另一个角度说,如何使用先验知识改善端到端学习也是很多人关注的方向
\upcite
{
arthur2016incorporating,zhang-etal-2017-prior
}
,比如,如何使用句法知识改善自然语言处理模型
\upcite
{
stahlberg2016syntactically,currey2019incorporating,Yang2017TowardsBH,marevcek2018extracting,blevins2018deep
}
。
\vspace
{
0.5em
}
\item
为了进一步提高神经语言模型性能,除了改进模型,还可以在模型中引入新的结构或是其他有效信息,该领域也有很多典型工作值得关注。例如在神经语言模型中引入除了词嵌入以外的单词特征,如语言特征(形态、语法、语义特征等)
\upcite
{
Wu2012FactoredLM,Adel2015SyntacticAS
}
、上下文信息
\upcite
{
mikolov2012context,Wang2015LargerContextLM
}
、知识图谱等外部知识
\upcite
{
Ahn2016ANK
}
;或是在神经语言模型中引入字符级信息,将其作为字符特征单独
\upcite
{
Kim2016CharacterAwareNL,Hwang2017CharacterlevelLM
}
或与单词特征一起
\upcite
{
Onoe2016GatedWR,Verwimp2017CharacterWordLL
}
送入模型中;在神经语言模型中引入双向模型也是一种十分有效的尝试,在单词预测时可以同时利用来自过去和未来的文本信息
\upcite
{
Graves2013HybridSR,bahdanau2014neural,Peters2018DeepCW
}
。
\vspace
{
0.5em
}
\item
词嵌入是自然语言处理近些年的重要进展。所谓“嵌入”是一类方法,理论上,把一个事物进行分布式表示的过程都可以被看作是广义上的“嵌入”。基于这种思想的表示学习也成为了自然语言处理中的前沿方法。比如,如何对树结构,甚至图结构进行分布式表示成为了分析自然语言的重要方法
\upcite
{
DBLP:journals/corr/abs-1809-01854,Yin2018StructVAETL,Aharoni2017TowardsSN
}
。此外,除了语言建模,还有很多方式可以进行词嵌入的学习,比如,SENNA
\upcite
{
collobert2011natural
}
、word2vec
\upcite
{
DBLP:journals/corr/abs-1301-3781,mikolov2013distributed
}
、Glove
\upcite
{
DBLP:conf/emnlp/PenningtonSM14
}
、CoVe
\upcite
{
mccann2017learned
}
等。
\item
词嵌入是自然语言处理近些年的重要进展。所谓“嵌入”是一类方法,理论上,把一个事物进行分布式表示的过程都可以被看作是广义上的“嵌入”。基于这种思想的表示学习也成为了自然语言处理中的前沿方法。比如,如何对树结构,甚至图结构进行分布式表示成为了分析自然语言的重要方法
\upcite
{
DBLP:journals/corr/abs-1809-01854,Yin2018StructVAETL,Aharoni2017TowardsSN
,Bastings2017GraphCE,KoncelKedziorski2019TextGF
}
。此外,除了语言建模,还有很多方式可以进行词嵌入的学习,比如,SENNA
\upcite
{
collobert2011natural
}
、word2vec
\upcite
{
DBLP:journals/corr/abs-1301-3781,mikolov2013distributed
}
、Glove
\upcite
{
DBLP:conf/emnlp/PenningtonSM14
}
、CoVe
\upcite
{
mccann2017learned
}
等。
\vspace
{
0.5em
}
\end{itemize}
This diff is collapsed.
Click to expand it.
bibliography.bib
查看文件 @
889debec
...
...
@@ -4223,15 +4223,7 @@ year = {2012}
year={2020},
publisher={ACM New York, NY, USA}
}
@article{blodgett2020language,
title={Language (Technology) is Power: A Critical Survey of" Bias" in NLP},
author={Su Lin Blodgett and
Solon Barocas and
Hal Daum{\'e} III and
Hanna M. Wallach},
journal={arXiv preprint arXiv:2005.14050},
year={2020}
}
@incollection{nguyen2019understanding,
title={Understanding neural networks via feature visualization: A survey},
author={Anh Nguyen and
...
...
@@ -4300,6 +4292,27 @@ year = {2012}
year={2017}
}
@inproceedings{Bastings2017GraphCE,
title={Graph Convolutional Encoders for Syntax-aware Neural Machine Translation},
author={Jasmijn Bastings and
Ivan Titov and W. Aziz and
Diego Marcheggiani and
K. Sima'an},
publisher={Conference on Empirical Methods in Natural Language Processing},
year={2017}
}
@article{KoncelKedziorski2019TextGF,
title={Text Generation from Knowledge Graphs with Graph Transformers},
author={Rik Koncel-Kedziorski and
Dhanush Bekal and Yi Luan and
Mirella Lapata and
Hannaneh Hajishirzi},
journal={ArXiv},
year={2019},
volume={abs/1904.02342}
}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%% chapter 9------------------------------------------------------
...
...
@@ -4635,21 +4648,6 @@ pages ={157-166},
//publisher = {{AAAI} Press},
year = {2017},
}
@inproceedings{DBLP:journals/corr/abs-1905-09418,
author = {Elena Voita and
David Talbot and
Fedor Moiseev and
Rico Sennrich and
Ivan Titov},
title = {Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy
Lifting, the Rest Can Be Pruned},
publisher = {Proceedings of the 57th Conference of the Association for Computational
Linguistics, {ACL} 2019, Florence, Italy, July 28- August 2, 2019,
Volume 1: Long Papers},
pages = {5797--5808},
//publisher = {Association for Computational Linguistics},
year = {2019},
}
@inproceedings{Xiao2019SharingAW,
author = {Tong Xiao and
Yinqiao Li and
...
...
This diff is collapsed.
Click to expand it.
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论