合并分支 'caorunzhe' 到 'master'

Caorunzhe

查看合并请求 !373

Chapter9/chapter9.tex

@@ -2162,10 +2162,10 @@ Jobs was the CEO of {\red{\underline{apple}}}.
 
 
 \begin{itemize}
 \begin{itemize}
 \vspace{0.5em}
 \vspace{0.5em}
-\item 端到端学习是神经网络方法的特点之一。这样，系统开发者不需要设计输入和输出的隐含结构，甚至连特征工程都不再需要。但是，另一方面，由于这种端到端学习完全由神经网络自行完成，整个学习过程没有人的先验知识做指导，导致学习的结构和参数很难进行解释。针对这个问题也有很多研究者进行{\small\sffamily\bfseries{可解释机器学习}}\index{可解释机器学习}（Explainable Machine Learning）\index{Explainable Machine Learning}的研究\upcite{DBLP:journals/corr/abs-1905-09418,moraffah2020causal,blodgett2020language,}。对于自然语言处理，方法的可解释性是十分必要的。从另一个角度说，如何使用先验知识改善端到端学习也是很多人关注的方向\upcite{arthur2016incorporating,zhang-etal-2017-prior}，比如，如何使用句法知识改善自然语言处理模型\upcite{stahlberg2016syntactically,currey2019incorporating,Yang2017TowardsBH,marevcek2018extracting,blevins2018deep}。
+\item 端到端学习是神经网络方法的特点之一。这样，系统开发者不需要设计输入和输出的隐含结构，甚至连特征工程都不再需要。但是，另一方面，由于这种端到端学习完全由神经网络自行完成，整个学习过程没有人的先验知识做指导，导致学习的结构和参数很难进行解释。针对这个问题也有很多研究者进行{\small\sffamily\bfseries{可解释机器学习}}\index{可解释机器学习}（Explainable Machine Learning）\index{Explainable Machine Learning}的研究\upcite{moraffah2020causal}。对于自然语言处理，方法的可解释性是十分必要的。从另一个角度说，如何使用先验知识改善端到端学习也是很多人关注的方向\upcite{arthur2016incorporating,zhang-etal-2017-prior}，比如，如何使用句法知识改善自然语言处理模型\upcite{stahlberg2016syntactically,currey2019incorporating,Yang2017TowardsBH,marevcek2018extracting,blevins2018deep}。
 \vspace{0.5em}
 \vspace{0.5em}
 \item 为了进一步提高神经语言模型性能，除了改进模型，还可以在模型中引入新的结构或是其他有效信息，该领域也有很多典型工作值得关注。例如在神经语言模型中引入除了词嵌入以外的单词特征，如语言特征（形态、语法、语义特征等）\upcite{Wu2012FactoredLM,Adel2015SyntacticAS}、上下文信息\upcite{mikolov2012context,Wang2015LargerContextLM}、知识图谱等外部知识\upcite{Ahn2016ANK}；或是在神经语言模型中引入字符级信息，将其作为字符特征单独\upcite{Kim2016CharacterAwareNL,Hwang2017CharacterlevelLM}或与单词特征一起\upcite{Onoe2016GatedWR,Verwimp2017CharacterWordLL}送入模型中；在神经语言模型中引入双向模型也是一种十分有效的尝试，在单词预测时可以同时利用来自过去和未来的文本信息\upcite{Graves2013HybridSR,bahdanau2014neural,Peters2018DeepCW}。
 \item 为了进一步提高神经语言模型性能，除了改进模型，还可以在模型中引入新的结构或是其他有效信息，该领域也有很多典型工作值得关注。例如在神经语言模型中引入除了词嵌入以外的单词特征，如语言特征（形态、语法、语义特征等）\upcite{Wu2012FactoredLM,Adel2015SyntacticAS}、上下文信息\upcite{mikolov2012context,Wang2015LargerContextLM}、知识图谱等外部知识\upcite{Ahn2016ANK}；或是在神经语言模型中引入字符级信息，将其作为字符特征单独\upcite{Kim2016CharacterAwareNL,Hwang2017CharacterlevelLM}或与单词特征一起\upcite{Onoe2016GatedWR,Verwimp2017CharacterWordLL}送入模型中；在神经语言模型中引入双向模型也是一种十分有效的尝试，在单词预测时可以同时利用来自过去和未来的文本信息\upcite{Graves2013HybridSR,bahdanau2014neural,Peters2018DeepCW}。
 \vspace{0.5em}
 \vspace{0.5em}
-\item 词嵌入是自然语言处理近些年的重要进展。所谓“嵌入”是一类方法，理论上，把一个事物进行分布式表示的过程都可以被看作是广义上的“嵌入”。基于这种思想的表示学习也成为了自然语言处理中的前沿方法。比如，如何对树结构，甚至图结构进行分布式表示成为了分析自然语言的重要方法\upcite{DBLP:journals/corr/abs-1809-01854,Yin2018StructVAETL,Aharoni2017TowardsSN}。此外，除了语言建模，还有很多方式可以进行词嵌入的学习，比如，SENNA\upcite{collobert2011natural}、word2vec\upcite{DBLP:journals/corr/abs-1301-3781,mikolov2013distributed}、Glove\upcite{DBLP:conf/emnlp/PenningtonSM14}、CoVe\upcite{mccann2017learned} 等。
+\item 词嵌入是自然语言处理近些年的重要进展。所谓“嵌入”是一类方法，理论上，把一个事物进行分布式表示的过程都可以被看作是广义上的“嵌入”。基于这种思想的表示学习也成为了自然语言处理中的前沿方法。比如，如何对树结构，甚至图结构进行分布式表示成为了分析自然语言的重要方法\upcite{DBLP:journals/corr/abs-1809-01854,Yin2018StructVAETL,Aharoni2017TowardsSN,Bastings2017GraphCE,KoncelKedziorski2019TextGF}。此外，除了语言建模，还有很多方式可以进行词嵌入的学习，比如，SENNA\upcite{collobert2011natural}、word2vec\upcite{DBLP:journals/corr/abs-1301-3781,mikolov2013distributed}、Glove\upcite{DBLP:conf/emnlp/PenningtonSM14}、CoVe\upcite{mccann2017learned} 等。
 \vspace{0.5em}
 \vspace{0.5em}
 \end{itemize}
 \end{itemize}

bibliography.bib

@@ -4223,15 +4223,7 @@ year = {2012}
   year={2020},
   year={2020},
   publisher={ACM New York, NY, USA}
   publisher={ACM New York, NY, USA}
 }
 }
-@article{blodgett2020language,
-  title={Language (Technology) is Power: A Critical Survey of" Bias" in NLP},
-  author={Su Lin Blodgett and 
-          Solon Barocas and 
-		  Hal Daum{\'e} III and 
-		  Hanna M. Wallach},
-  journal={arXiv preprint arXiv:2005.14050},
-  year={2020}
-}
+
 @incollection{nguyen2019understanding,
 @incollection{nguyen2019understanding,
   title={Understanding neural networks via feature visualization: A survey},
   title={Understanding neural networks via feature visualization: A survey},
   author={Anh Nguyen and 
   author={Anh Nguyen and 
@@ -4300,6 +4292,27 @@ year = {2012}
   year={2017}
   year={2017}
 }
 }
 
 
+@inproceedings{Bastings2017GraphCE,
+  title={Graph Convolutional Encoders for Syntax-aware Neural Machine Translation},
+  author={Jasmijn Bastings and 
+          Ivan Titov and W. Aziz and 
+		  Diego Marcheggiani and 
+		  K. Sima'an},
+  publisher={Conference on Empirical Methods in Natural Language Processing},
+  year={2017}
+}
+
+@article{KoncelKedziorski2019TextGF,
+  title={Text Generation from Knowledge Graphs with Graph Transformers},
+  author={Rik Koncel-Kedziorski and 
+          Dhanush Bekal and Yi Luan and 
+		  Mirella Lapata and 
+		  Hannaneh Hajishirzi},
+  journal={ArXiv},
+  year={2019},
+  volume={abs/1904.02342}
+}
+
 
 
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 %%%%% chapter 9------------------------------------------------------
 %%%%% chapter 9------------------------------------------------------
@@ -4635,21 +4648,6 @@ pages ={157-166},
   //publisher = {{AAAI} Press},
   //publisher = {{AAAI} Press},
   year      = {2017},
   year      = {2017},
 }
 }
-@inproceedings{DBLP:journals/corr/abs-1905-09418,
-  author    = {Elena Voita and
-               David Talbot and
-               Fedor Moiseev and
-               Rico Sennrich and
-               Ivan Titov},
-  title     = {Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy
-               Lifting, the Rest Can Be Pruned},
-  publisher = {Proceedings of the 57th Conference of the Association for Computational
-               Linguistics, {ACL} 2019, Florence, Italy, July 28- August 2, 2019,
-               Volume 1: Long Papers},
-  pages     = {5797--5808},
-  //publisher = {Association for Computational Linguistics},
-  year      = {2019},
-}
 @inproceedings{Xiao2019SharingAW,
 @inproceedings{Xiao2019SharingAW,
   author    = {Tong Xiao and
   author    = {Tong Xiao and
                Yinqiao Li and
                Yinqiao Li and