合并分支 'caorunzhe' 到 'master'

Caorunzhe

查看合并请求 !467

Chapter10/Figures/figure-encoder-decoder-process.tex

@@ -2,7 +2,7 @@
 
 
 \begin{scope}
 \begin{scope}
 \small{
 \small{
-\node [anchor=south west,minimum width=15em] (source) at (0,0) {\textbf{源语言}: 我\ \ \ \ 对\ \ \ \ 你\ \ \ \ 感到\ \ \ \ 满意};
+\node [anchor=south west,minimum width=15em] (source) at (0,0) {\textbf{源语言}: \ \ 我\ \ \ \ 对\ \ \ \ 你\ \ \ \ 感到\ \ \ \ 满意 \ \ };
 {
 {
 \node [anchor=south west,minimum width=15em] (target) at ([yshift=12em]source.north west) {\textbf{目标语言}: I\ \ am\ \ \ satisfied\ \ \ with\ \ \ you};
 \node [anchor=south west,minimum width=15em] (target) at ([yshift=12em]source.north west) {\textbf{目标语言}: I\ \ am\ \ \ satisfied\ \ \ with\ \ \ you};
 }
 }

Chapter10/chapter10.tex

@@ -84,7 +84,7 @@
 \vspace{0.3em}
 \vspace{0.3em}
 \item 2016年谷歌公司发布了基于多层循环神经网络方法的GNMT系统。该系统集成了当时的神经机器翻译技术，并进行了诸多的改进。它的性能显著优于基于短语的机器翻译系统\upcite{Wu2016GooglesNM}，引起了研究者的广泛关注。在之后不到一年的时间里，脸书公司采用卷积神经网络（CNN）研发了新的神经机器翻译系统\upcite{DBLP:journals/corr/GehringAGYD17}，实现了比基于循环神经网络（RNN）系统更高的翻译水平，并大幅提升翻译速度。
 \item 2016年谷歌公司发布了基于多层循环神经网络方法的GNMT系统。该系统集成了当时的神经机器翻译技术，并进行了诸多的改进。它的性能显著优于基于短语的机器翻译系统\upcite{Wu2016GooglesNM}，引起了研究者的广泛关注。在之后不到一年的时间里，脸书公司采用卷积神经网络（CNN）研发了新的神经机器翻译系统\upcite{DBLP:journals/corr/GehringAGYD17}，实现了比基于循环神经网络（RNN）系统更高的翻译水平，并大幅提升翻译速度。
 \vspace{0.3em}
 \vspace{0.3em}
-\item 2017年，Ashish Vaswani等人提出了新的翻译模型Transformer。其完全抛弃了CNN、RNN等结构，仅仅通过自注意力机制和前馈神经网络，不需要使用序列对齐的循环框架就展示出强大的性能，并且巧妙地解决了翻译中长距离依赖问题\upcite{NIPS2017_7181}。Transformer是第一个完全基于注意力机制搭建的模型，不仅训练速度更快，在翻译任务上也获得了更好的结果，一跃成为目前最主流的神经机器翻译框架。
+\item 2017年，Ashish Vaswani等人提出了新的翻译模型Transformer。其完全抛弃了CNN、RNN等结构，仅仅通过自注意力机制和前馈神经网络，不需要使用序列对齐的循环框架就展示出强大的性能，并且巧妙地解决了翻译中长距离依赖问题\upcite{vaswani2017attention}。Transformer是第一个完全基于注意力机制搭建的模型，不仅训练速度更快，在翻译任务上也获得了更好的结果，一跃成为目前最主流的神经机器翻译框架。
 \vspace{0.3em}
 \vspace{0.3em}
 \end{itemize}
 \end{itemize}
 
 
@@ -1010,7 +1010,7 @@ L(\mathbi{Y},\widehat{\mathbi{Y}}) = \sum_{j=1}^n L_{\textrm{ce}}(\mathbi{y}_j,\
 \end{eqnarray}
 \end{eqnarray}
 %\vspace{0.5em}
 %\vspace{0.5em}
 
 
-\noindent 其中，$\gamma$是手工设定的梯度大小阈值， $\| \cdot \|_2$是L2范数，$\mathbi{w}'$表示梯度裁剪后的参数。这个公式的含义在于只要梯度大小超过阈值，就按照阈值与当前梯度大小的比例进行放缩。
+\noindent 其中，$\gamma$是手工设定的梯度大小阈值， $\| \cdot \|_2$是$l_2$范数，$\mathbi{w}'$表示梯度裁剪后的参数。这个公式的含义在于只要梯度大小超过阈值，就按照阈值与当前梯度大小的比例进行放缩。
 
 
 %----------------------------------------------------------------------------------------
 %----------------------------------------------------------------------------------------
 %    NEW SUBSUB-SECTION
 %    NEW SUBSUB-SECTION

bibliography.bib

@@ -4330,6 +4330,14 @@ year = {2012}
 
 
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 %%%%% chapter 10------------------------------------------------------
 %%%%% chapter 10------------------------------------------------------
+@inproceedings{vaswani2017attention,
+	title={Attention is All You Need},
+	author={Ashish {Vaswani} and Noam {Shazeer} and Niki {Parmar} and Jakob {Uszkoreit} and Llion {Jones} and Aidan N. {Gomez} and Lukasz {Kaiser} and Illia {Polosukhin}},
+	publisher={International Conference on Neural Information Processing},
+	pages={5998--6008},
+	year={2017}
+}
+
 @inproceedings{DBLP:conf/acl/LiLWJXZLL20,
 @inproceedings{DBLP:conf/acl/LiLWJXZLL20,
   author    = {Bei Li and
   author    = {Bei Li and
                Hui Liu and
                Hui Liu and
@@ -4417,20 +4425,7 @@ author    = {Yoshua Bengio and
   pages     = {157--166},
   pages     = {157--166},
   year      = {1994}
   year      = {1994}
 }
 }
-@inproceedings{NIPS2017_7181,
-  author    = {Ashish Vaswani and
-               Noam Shazeer and
-               Niki Parmar and
-               Jakob Uszkoreit and
-               Llion Jones and
-               Aidan N. Gomez and
-               Lukasz Kaiser and
-               Illia Polosukhin},
-  title     = {Attention is All you Need},
-  publisher = {Conference on Neural Information Processing Systems},
-  pages     = {5998--6008},
-  year      = {2017}
-}
+
 @article{StahlbergNeural,
 @article{StahlbergNeural,
   title={Neural Machine Translation: A Review},
   title={Neural Machine Translation: A Review},
   author={Felix Stahlberg},
   author={Felix Stahlberg},