Merge branch 'master' into liyanyang

Section06-Neural-Machine-Translation/section06-test.tex

@@ -159,12 +159,19 @@
 %%% 逐渐崛起的NMT
 \begin{frame}{崛起}
 \begin{itemize}
-\item 2015前统计机器翻译(SMT)在NLP是具有统治力的
+\item 2015年前统计机器翻译(SMT)在NLP是具有统治力的
     \begin{itemize}
     \item 当时NMT的系统还很初步，被SMT碾压
     \item 大多数的认知还没有进化到NMT年代，甚至Kalchbrenner等人早期的报告也被人质疑
     \end{itemize}
+\item 2016年情况大有改变，当时非常受关注的一项工作是Google上线了神经机器翻译系统GNMT
+    \begin{itemize}
+    \item 在GNMT前后，百度、微软、小牛翻译等也分别推出了自己的神经机器翻译系统，出现了百花齐放的局面
+    \end{itemize}
 \end{itemize}
+\begin{center}
+\includegraphics[scale=0.35]{./Figures/google-news.png}
+\end{center}
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------

Section06-Neural-Machine-Translation/section06.tex

@@ -143,7 +143,7 @@
 
 %%%------------------------------------------------------------------------------------------------------------
 %%% 译文对比
-\begin{frame}{今天机器翻译的水平}
+\begin{frame}{机器翻译今天的水平}
 
 \begin{tcolorbox}[enhanced,frame engine=empty,boxrule=0.1mm,size=title,colback=red!10!white]
 \begin{flushleft}
@@ -617,13 +617,14 @@ NLP问题的隐含结构假设 & 无隐含结构假设，端到端学习 \\
      & Blunsom        & \\
 2014 & Sutskever等 & Sequence to Sequence Learning with \\
      &             & neural networks \\
-2014 & Cho等 & Learning Phrase Representations using \\
-     &       & RNN Encoder-Decoder for Statistical \\
-     &       & Machine Translation \\
+2014 & Bahdanau等 & Neural Machine Translation by Jointly  \\
+     &       & Learning to Align and Translate \\
 2014 & Cho等 & On the Properties of Neural Machine \\
      &       & Translation \\
 2015 & Jean等 & On Using Very Large Target Vocabulary \\
-     &        & for Neural Machine Translation
+     &        & for Neural Machine Translation \\
+2015 & Luong等 & Effective Approaches to Attention-based \\
+         &               & Neural Machine Translation
 \end{tabular}
 }
 \end{center}
@@ -635,12 +636,19 @@ NLP问题的隐含结构假设 & 无隐含结构假设，端到端学习 \\
 %%% 逐渐崛起的NMT
 \begin{frame}{崛起}
 \begin{itemize}
-\item 2015前统计机器翻译(SMT)在NLP是具有统治力的
+\item 2015年前统计机器翻译(SMT)在NLP是具有统治力的
     \begin{itemize}
-    \item 当时NMT的系统还很初步，被SMT碾压
-    \item 大多数的认知还没有进化到NMT年代，甚至Kalchbrenner等人早期的报告也被人质疑
+    \item 当时NMT的系统还很初级，被SMT碾压
+    \item 大多数的认知还没有进化到NMT时代，甚至Kalchbrenner等人早期的报告也被人质疑
+    \end{itemize}
+\item 2016年情况大有改变，当时非常受关注的一项工作是Google上线了神经机器翻译系统GNMT
+    \begin{itemize}
+    \item 在GNMT前后，百度、微软、小牛翻译等也分别推出了自己的神经机器翻译系统，出现了百花齐放的局面
     \end{itemize}
 \end{itemize}
+\begin{center}
+\includegraphics[scale=0.35]{./Figures/google-news.png}
+\end{center}
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
@@ -653,8 +661,26 @@ NLP问题的隐含结构假设 & 无隐含结构假设，端到端学习 \\
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
+%%% 词嵌入
+\begin{frame}{模块1：词嵌入层}
+\begin{itemize}
+\item 词嵌入
+\end{itemize}
+%%% 图
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 输出
+\begin{frame}{模块2：输出层}
+\begin{itemize}
+\item Softmax
+\end{itemize}
+%%% 图
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
 %%% LSTM
-\begin{frame}{长短时记忆模型(LSTM) (2页？)}
+\begin{frame}{模块3：循环单元 - 长短时记忆模型(LSTM) (2页？)}
 \begin{itemize}
 \item LSTM
 \end{itemize}
@@ -662,8 +688,8 @@ NLP问题的隐含结构假设 & 无隐含结构假设，端到端学习 \\
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% LSTM
-\begin{frame}{门循环单元(GRU)}
+%%% GRU
+\begin{frame}{改进 - 门循环单元(GRU)}
 \begin{itemize}
 \item GRU
 \end{itemize}
@@ -672,19 +698,19 @@ NLP问题的隐含结构假设 & 无隐含结构假设，端到端学习 \\
 
 %%%------------------------------------------------------------------------------------------------------------
 %%% 一些变种
-\begin{frame}{进一步的改进 - 双向模型}
+\begin{frame}{改进 - 双向模型}
 %%% 图
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
 %%% 一些变种
-\begin{frame}{进一步的改进 - 多层网络}
+\begin{frame}{改进 - 多层网络}
 %%% 图
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
 %%% 一些变种
-\begin{frame}{进一步的改进 - fine-tuning}
+\begin{frame}{改进 - fine-tuning}
 %%% 图
 \end{frame}