section 5

Section05-Neural-Networks-and-Language-Modeling/section05.tex

@@ -12,11 +12,14 @@
 \usepackage{amsmath,amssymb}
 \usepackage{setspace}
 \usepackage{xcolor}
+\usepackage{array,multirow}
 \usepackage{CJK}
 \usepackage{tikz}
 \usepackage{tikz-qtree}
 \usepackage{hyperref}
-\usepackage{ulem}
+\usepackage{changepage}
+\usepackage{pgfplots}
+\usepackage{subfigure}
 
 \usetikzlibrary{arrows,decorations.pathreplacing}
 \usetikzlibrary{shadows} % LATEX and plain TEX when using Tik Z
@@ -66,7 +69,7 @@
 \end{CJK}
 
 \setbeamerfont*{frametitle}{size=\large,series=\bfseries}
-\setbeamertemplate{navigation symbols}{\begin{CJK}{GBK}{hei} 第五章 基于短语和句法的翻译模型 \hspace*{2em} 肖桐\&朱靖波 \end{CJK} \hspace*{2em} \today \hspace*{2em} \insertframenumber{}/\inserttotalframenumber}
+\setbeamertemplate{navigation symbols}{\begin{CJK}{GBK}{hei} 第五章 神经网络和语言模型 \hspace*{2em} 肖桐\&朱靖波 \end{CJK} \hspace*{2em} \today \hspace*{2em} \insertframenumber{}/\inserttotalframenumber}
 
 \setbeamertemplate{itemize items}[circle] % if you want a circle
 \setbeamertemplate{itemize subitem}[triangle] % if you wnat a triangle
@@ -76,7 +79,7 @@
 
 \begin{CJK}{GBK}{you}
 
-\title{\Large{基于短语和句法的翻译模型}}
+\title{\Large{神经网络和语言模型}}
 \author{\large{\textbf{肖桐\ \ 朱靖波}}}
 \institute{
 \blue{\url{xiaotong@mail.neu.edu.cn}} \black{} \\
@@ -95,12 +98,126 @@
 \setlength{\leftmarginii}{1em}
 
 %%%------------------------------------------------------------------------------------------------------------
-\section{翻译中为什么要使用短语}
+\section{为什么要谈神经网络}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 基于单词的模型的问题
-\begin{frame}{基于单词有哪些问题}
+\subsection{历史}
 
+%%%------------------------------------------------------------------------------------------------------------
+%%% 为什么要谈神经网络
+\begin{frame}{为什么要谈神经网络}
+\begin{itemize}
+\item 近些年\textbf{深度学习（Deep Learning）}体现了巨大的潜力
+    \begin{itemize}
+    \item 席卷了包括机器翻译在内的很多NLP任务
+    \item 已经成为了NLP中方法的新范式
+    \item 衍生出\textbf{神经机器翻译}等新一代方法（下一章内容）
+    \end{itemize}
+\vspace{0.2em}
+\begin{center}
+\includegraphics[scale=0.45]{./Figures/deeplearning.jpg}
+\end{center}
+\vspace{0.5em}
+
+\item<2-> \textbf{人工神经网络（Artificial Neural Network）}是深度学习的实践基础
+
+\end{itemize}
+
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 简单的历史
+\begin{frame}{神经网络和深度学习的概念（1940s-1970s）}
+\begin{itemize}
+\item \textbf{神经网络}最早出现在控制论中（Cybernetics），随后更多地在连接主义（Connectionism）中被提及
+    \begin{itemize}
+    \item \textbf{最初的想法}：模拟大脑的生物学习机制进行计算机建模
+    \item<2-> 比如使用线性加权函数来描述输入$\textbf{x}$和结果$\textbf{y}$之间的联系
+    \vspace{-0.5em}
+    \begin{displaymath}
+    f(\textbf{x},\textbf{w})=x_1 \cdot w_1 + ... + x_n \cdot w_n
+    \end{displaymath}\\
+    \vspace{-0.5em}
+    其中$\textbf{w}$是权重。这类模型也影响了随机梯度下降等现在机器学习方法的发展。
+    \item<3-> 这类方法的局限也很明显，无法描述非线性问题，如著名的异或函数（XOR）学习问题
+    \end{itemize}
+
+\end{itemize}
+
+\vspace{-0.5em}
+\begin{center}
+\includegraphics[scale=0.21]{./Figures/concept-history.jpg}\\
+\scriptsize{图片引自《Deep Learning》}
+\end{center}
+
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 深度学习的发展
+\begin{frame}{神经网络和深度学习的发展（1980s-1990s）}
+\begin{itemize}
+\item 现在，生物学属性已经不是神经网络的唯一灵感来源。深度学习也进入了新的发展阶段。两类思潮影响巨大：
+    \begin{itemize}
+    \item<2-> \textbf{连接主义（Connectionism）}。在认知学科中，早期的符号主义（Symbolicism）很难解释大脑如何使用神经元进行推理。连接主义的核心思想是：“大量简单的计算单元连接到一起可以实现智能行为”。\\
+        这也推动了反向传播等训练多层神经网络方法的应用，并发展了包括长短时记忆模型在内的经典建模方法。
+    \item<3-> \textbf{分布式表示（Distributed representation）}：一个复杂系统的任何部分的输入都应该是多个特征共同表示的结果。比如，一个单词并非一个词条，而是由成百上千个特征共同描述出来，而每个特征都描述了这个词的"某个"方面。
+    \end{itemize}
+\item<4-> \alert{遗憾的是}，上世纪90年代后期，在很多应用中人们对神经网络方法期望过高，但是结果并没有达到预期。特别是，核方法、图模型等机器学习方法取得了很好的效果，神经网络研究进入又一次低谷。
+    
+\end{itemize}
+
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 深度学习的第三次浪潮
+\begin{frame}{第三次浪潮（2000s-now）}
+\begin{itemize}
+\item \textbf{深度学习的爆发}源于2006年Hinton等人成功训练了一个深度信念网络（deep belief network）。之后，深度学习的浪潮逐步席卷了机器学习及人工智能应用领域，延续至今。现代深度学习的成功有三方面原因：
+    \begin{enumerate}
+    \item \textbf{模型和算法}的完善与改进
+    \item \textbf{并行计算能力}的提升使大规模实践变为了可能
+    \item 以Hinton等人为代表的学者的\textbf{坚持与持续投入}
+    \end{enumerate}
+\item<2-> \textbf{从应用的角度}，数据量的快速提升和模型容量的增加也为深度学习的成功提供了条件
+\end{itemize}
+
+\visible<2->{
+\begin{center}
+\begin{tikzpicture}{baseline}
+\scriptsize{
+\begin{semilogyaxis}[
+    width=.95\textwidth,
+    height=.38\textwidth,
+    yticklabel style={/pgf/number format/precision=1,/pgf/number format/fixed zerofill},
+    xticklabel style={/pgf/number format/1000 sep=},
+    xlabel style={yshift=0.5em},
+    xlabel={\footnotesize{Year}},ylabel={\footnotesize{\# of sents.}},
+    ymin=1,ymax=1000000000000,
+    xmin=1999,xmax=2020,xtick={2000,2005,2010,2015,2020},
+    legend style={yshift=-5em,xshift=0em,legend cell align=left,legend plot pos=right}
+]
+
+\addplot[purple,mark=square,mark=star,very thick] coordinates {(2001,10000) (2005,2000000) (2008,8000000) (2009,9000000) (2011,10000000) (2012,12000000) (2014,20000000) (2016,30000000) (2018,40000000) };
+\addlegendentry{\tiny{Bi-text used in MT papers}\ \ \ \ \ \ \ \ \ \ }
+\only<3->{
+\addplot[ublue,mark=otimes*,very thick] coordinates {(2005,10000000) (2008,100000000) (2012,3000000000) (2016,5000000000) (2019,10000000000) };
+\addlegendentry{\tiny{Bi-text used in practical systems}}
+}
+
+\end{semilogyaxis}
+}
+\end{tikzpicture}
+\end{center}
+}
+
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
+\subsection{深度学习的优势}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 深度学习的表现
+\begin{frame}{深度学习的表现 - 语言建模}
 \end{frame}
 
 \end{CJK}