utf8 version

Section05-Neural-Networks-and-Language-Modeling/section05.tex

-% !Mode:: "TeX:GBK"
+% !Mode:: "TeX:UTF8"
+% !TEX encoding = UTF-8 Unicode
 
 \def\CTeXPreproc{Created by ctex v0.2.13, don't edit!}
 \documentclass[cjk,t,compress,12pt]{beamer}
-%\documentclass[cjk,t,compress,handout,12pt]{beamer}
-%\documentclass{article}
-%\usepackage{beamerarticle}
 \usepackage{pstricks}
 \usepackage{etex}
 \usepackage{eso-pic,graphicx}
@@ -65,11 +63,15 @@
 
 \usefonttheme[onlylarge]{structurebold}
 
-\begin{CJK}{GBK}{song}
+\IfFileExists{C:/WINDOWS/win.ini}
+{\newcommand{\mycfont}{you}}
+{\newcommand{\mycfont}{gbsn}}
+
+\begin{CJK}{UTF8}{\mycfont}
 \end{CJK}
 
 \setbeamerfont*{frametitle}{size=\large,series=\bfseries}
-\setbeamertemplate{navigation symbols}{\begin{CJK}{GBK}{hei} 第五章 神经网络和语言模型 \hspace*{2em} 肖桐\&朱靖波 \end{CJK} \hspace*{2em} \today \hspace*{2em} \insertframenumber{}/\inserttotalframenumber}
+\setbeamertemplate{navigation symbols}{\begin{CJK}{UTF8}{\mycfont} 第五章 神经网络和语言模型 \hspace*{2em} 肖桐\&朱靖波 \end{CJK} \hspace*{2em} \today \hspace*{2em} \insertframenumber{}/\inserttotalframenumber}
 
 \setbeamertemplate{itemize items}[circle] % if you want a circle
 \setbeamertemplate{itemize subitem}[triangle] % if you wnat a triangle
@@ -77,15 +79,15 @@
 
 \begin{document}
 
-\begin{CJK}{GBK}{you}
+\begin{CJK}{UTF8}{\mycfont}
 
-\title{\Large{神经网络和语言模型}}
-\author{\large{\textbf{肖桐\ \ 朱靖波}}}
+\title{\Large{神经网络和语言模型}}
+\author{\large{\textbf{肖桐\ \ 朱靖波}}}
 \institute{
 \blue{\url{xiaotong@mail.neu.edu.cn}} \black{} \\
 \blue{\url{zhujingbo@mail.neu.edu.cn}} \black{} \\
 \vspace{1.0em}
-东北大学 自然语言处理实验室 \\
+东北大学 自然语言处理实验室 \\
 \blue{\underline{\url{http://www.nlplab.com}}} \black{} \\
 \vspace{0.2cm}
 \hspace{0.1cm} \includegraphics[scale=0.1]{../Figures/logo.pdf}
@@ -98,20 +100,20 @@
 \setlength{\leftmarginii}{1em}
 
 %%%------------------------------------------------------------------------------------------------------------
-\section{为什么要谈神经网络}
+\section{为什么要谈神经网络}
 
 %%%------------------------------------------------------------------------------------------------------------
-\subsection{历史}
+\subsection{历史}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 为什么要谈神经网络
-\begin{frame}{为什么要谈神经网络}
+%%% 为什么要谈神经网络
+\begin{frame}{为什么要谈神经网络}
 \begin{itemize}
-\item 近些年\textbf{深度学习（Deep Learning）}体现了巨大的潜力
+\item 近些年\textbf{深度学习（Deep Learning）}体现了巨大的潜力
     \begin{itemize}
-    \item 席卷了包括机器翻译在内的很多NLP任务
-    \item 已经成为了NLP中方法的新范式
-    \item 衍生出\textbf{神经机器翻译}等新一代方法（下一章内容）
+    \item 席卷了包括机器翻译在内的很多NLP任务
+    \item 已经成为了NLP中方法的新范式
+    \item 衍生出\textbf{神经机器翻译}等新一代方法（下一章内容）
     \end{itemize}
 \vspace{0.2em}
 \begin{center}
@@ -119,27 +121,27 @@
 \end{center}
 \vspace{0.5em}
 
-\item<2-> \textbf{人工神经网络（Artificial Neural Network）}是深度学习的实践基础
+\item<2-> \textbf{人工神经网络（Artificial Neural Network）}是深度学习的实践基础
 
 \end{itemize}
 
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 简单的历史
-\begin{frame}{神经网络和深度学习的概念（1940s-1970s）}
+%%% 简单的历史
+\begin{frame}{神经网络和深度学习的概念（1940s-1970s）}
 \begin{itemize}
-\item \textbf{神经网络}最早出现在控制论中（Cybernetics），随后更多地在连接主义（Connectionism）中被提及
+\item \textbf{神经网络}最早出现在控制论中（Cybernetics），随后更多地在连接主义（Connectionism）中被提及
     \begin{itemize}
-    \item \textbf{最初的想法}：模拟大脑的生物学习机制进行计算机建模
-    \item<2-> 比如使用线性加权函数来描述输入$\textbf{x}$和结果$\textbf{y}$之间的联系
+    \item \textbf{最初的想法}：模拟大脑的生物学习机制进行计算机建模
+    \item<2-> 比如使用线性加权函数来描述输入$\textbf{x}$和结果$\textbf{y}$之间的联系
     \vspace{-0.5em}
     \begin{displaymath}
     f(\textbf{x},\textbf{w})=x_1 \cdot w_1 + ... + x_n \cdot w_n
     \end{displaymath}\\
     \vspace{-0.5em}
-    其中$\textbf{w}$是权重。这类模型也影响了随机梯度下降等现在机器学习方法的发展。
-    \item<3-> 这类方法的局限也很明显，无法描述非线性问题，如著名的异或函数（XOR）学习问题
+    其中$\textbf{w}$是权重。这类模型也影响了随机梯度下降等现在机器学习方法的发展。
+    \item<3-> 这类方法的局限也很明显，无法描述非线性问题，如著名的异或函数（XOR）学习问题
     \end{itemize}
 
 \end{itemize}
@@ -147,38 +149,38 @@
 \vspace{-0.5em}
 \begin{center}
 \includegraphics[scale=0.21]{./Figures/concept-history.jpg}\\
-\scriptsize{图片引自《Deep Learning》}
+\scriptsize{图片引自《Deep Learning》}
 \end{center}
 
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 深度学习的发展
-\begin{frame}{神经网络和深度学习的发展（1980s-1990s）}
+%%% 深度学习的发展
+\begin{frame}{神经网络和深度学习的发展（1980s-1990s）}
 \begin{itemize}
-\item 现在，生物学属性已经不是神经网络的唯一灵感来源。深度学习也进入了新的发展阶段。两类思潮影响巨大：
+\item 现在，生物学属性已经不是神经网络的唯一灵感来源。深度学习也进入了新的发展阶段。两类思潮影响巨大：
     \begin{itemize}
-    \item<2-> \textbf{连接主义（Connectionism）}。在认知学科中，早期的符号主义（Symbolicism）很难解释大脑如何使用神经元进行推理。连接主义的核心思想是：“大量简单的计算单元连接到一起可以实现智能行为”。\\
-        这也推动了反向传播等训练多层神经网络方法的应用，并发展了包括长短时记忆模型在内的经典建模方法。
-    \item<3-> \textbf{分布式表示（Distributed representation）}：一个复杂系统的任何部分的输入都应该是多个特征共同表示的结果。比如，一个单词并非一个词条，而是由成百上千个特征共同描述出来，而每个特征都描述了这个词的"某个"方面。
+    \item<2-> \textbf{连接主义（Connectionism）}。在认知学科中，早期的符号主义（Symbolicism）很难解释大脑如何使用神经元进行推理。连接主义的核心思想是：“大量简单的计算单元连接到一起可以实现智能行为”。\\
+        这也推动了反向传播等训练多层神经网络方法的应用，并发展了包括长短时记忆模型在内的经典建模方法。
+    \item<3-> \textbf{分布式表示（Distributed representation）}：一个复杂系统的任何部分的输入都应该是多个特征共同表示的结果。比如，一个单词并非一个词条，而是由成百上千个特征共同描述出来，而每个特征都描述了这个词的"某个"方面。
     \end{itemize}
-\item<4-> \alert{遗憾的是}，上世纪90年代后期，在很多应用中人们对神经网络方法期望过高，但是结果并没有达到预期。特别是，核方法、图模型等机器学习方法取得了很好的效果，神经网络研究进入又一次低谷。
+\item<4-> \alert{遗憾的是}，上世纪90年代后期，在很多应用中人们对神经网络方法期望过高，但是结果并没有达到预期。特别是，核方法、图模型等机器学习方法取得了很好的效果，神经网络研究进入又一次低谷。
     
 \end{itemize}
 
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 深度学习的第三次浪潮
-\begin{frame}{第三次浪潮（2000s-now）}
+%%% 深度学习的第三次浪潮
+\begin{frame}{第三次浪潮（2000s-now）}
 \begin{itemize}
-\item \textbf{深度学习的爆发}源于2006年Hinton等人成功训练了一个深度信念网络（deep belief network）。之后，深度学习的浪潮逐步席卷了机器学习及人工智能应用领域，延续至今。现代深度学习的成功有三方面原因：
+\item \textbf{深度学习的爆发}源于2006年Hinton等人成功训练了一个深度信念网络（deep belief network）。之后，深度学习的浪潮逐步席卷了机器学习及人工智能应用领域，延续至今。现代深度学习的成功有三方面原因：
     \begin{enumerate}
-    \item \textbf{模型和算法}的完善与改进
-    \item \textbf{并行计算能力}的提升使大规模实践变为了可能
-    \item 以Hinton等人为代表的学者的\textbf{坚持与持续投入}
+    \item \textbf{模型和算法}的完善与改进
+    \item \textbf{并行计算能力}的提升使大规模实践变为了可能
+    \item 以Hinton等人为代表的学者的\textbf{坚持与持续投入}
     \end{enumerate}
-\item<2-> \textbf{从应用的角度}，数据量的快速提升和模型容量的增加也为深度学习的成功提供了条件
+\item<2-> \textbf{从应用的角度}，数据量的快速提升和模型容量的增加也为深度学习的成功提供了条件
 \end{itemize}
 
 \visible<2->{
@@ -213,11 +215,29 @@
 \end{frame}
 
 %%%------------------------------------------------------------------------------------------------------------
-\subsection{深度学习的优势}
+\subsection{深度学习的优势}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 深度学习的表现
-\begin{frame}{深度学习的表现 - 语言建模}
+%%% 深度学习的表现
+\begin{frame}{深度学习的表现 - 以语言建模为例}
+\begin{itemize}
+\item \textbf{比如}，在语言建模（LM）任务上，基于神经网络和深度学习的方法体现了巨大优势，在PTB数据上PPL值已经得到惊人的下降（PPL越低越好）
+	\begin{itemize}
+	\item 传统$n$元语法模型面临数据稀疏等问题
+	\item<2-> 神经语言模型可以更好地描述序列生成问题
+	\end{itemize}
+\end{itemize}
+\begin{tabular}{l | l | l | r}
+模型 & 作者 & 年份 & PPL  \\ \hline
+3-gram LM & Brown et al. & 1992 & 178.0 \pause \\ \hline 
+Feed-forward Neural LM & Bengio et al. & 2003 & 162.2 \\
+Recurrent NN-based LM & Mikolov et al. & 2010 & 124.7 \\
+Recurrent NN-LDA & Mikolov et al. & 2012 & 92.0 \\
+LSTM & Zaremba et al. & 2014 & 78.4 \\
+RHN & Zilly et al. & 2016 & 65.4 \\
+AWD-LSTM & Merity et al. & 2018 & 58.8 \\
+GPT-2 (Transformer) & Radford et al. & 2019 & \alert{35.7}
+\end{tabular}
 \end{frame}
 
 \end{CJK}