new update

Section05-Neural-Networks-and-Language-Modeling/section05-test.tex

@@ -119,14 +119,33 @@
 \subsection{前馈、循环、自注意力神经网络}
 \subsection{前馈、循环、自注意力神经网络}
 
 
 %%%------------------------------------------------------------------------------------------------------------
 %%%------------------------------------------------------------------------------------------------------------
-%%% 利用前馈神经网络建模$n$-gram
-\begin{frame}{$n$-gram建模 - 前馈神经网络}
+%%% n-gram语言模型
+\begin{frame}{$n$-gram语言模型}
 \begin{itemize}
 \begin{itemize}
-\item 什么是单词？
+\item \textbf{链式法则}
+\begin{eqnarray}
+\textrm{P}(w_1 w_2 ... w_m)  & = & \textrm{P}(w_1) \textrm{P}(w_2|w_1) \textrm{P}(w_3 | w_1 w_2) ... \nonumber \\
+                                               &    & \textrm{P}(w_m|w_1...w_{n-1}) \nonumber
+\end{eqnarray}
+\item \textbf{传统$n$-gram语言模型}：当前词仅依赖于前面$n-1$个词
+\begin{eqnarray}
+\textrm{P}(w_1 w_2 ... w_m)  & = & \textrm{P}(w_1) \textrm{P}(w_2|w_1) \textrm{P}(w_3 | w_1 w_2) ... \nonumber \\
+                                               &    & \textrm{P}(w_m|\underbrace{w_{m-n+1}...w_{m-1}}_{\text{前面$n-1$个词}}) \nonumber
+\end{eqnarray}
+\ \ \ \ \ \ 其中
+\begin{displaymath}
+\textrm{P}(w_m | w_{m-n+1} ... w_{m-1})  = \frac{\textrm{count}(w_{m-n+1}...w_{m})}{\textrm{count}(w_{m-n+1}...w_{m-1})} 
+\end{displaymath}
+\ \ \ \ \ \ $\textrm{count}(\cdot)$表示在训练数据上统计的频次
 \end{itemize}
 \end{itemize}
 \end{frame}
 \end{frame}
 
 
 %%%------------------------------------------------------------------------------------------------------------
 %%%------------------------------------------------------------------------------------------------------------
+%%% 前馈神经网络语言模型
+\begin{frame}{$n$-gram生成概率的神经网络建模}
+\end{frame}
+
+%%%------------------------------------------------------------------------------------------------------------
 %%% 深度学习带来的问题及思考 - 并不是无所不能
 %%% 深度学习带来的问题及思考 - 并不是无所不能
 
 
 
 

Section05-Neural-Networks-and-Language-Modeling/section05.tex

@@ -3767,10 +3767,10 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设，\alert{端到
 特征、规则的\alert{存储耗资源} & 模型存储相对小，但\alert{计算慢}
 特征、规则的\alert{存储耗资源} & 模型存储相对小，但\alert{计算慢}
 \end{tabular}
 \end{tabular}
 
 
-\vspace{0.5em}
+\vspace{0em}
 
 
 \begin{itemize}
 \begin{itemize}
-\item<2-> 语言模型任务也可以使用深度学习方法(而且效果非常好:))
+\item<2-> 语言模型任务也可以使用深度学习方法(效果非常好)
     \begin{itemize}
     \begin{itemize}
     \item 语言模型要回答的问题是如何评价一个词串的好坏
     \item 语言模型要回答的问题是如何评价一个词串的好坏
     \item 可以回忆一下第二章提到的$n$元语法模型
     \item 可以回忆一下第二章提到的$n$元语法模型
@@ -3785,7 +3785,7 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设，\alert{端到
 \visible<3->{
 \visible<3->{
 \begin{tcolorbox}[enhanced,size=normal,left=2mm,right=1mm,colback=blue!5!white,colframe=blue!75!black,drop fuzzy shadow]
 \begin{tcolorbox}[enhanced,size=normal,left=2mm,right=1mm,colback=blue!5!white,colframe=blue!75!black,drop fuzzy shadow]
 {\Large
 {\Large
-\textbf{如何用神经网络描述词串的概率？}
+\textbf{如何词串的生成概率进行建模？}
 }
 }
 \end{tcolorbox}
 \end{tcolorbox}
 }
 }