Commit c7c13816 by xiaotong

new update

parent be1fc0fc
...@@ -119,14 +119,33 @@ ...@@ -119,14 +119,33 @@
\subsection{前馈、循环、自注意力神经网络} \subsection{前馈、循环、自注意力神经网络}
%%%------------------------------------------------------------------------------------------------------------ %%%------------------------------------------------------------------------------------------------------------
%%% 利用前馈神经网络建模$n$-gram %%% n-gram语言模型
\begin{frame}{$n$-gram建模 - 前馈神经网络} \begin{frame}{$n$-gram语言模型}
\begin{itemize} \begin{itemize}
\item 什么是单词? \item \textbf{链式法则}
\begin{eqnarray}
\textrm{P}(w_1 w_2 ... w_m) & = & \textrm{P}(w_1) \textrm{P}(w_2|w_1) \textrm{P}(w_3 | w_1 w_2) ... \nonumber \\
& & \textrm{P}(w_m|w_1...w_{n-1}) \nonumber
\end{eqnarray}
\item \textbf{传统$n$-gram语言模型}:当前词仅依赖于前面$n-1$个词
\begin{eqnarray}
\textrm{P}(w_1 w_2 ... w_m) & = & \textrm{P}(w_1) \textrm{P}(w_2|w_1) \textrm{P}(w_3 | w_1 w_2) ... \nonumber \\
& & \textrm{P}(w_m|\underbrace{w_{m-n+1}...w_{m-1}}_{\text{前面$n-1$个词}}) \nonumber
\end{eqnarray}
\ \ \ \ \ \ 其中
\begin{displaymath}
\textrm{P}(w_m | w_{m-n+1} ... w_{m-1}) = \frac{\textrm{count}(w_{m-n+1}...w_{m})}{\textrm{count}(w_{m-n+1}...w_{m-1})}
\end{displaymath}
\ \ \ \ \ \ $\textrm{count}(\cdot)$表示在训练数据上统计的频次
\end{itemize} \end{itemize}
\end{frame} \end{frame}
%%%------------------------------------------------------------------------------------------------------------ %%%------------------------------------------------------------------------------------------------------------
%%% 前馈神经网络语言模型
\begin{frame}{$n$-gram生成概率的神经网络建模}
\end{frame}
%%%------------------------------------------------------------------------------------------------------------
%%% 深度学习带来的问题及思考 - 并不是无所不能 %%% 深度学习带来的问题及思考 - 并不是无所不能
......
...@@ -3767,10 +3767,10 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设,\alert{端到 ...@@ -3767,10 +3767,10 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设,\alert{端到
特征、规则的\alert{存储耗资源} & 模型存储相对小,但\alert{计算慢} 特征、规则的\alert{存储耗资源} & 模型存储相对小,但\alert{计算慢}
\end{tabular} \end{tabular}
\vspace{0.5em} \vspace{0em}
\begin{itemize} \begin{itemize}
\item<2-> 语言模型任务也可以使用深度学习方法(而且效果非常好:)) \item<2-> 语言模型任务也可以使用深度学习方法(效果非常好)
\begin{itemize} \begin{itemize}
\item 语言模型要回答的问题是如何评价一个词串的好坏 \item 语言模型要回答的问题是如何评价一个词串的好坏
\item 可以回忆一下第二章提到的$n$元语法模型 \item 可以回忆一下第二章提到的$n$元语法模型
...@@ -3785,7 +3785,7 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设,\alert{端到 ...@@ -3785,7 +3785,7 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设,\alert{端到
\visible<3->{ \visible<3->{
\begin{tcolorbox}[enhanced,size=normal,left=2mm,right=1mm,colback=blue!5!white,colframe=blue!75!black,drop fuzzy shadow] \begin{tcolorbox}[enhanced,size=normal,left=2mm,right=1mm,colback=blue!5!white,colframe=blue!75!black,drop fuzzy shadow]
{\Large {\Large
\textbf{如何用神经网络描述词串的概率} \textbf{如何词串的生成概率进行建模}
} }
\end{tcolorbox} \end{tcolorbox}
} }
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论