new update

Section05-Neural-Networks-and-Language-Modeling/section05-test.tex

@@ -113,24 +113,16 @@
 \newcounter{mycount4}
 
 %%%------------------------------------------------------------------------------------------------------------
-\subsection{参数学习 - 反向传播}
+\section{神经语言模型}
 
 %%%------------------------------------------------------------------------------------------------------------
-%%% 前向过程及其它问题
-\begin{frame}{前向计算及其它}
+\subsection{词嵌入}
+
+%%%------------------------------------------------------------------------------------------------------------
+%%% 什么是词
+\begin{frame}{如何表示``词''}
 \begin{itemize}
-\item \alert{前向计算}实际上就是网络构建的过程，有两种常用方式
-    \begin{itemize}
-    \item \textbf{动态图}(如PyTorch、NiuTensor)：写完函数表达式，前向计算即完成，易于调试
-    \item \textbf{静态图}(如TensorFlow)：函数表达式完成后，并不能得到前向计算结果，需要显性调用一个Forward函数，但是计算图可以进行深度优化，执行效率较高
-    \end{itemize}
-\item<2-> 其它一些深度学习系统实现的问题，值得关注，不过这些都超出了本课程的范围
-    \begin{itemize}
-    \item \textbf{分布式训练}：对于复杂模型的海量数据训练，需要同时利用多个设备（多机、多卡）同时训练
-    \item \textbf{低精度计算}：为了提高效率可以采用半精度或者定点数进行计算
-    \item \textbf{模型压缩}：减少冗余，可以压缩模型，使得模型易于存储同时提高系统运行效率
-    \item \textbf{训练方法和超参选择}：不同任务往往需要不同的训练策略，包括超参设置，坑很多，需要积累经验
-    \end{itemize}
+\item 什么是单词？
 \end{itemize}
 \end{frame}
 

Section05-Neural-Networks-and-Language-Modeling/section05.tex

@@ -3746,5 +3746,13 @@ $+2x^2+x+1)$ & \ \ $(x^4+2x^3+2x^2+x+1)$ & $+6x+1$ \\
 \end{itemize}
 \end{frame}
 
+\section{神经语言模型}
+
+\subsection{词嵌入}
+
+\subsection{前馈、循环、自注意力神经网络}
+
+\subsection{句子表示模型及预训练}
+
 \end{CJK}
 \end{document}