Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
T
Toy-MT-Introduction
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
单韦乔
Toy-MT-Introduction
Commits
480bfbd6
Commit
480bfbd6
authored
Oct 20, 2019
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
new update
parent
80802792
显示空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
15 行增加
和
15 行删除
+15
-15
Section05-Neural-Networks-and-Language-Modeling/section05-test.tex
+7
-15
Section05-Neural-Networks-and-Language-Modeling/section05.tex
+8
-0
没有找到文件。
Section05-Neural-Networks-and-Language-Modeling/section05-test.tex
查看文件 @
480bfbd6
...
@@ -113,24 +113,16 @@
...
@@ -113,24 +113,16 @@
\newcounter
{
mycount4
}
\newcounter
{
mycount4
}
%%%------------------------------------------------------------------------------------------------------------
%%%------------------------------------------------------------------------------------------------------------
\s
ubsection
{
参数学习 - 反向传播
}
\s
ection
{
神经语言模型
}
%%%------------------------------------------------------------------------------------------------------------
%%%------------------------------------------------------------------------------------------------------------
%%% 前向过程及其它问题
\subsection
{
词嵌入
}
\begin{frame}
{
前向计算及其它
}
%%%------------------------------------------------------------------------------------------------------------
%%% 什么是词
\begin{frame}
{
如何表示``词''
}
\begin{itemize}
\begin{itemize}
\item
\alert
{
前向计算
}
实际上就是网络构建的过程,有两种常用方式
\item
什么是单词?
\begin{itemize}
\item
\textbf
{
动态图
}
(如PyTorch、NiuTensor):写完函数表达式,前向计算即完成,易于调试
\item
\textbf
{
静态图
}
(如TensorFlow):函数表达式完成后,并不能得到前向计算结果,需要显性调用一个Forward函数,但是计算图可以进行深度优化,执行效率较高
\end{itemize}
\item
<2-> 其它一些深度学习系统实现的问题,值得关注,不过这些都超出了本课程的范围
\begin{itemize}
\item
\textbf
{
分布式训练
}
:对于复杂模型的海量数据训练,需要同时利用多个设备(多机、多卡)同时训练
\item
\textbf
{
低精度计算
}
:为了提高效率可以采用半精度或者定点数进行计算
\item
\textbf
{
模型压缩
}
:减少冗余,可以压缩模型,使得模型易于存储同时提高系统运行效率
\item
\textbf
{
训练方法和超参选择
}
:不同任务往往需要不同的训练策略,包括超参设置,坑很多,需要积累经验
\end{itemize}
\end{itemize}
\end{itemize}
\end{frame}
\end{frame}
...
...
Section05-Neural-Networks-and-Language-Modeling/section05.tex
查看文件 @
480bfbd6
...
@@ -3746,5 +3746,13 @@ $+2x^2+x+1)$ & \ \ $(x^4+2x^3+2x^2+x+1)$ & $+6x+1$ \\
...
@@ -3746,5 +3746,13 @@ $+2x^2+x+1)$ & \ \ $(x^4+2x^3+2x^2+x+1)$ & $+6x+1$ \\
\end{itemize}
\end{itemize}
\end{frame}
\end{frame}
\section
{
神经语言模型
}
\subsection
{
词嵌入
}
\subsection
{
前馈、循环、自注意力神经网络
}
\subsection
{
句子表示模型及预训练
}
\end{CJK}
\end{CJK}
\end{document}
\end{document}
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论