Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
T
Toy-MT-Introduction
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
Toy-MT-Introduction
Commits
1b484785
Commit
1b484785
authored
Oct 29, 2019
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
bug fixes
parent
ce425042
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
4 行增加
和
4 行删除
+4
-4
Section05-Neural-Networks-and-Language-Modeling/section05-gbk.tex
+0
-0
Section05-Neural-Networks-and-Language-Modeling/section05.tex
+4
-4
没有找到文件。
Section05-Neural-Networks-and-Language-Modeling/section05-gbk.tex
0 → 100644
查看文件 @
1b484785
This source diff could not be displayed because it is too large. You can
view the blob
instead.
Section05-Neural-Networks-and-Language-Modeling/section05.tex
查看文件 @
1b484785
...
...
@@ -1650,7 +1650,7 @@ cycle}
\end{frame}
%%%------------------------------------------------------------------------------------------------------------
\subsection
{
神经网络的简单实现
:
张量计算
}
\subsection
{
神经网络的简单实现
-
张量计算
}
%%%------------------------------------------------------------------------------------------------------------
%%% outline: problem 2
...
...
@@ -3026,7 +3026,7 @@ J(\textbf{w}_t) = \frac{1}{m} \sum_{i=j}^{j+m} L(\textbf{x}_i,\hat{\textbf{y}}_i
\end{itemize}
\item
<3->
\textbf
{
其它
}
\begin{itemize}
\item
深度网络梯度消失和爆炸的问题,使用梯度裁剪、残差
链
接等
\item
深度网络梯度消失和爆炸的问题,使用梯度裁剪、残差
连
接等
\item
引入正则化因子,可以对外部知识建模,比如引入噪声让训练更稳定
\end{itemize}
\end{itemize}
...
...
@@ -3809,7 +3809,7 @@ NLP问题的\alert{隐含结构}假设 & 无隐含结构假设,\alert{端到
\visible
<3->
{
\begin{tcolorbox}
[enhanced,size=normal,left=2mm,right=1mm,colback=blue!5!white,colframe=blue!75!black,drop fuzzy shadow]
{
\Large
\textbf
{
如何词串的生成概率进行建模?
}
\textbf
{
如何
对
词串的生成概率进行建模?
}
}
\end{tcolorbox}
}
...
...
@@ -5342,7 +5342,7 @@ GPT-2 (Transformer) & Radford et al. & 2019 & 35.7
\begin{itemize}
\item
讲了很多,累呀累,再整理一下主要观点
\begin{itemize}
\item
神经网络没有那么复杂,入门
不能
\item
神经网络没有那么复杂,入门
并不难
\item
简单的网络结构可以组合成强大的模型
\item
语言模型可以用神经网络实现,效果很好,最近出现的预训练等范式证明了神经语言模型的潜力
\end{itemize}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论