Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
b38a9f3c
Commit
b38a9f3c
authored
Dec 26, 2020
by
zengxin
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
10 公式引用风格统一
parent
5d55a774
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
2 行增加
和
2 行删除
+2
-2
Chapter10/chapter10.tex
+2
-2
没有找到文件。
Chapter10/chapter10.tex
查看文件 @
b38a9f3c
...
...
@@ -527,7 +527,7 @@ $\funp{P}({y_j | \mathbi{s}_{j-1} ,y_{j-1},\mathbi{C}})$由Softmax实现,Softm
\begin{itemize}
\vspace
{
0.5em
}
\item
{
\small\sffamily\bfseries
{
遗忘
}}
\index
{
遗忘
}
。顾名思义,遗忘的目的是忘记一些历史,在LSTM中通过遗忘门实现,其结构如图
\ref
{
fig:10-11
}
(a)所示。
$
\mathbi
{
x
}_{
t
}$
表示时刻
$
t
$
的输入向量,
$
\mathbi
{
h
}_{
t
-
1
}$
是时刻
$
t
-
1
$
的循环单元的输出,
$
\mathbi
{
x
}_{
t
}$
和
$
\mathbi
{
h
}_{
t
-
1
}$
都作为
$
t
$
时刻循环单元的输入。
$
\sigma
$
将对
$
\mathbi
{
x
}_{
t
}$
和
$
\mathbi
{
h
}_{
t
-
1
}$
进行筛选,以决定遗忘的信息,其计算如
公式如
下:
\item
{
\small\sffamily\bfseries
{
遗忘
}}
\index
{
遗忘
}
。顾名思义,遗忘的目的是忘记一些历史,在LSTM中通过遗忘门实现,其结构如图
\ref
{
fig:10-11
}
(a)所示。
$
\mathbi
{
x
}_{
t
}$
表示时刻
$
t
$
的输入向量,
$
\mathbi
{
h
}_{
t
-
1
}$
是时刻
$
t
-
1
$
的循环单元的输出,
$
\mathbi
{
x
}_{
t
}$
和
$
\mathbi
{
h
}_{
t
-
1
}$
都作为
$
t
$
时刻循环单元的输入。
$
\sigma
$
将对
$
\mathbi
{
x
}_{
t
}$
和
$
\mathbi
{
h
}_{
t
-
1
}$
进行筛选,以决定遗忘的信息,其计算如下:
\begin{eqnarray}
\mathbi
{
f
}_
t
&
=
&
\sigma
(
\mathbi
{
W
}_
f [
\mathbi
{
h
}_{
t-1
}
,
\mathbi
{
x
}_{
t
}
] +
\mathbi
{
b
}_
f )
\label
{
eq:10-6
}
...
...
@@ -598,7 +598,7 @@ $\funp{P}({y_j | \mathbi{s}_{j-1} ,y_{j-1},\mathbi{C}})$由Softmax实现,Softm
\label
{
eq:10-14
}
\end{eqnarray}
\parinterval
$
\hat
{
\mathbi
{
h
}}_
t
$
在包含了输入信息
$
\mathbi
{
x
}_
t
$
的同时,引入了
$
\mathbi
{
h
}_{
t
-
1
}$
的信息,可以理解为,记忆了当前时刻的状态。下一步是计算更新后的隐藏状态也就是更新记忆,如下
所示
:
\parinterval
$
\hat
{
\mathbi
{
h
}}_
t
$
在包含了输入信息
$
\mathbi
{
x
}_
t
$
的同时,引入了
$
\mathbi
{
h
}_{
t
-
1
}$
的信息,可以理解为,记忆了当前时刻的状态。下一步是计算更新后的隐藏状态也就是更新记忆,如下:
\begin{eqnarray}
\mathbi
{
h
}_
t
&
=
&
(1-
\mathbi
{
u
}_
t)
\cdot
\mathbi
{
h
}_{
t-1
}
+
\mathbi
{
u
}_
t
\cdot
\hat
{
\mathbi
{
h
}}_
t
\label
{
eq:10-15
}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论