Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
67b2399b
Commit
67b2399b
authored
Dec 30, 2020
by
zengxin
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
10
parent
0f181787
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
2 行增加
和
2 行删除
+2
-2
Chapter10/chapter10.tex
+2
-2
没有找到文件。
Chapter10/chapter10.tex
查看文件 @
67b2399b
...
...
@@ -507,7 +507,7 @@ $\funp{P}({y_j | \mathbi{s}_{j-1} ,y_{j-1},\mathbi{C}})$由Softmax实现,Softm
\subsection
{
长短时记忆网络
}
\label
{
sec:lstm-cell
}
\parinterval
RNN结构使得当前时刻循环单元的状态包含了之前时间步的状态信息。但是这种对历史信息的记忆并不是无损的,随着序列变长,RNN的记忆信息的损失越来越严重。在很多长序列处理任务中(如长文本生成)都观测到了类似现象。对于这个问题,研究者们提出了
{
\small\bfnew
{
长短时记忆
}}
\index
{
长短时记忆
}
(Long Short-term Memory)
\index
{
Long Short-term Memory
,LSTM
}
模型,也就是常说的LSTM模型
\upcite
{
HochreiterLong
}
。
\parinterval
RNN结构使得当前时刻循环单元的状态包含了之前时间步的状态信息。但是这种对历史信息的记忆并不是无损的,随着序列变长,RNN的记忆信息的损失越来越严重。在很多长序列处理任务中(如长文本生成)都观测到了类似现象。对于这个问题,研究者们提出了
{
\small\bfnew
{
长短时记忆
}}
\index
{
长短时记忆
}
(Long Short-term Memory)
\index
{
Long Short-term Memory
}
模型,也就是常说的LSTM模型
\upcite
{
HochreiterLong
}
。
\parinterval
LSTM模型是RNN模型的一种改进。相比RNN仅传递前一时刻的状态
$
\mathbi
{
h
}_{
t
-
1
}$
,LSTM会同时传递两部分信息:状态信息
$
\mathbi
{
h
}_{
t
-
1
}$
和记忆信息
$
\mathbi
{
c
}_{
t
-
1
}$
。这里,
$
\mathbi
{
c
}_{
t
-
1
}$
是新引入的变量,它也是循环单元的一部分,用于显性地记录需要记录的历史内容,
$
\mathbi
{
h
}_{
t
-
1
}$
和
$
\mathbi
{
c
}_{
t
-
1
}$
在循环单元中会相互作用。LSTM通过“门”单元来动态地选择遗忘多少以前的信息和记忆多少当前的信息。LSTM中所使用的门单元结构如图
\ref
{
fig:10-11
}
所示,包括遗忘门,输入门和输出门。图中
$
\sigma
$
代表Sigmoid函数,它将函数输入映射为0-1范围内的实数,用来充当门控信号。
...
...
@@ -573,7 +573,7 @@ $\funp{P}({y_j | \mathbi{s}_{j-1} ,y_{j-1},\mathbi{C}})$由Softmax实现,Softm
\subsection
{
门控循环单元
}
\parinterval
LSTM 通过门控单元控制传递状态,忘记不重要的信息,记住必要的历史信息,在长序列上取得了很好的效果,但是其进行了许多门信号的计算,较为繁琐。
{
\small\bfnew
{
门循环单元
}}
\index
{
门循环单元
}
(Gated Recurrent Unit,GRU)
\index
{
Gated Recurrent Unit
,GRU
}
作为一个LSTM的变种,继承了LSTM中利用门控单元控制信息传递的思想,并对LSTM进行了简化
\upcite
{
Cho2014Learning
}
。它把循环单元状态
$
\mathbi
{
h
}_
t
$
和记忆
$
\mathbi
{
c
}_
t
$
合并成一个状态
$
\mathbi
{
h
}_
t
$
,同时使用了更少的门控单元,大大提升了计算效率。
\parinterval
LSTM 通过门控单元控制传递状态,忘记不重要的信息,记住必要的历史信息,在长序列上取得了很好的效果,但是其进行了许多门信号的计算,较为繁琐。
{
\small\bfnew
{
门循环单元
}}
\index
{
门循环单元
}
(Gated Recurrent Unit,GRU)
\index
{
Gated Recurrent Unit
}
作为一个LSTM的变种,继承了LSTM中利用门控单元控制信息传递的思想,并对LSTM进行了简化
\upcite
{
Cho2014Learning
}
。它把循环单元状态
$
\mathbi
{
h
}_
t
$
和记忆
$
\mathbi
{
c
}_
t
$
合并成一个状态
$
\mathbi
{
h
}_
t
$
,同时使用了更少的门控单元,大大提升了计算效率。
%----------------------------------------------
\begin{figure}
[htp]
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论