Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
57bf0c89
Commit
57bf0c89
authored
Nov 24, 2020
by
孟霞
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
更新 chapter9.tex
parent
b00bec59
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
1 行删除
+1
-1
Chapter9/chapter9.tex
+1
-1
没有找到文件。
Chapter9/chapter9.tex
查看文件 @
57bf0c89
...
...
@@ -1173,7 +1173,7 @@ y&=&{\textrm{Sigmoid}}({\textrm{Tanh}}({\mathbi{x}}\cdot {\mathbi{W}}^{[1]}+{\ma
\subsection
{
基于梯度的参数优化
}
\label
{
sec9:para-training
}
\parinterval
对于第
$
i
$
个样本
$
(
{
\mathbi
{
x
}}_
i,
\widetilde
{
\mathbi
{
y
}}_
i
)
$
,把损失函数
$
L
(
\widetilde
{
\mathbi
{
y
}}_
i,
{
\mathbi
{
y
}}_
i
)
$
看作是参数
$
\bm
\theta
$
的函数
\footnote
{
为了简化描述,可以用
$
\
theta
$
表示神经网络中的所有参数,包括各层的权重矩阵
${
\mathbi
{
W
}}^{
[
1
]
}
\dots
{
\mathbi
{
W
}}^{
[
n
]
}$
和偏置向量
${
\mathbi
{
b
}}^{
[
1
]
}
\dots
{
\mathbi
{
b
}}^{
[
n
]
}$
等。
}
,因为输出
$
{
\mathbi
{
y
}}_
i
$
是由输入
$
{
\mathbi
{
x
}}_
i
$
和模型参数
$
\bm
\theta
$
决定,因此也把损失函数写为
$
L
(
{
\mathbi
{
x
}}_
i,
\widetilde
{
\mathbi
{
y
}}_
i;
{
\bm
\theta
}
)
$
。参数学习过程可以被描述为公式
\eqref
{
eq:9-28
}
:
\
bm
{
\theta
}
$
表示神经网络中的所有参数,包括各层的权重矩阵
${
\mathbi
{
W
}}^{
[
1
]
}
\dots
{
\mathbi
{
W
}}^{
[
n
]
}$
和偏置向量
${
\mathbi
{
b
}}^{
[
1
]
}
\dots
{
\mathbi
{
b
}}^{
[
n
]
}$
等。
}
,因为输出
$
{
\mathbi
{
y
}}_
i
$
是由输入
$
{
\mathbi
{
x
}}_
i
$
和模型参数
$
\bm
\theta
$
决定,因此也把损失函数写为
$
L
(
{
\mathbi
{
x
}}_
i,
\widetilde
{
\mathbi
{
y
}}_
i;
{
\bm
\theta
}
)
$
。参数学习过程可以被描述为公式
\eqref
{
eq:9-28
}
:
\begin{eqnarray}
\widehat
{
\bm\theta
}&
=
&
\mathop
{
\arg\min
}_{
\bm
\theta
}
\frac
{
1
}{
n
}
\sum
_{
i=1
}^{
n
}{
L(
{
\mathbi
{
x
}}_
i,
\widetilde
{
\mathbi
{
y
}}_
i;
{
\bm
\theta
}
)
}
\label
{
eq:9-28
}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论