Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
T
Toy-MT-Introduction
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
Toy-MT-Introduction
Commits
4fa48cae
Commit
4fa48cae
authored
Mar 10, 2020
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
correct the format of several equations
parent
c2b4e5c0
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
7 行删除
+4
-7
Book/Chapter6/Chapter6.tex
+4
-7
没有找到文件。
Book/Chapter6/Chapter6.tex
查看文件 @
4fa48cae
...
...
@@ -1087,9 +1087,8 @@ L(\mathbf{Y},\hat{\mathbf{Y}}) = \sum_{j=1}^n L_{\textrm{ce}}(\mathbf{y}_j,\hat{
\subsection
{
推断
}
\index
{
Chapter6.3.6
}
\parinterval
神经机器翻译的推断是指:利用已经训练好的模型对新的源语言句子进行翻译的过程。具体来说,首先利用编码器生成源语言句子的表示,之后利用解码器预测目标语译文。也就是,对于源语言句子
$
\mathbf
{
x
}$
,生成一个使翻译概率
$
\textrm
{
P
}
(
\mathbf
{
y
}
|
\mathbf
{
x
}
)
$
最大的目标语译文
$
\hat
{
\mathbf
{
y
}}$
,如下(详细过程见
\ref
{
sec:6.3.1
}
节):
\begin{eqnarray}
\begin{array}
{
ll
}
\hat
{
\mathbf
{
y
}}
&
=
\argmax
_
y
\textrm
{
P
}
(
\mathbf
{
y
}
|
\mathbf
{
x
}
)
\\
&
=
\argmax
_
y
\prod
_{
j=1
}^
n
\textrm
{
P
}
(y
_
j |
\mathbf
{
y
}_{
<j
}
,
\mathbf
{
x
}
)
\end{array}
\hat
{
\mathbf
{
y
}}
&
=
&
\argmax
_
y
\textrm
{
P
}
(
\mathbf
{
y
}
|
\mathbf
{
x
}
)
\nonumber
\\
&
=
&
\argmax
_
y
\prod
_{
j=1
}^
n
\textrm
{
P
}
(y
_
j |
\mathbf
{
y
}_{
<j
}
,
\mathbf
{
x
}
)
\label
{
eqC6.33
}
\end{eqnarray}
...
...
@@ -1142,10 +1141,8 @@ L(\mathbf{Y},\hat{\mathbf{Y}}) = \sum_{j=1}^n L_{\textrm{ce}}(\mathbf{y}_j,\hat{
\parinterval
束搜索是一种启发式图搜索算法。相比于全搜索,它可以减少搜索所占用的空间和时间,在每一步扩展的时候,剪掉一些质量比较差的结点,保留下一些质量较高的结点。具体到机器翻译任务,对于每一个目标语位置,束搜索选择了概率最大的前
$
K
$
个单词进行扩展(其中
$
K
$
叫做束宽度,或简称为束宽)。如图
\ref
{
fig:6-33
}
所示,当
$
K
=
3
$
时,若令
\{
$
y
_
1
, y
_
2
,…, y
_
n
$
\}
表示生成的目标语序列,则束搜索的具体过程为:在预测第一个位置时,我们通过模型得到
$
y
_
1
$
的概率分布,选取概率最大的前3个单词作为候选结果(假设分别为``have'', ``has'', ``it'')。在预测第二个位置的单词时,模型针对已经得到的三个候选结果(``have'', ``has'', ``it'')计算第二个单词的概率分布。例如,我们可以在将``have''作为第二步的输入,计算
$
y
_
2
$
的概率分布。此时,译文序列的概率为
%--------------------------------------------
\begin{eqnarray}
\begin{array}
{
ll
}
\textrm
{
P
}
(y
_
2,y
_
1 |
\mathbf
{
x
}
)
&
=
\textrm
{
P
}
(y
_
2,
\textrm
{
``have''
}
|
\mathbf
{
x
}
)
\\
&
=
\textrm
{
P
}
(y
_
2 |
\textrm
{
``have''
}
,
\mathbf
{
x
}
)
\textrm
{
P
}
(
\textrm
{
``have''
}
|
\mathbf
{
x
}
)
\end{array}
\textrm
{
P
}
(y
_
2,y
_
1 |
\mathbf
{
x
}
)
&
=
&
\textrm
{
P
}
(y
_
2,
\textrm
{
``have''
}
|
\mathbf
{
x
}
)
\nonumber
\\
&
=
&
\textrm
{
P
}
(y
_
2 |
\textrm
{
``have''
}
,
\mathbf
{
x
}
)
\textrm
{
P
}
(
\textrm
{
``have''
}
|
\mathbf
{
x
}
)
\label
{
eqC6.36
}
\end{eqnarray}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论