Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
9c4b49ee
Commit
9c4b49ee
authored
4 years ago
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
minor updates (sec 5)
parent
ea4c58d0
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
4 行增加
和
4 行删除
+4
-4
Chapter5/chapter5.tex
+4
-4
没有找到文件。
Chapter5/chapter5.tex
查看文件 @
9c4b49ee
...
...
@@ -273,13 +273,13 @@ $\seq{t}$ = machine\; \underline{translation}\; is\; a\; process\; of\; generati
\subsubsection
{
3. 如何从大量的双语平行数据中进行学习?
}
\parinterval
如果有更多的句子,上面的方法同样适用。假设,有
$
N
$
个互译句对
$
\{
(
\seq
{
s
}^{
[
1
]
}
,
\seq
{
t
}^{
[
1
]
}
)
$
,...,
\\
$
(
\seq
{
s
}^{
[
N
]
}
,
\seq
{
t
}^{
[
N
]
}
)
\}
$
。仍然可以使用基于相对频次的方法估计翻译概率
$
\funp
{
P
}
(
x,y
)
$
,具体方法如下:
\parinterval
如果有更多的句子,上面的方法同样适用。假设,有
$
K
$
个互译句对
$
\{
(
\seq
{
s
}^{
[
1
]
}
,
\seq
{
t
}^{
[
1
]
}
)
$
,...,
\\
$
(
\seq
{
s
}^{
[
K
]
}
,
\seq
{
t
}^{
[
K
]
}
)
\}
$
。仍然可以使用基于相对频次的方法估计翻译概率
$
\funp
{
P
}
(
x,y
)
$
,具体方法如下:
\begin{eqnarray}
\funp
{
P
}
(x,y) =
\frac
{{
\sum
_{
i=1
}^{
N
}
c(x,y;
\seq
{
s
}^{
[i]
}
,
\seq
{
t
}^{
[i]
}
)
}}{
\sum
_{
i=1
}^{
N
}{{
\sum
_{
x',y'
}
c(x',y';
\seq
{
s
}^{
[i]
}
,
\seq
{
t
}^{
[i]
}
)
}}}
\funp
{
P
}
(x,y) =
\frac
{{
\sum
_{
i=1
}^{
K
}
c(x,y;
\seq
{
s
}^{
[i]
}
,
\seq
{
t
}^{
[i]
}
)
}}{
\sum
_{
i=1
}^{
K
}{{
\sum
_{
x',y'
}
c(x',y';
\seq
{
s
}^{
[i]
}
,
\seq
{
t
}^{
[i]
}
)
}}}
\label
{
eq:5-4
}
\end{eqnarray}
\parinterval
与公式
\ref
{
eq:5-1
}
相比,公式
\ref
{
eq:5-4
}
的分子、分母都多了一项累加符号
$
\sum
_{
i
=
1
}^{
N
}
\cdot
$
,它表示遍历语料库中所有的句对。换句话说,当计算词的共现次数时,需要对每个句对上的计数结果进行累加。从统计学习的角度,使用更大规模的数据进行参数估计可以提高结果的可靠性。计算单词的翻译概率也是一样,在小规模的数据上看,很多翻译现象的特征并不突出,但是当使用的数据量增加到一定程度,翻译的规律会很明显的体现出来。
\parinterval
与公式
\ref
{
eq:5-1
}
相比,公式
\ref
{
eq:5-4
}
的分子、分母都多了一项累加符号
$
\sum
_{
i
=
1
}^{
K
}
\cdot
$
,它表示遍历语料库中所有的句对。换句话说,当计算词的共现次数时,需要对每个句对上的计数结果进行累加。从统计学习的角度,使用更大规模的数据进行参数估计可以提高结果的可靠性。计算单词的翻译概率也是一样,在小规模的数据上看,很多翻译现象的特征并不突出,但是当使用的数据量增加到一定程度,翻译的规律会很明显的体现出来。
\parinterval
举个例子,实例
\ref
{
eg:5-2
}
展示了一个由两个句对构成的平行语料库。
...
...
@@ -1064,7 +1064,7 @@ f(s_u|t_v)=\frac{c_{\mathbb{E}}(s_u|t_v;\seq{s},\seq{t})} { \sum\limits_{s_u} c
\end{figure}
%----------------------------------------------
\parinterval
进一步,假设有
$
N
$
个互译的句对(称作平行语料):
\parinterval
进一步,假设有
$
K
$
个互译的句对(称作平行语料):
$
\{
(
\seq
{
s
}^{
[
1
]
}
,
\seq
{
t
}^{
[
1
]
}
)
,...,
(
\seq
{
s
}^{
[
K
]
}
,
\seq
{
t
}^{
[
K
]
}
)
\}
$
,
$
f
(
s
_
u|t
_
v
)
$
的期望频次为:
\begin{eqnarray}
c
_{
\mathbb
{
E
}}
(s
_
u|t
_
v)=
\sum\limits
_{
i=1
}^{
K
}
c
_{
\mathbb
{
E
}}
(s
_
u|t
_
v;s
^{
[i]
}
,t
^{
[i]
}
)
...
...
This diff is collapsed.
Click to expand it.
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论