Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
ce367491
Commit
ce367491
authored
4 years ago
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
更新 chapter16.tex
parent
66a6e756
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
10 行删除
+1
-10
Chapter16/chapter16.tex
+1
-10
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
ce367491
...
...
@@ -632,16 +632,7 @@
\parinterval
如
\ref
{
unsupervised-dictionary-induction
}
节所述,无监督词典归纳的方法依赖于词的分布式表示,也就是词嵌入。因此当把无监督词典归纳拓展到短语上时,首先需要获得短语的分布式表示。比较简单的方法是把词换成短语,然后借助与无监督词典归纳相同的算法得到短语的分布式表示。最后直接应用无监督词典归纳方法,得到源语言短语与目标语言短语之间的对应。
\parinterval
尽管已经得到了短语的翻译,短语表的另外一个重要的组成部分,也就是短语对的得分(概率)无法由词典归纳方法直接给出,而这些得分在统计机器翻译模型中非常重要。在无监督词典归纳中,在推断词典的时候会为一对源语言单词和目标语言单词打分(词嵌入之间的相似度),再根据打分来决定哪一个目标语言单词更有可能是当前源语言单词的翻译。在无监督短语归纳中,这样一个打分已经提供了对短语对质量的度量,因此经过适当的归一化处理后就可以得到短语对的得分:
\begin{eqnarray}
P(
\mathbi
{
y
}
|
\mathbi
{
x
}
)
&
=
&
\frac
{
\mathrm
{
cos
}
(
\mathbi
{
x
}
,
\mathbi
{
y
}
)/
\tau
}{
\sum
_{
\mathbi
{
y
}^{
'
}}
\mathrm
{
cos
}
(
\mathbi
{
x
}
,
\mathbi
{
y
}^{
'
}
)/
\tau
}
\label
{
eq:16-11
}
\end{eqnarray}
\noindent
其中,
$
\mathrm
{
cos
}$
是余弦相似度,
$
\mathbi
{
x
}$
是经过无监督词典归纳里
$
\mathbi
{
W
}$
转换的源语言短语嵌入,
$
\mathbi
{
y
}$
是目标语言短语嵌入,
$
\tau
$
是控制分布尖锐程度的一个超参数。
\parinterval
一个问题是在无监督的情景下没有任何双语数据,那么如何得到最优的
$
\tau
$
?这里,可以寻找一个
$
\tau
$
使得所有
$
P
(
\mathbi
{
y
}
|
\mathbi
{
x
}
)
$
最大
\upcite
{
DBLP:conf/emnlp/ArtetxeLA18
}
。通常,选取与一个给定的
$
\mathbi
{
y
}$
最接近的
$
\mathbi
{
x
}$
而不是选取与一个给定的
$
\mathbi
{
x
}$
最接近的
$
\mathbi
{
y
}$
来计算
$
P
(
\mathbi
{
y
}
|
\mathbi
{
x
}
)
$
,因为选取与一个给定的
$
\mathbi
{
x
}$
最接近的
$
\mathbi
{
y
}$
总是
$
P
(
\mathbi
{
y
}
|
\mathbi
{
x
}
)
$
里概率最大的元素,这时候总是可以调整
$
\tau
$
使得所有
$
P
$
的取值都接近1。实际中为了选取最优
$
\tau
$
会为
$
P
(
\mathbi
{
y
}
|
\mathbi
{
x
}
)
$
和
$
P
(
\mathbi
{
x
}
|
\mathbi
{
y
}
)
$
同时优化
$
\tau
$
。
\parinterval
尽管已经得到了短语的翻译,短语表的另外一个重要的组成部分,也就是短语对的得分(概率)无法由词典归纳方法直接给出,而这些得分在统计机器翻译模型中非常重要。在无监督词典归纳中,在推断词典的时候会为一对源语言单词和目标语言单词打分(词嵌入之间的相似度),再根据打分来决定哪一个目标语言单词更有可能是当前源语言单词的翻译。在无监督短语归纳中,这样一个打分已经提供了对短语对质量的度量,因此经过适当的归一化处理后就可以得到短语对的得分。
%----------------------------------------------------------------------------------------
% NEW SUB-SUB-SECTION
...
...
This diff is collapsed.
Click to expand it.
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论