Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
fec1ef47
Commit
fec1ef47
authored
Nov 14, 2020
by
曹润柘
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
符号统一
parent
2dcffd78
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
1 行增加
和
1 行删除
+1
-1
Chapter16/chapter16.tex
+1
-1
没有找到文件。
Chapter16/chapter16.tex
查看文件 @
fec1ef47
...
...
@@ -117,7 +117,7 @@
\parinterval
将一个句子中的某个词替换为其他词,可能并不会影响句子的合理性和流畅度。比如,对于“我出去玩。”这句话,将“我”替换为“你”、“他”、“我们”或是将“玩”替换为“骑车”、“学习”、“吃饭”等,虽然改变了语义,但句子仍然是合理的。词替换方法即是将双语数据中的部分词替换为词表中的其他词,在保证句子的语义或语法的前提下,增加了训练数据的多样性。
\parinterval
一种替换策略是对目标语中的稀有词进行替换
\upcite
{
DBLP:conf/acl/FadaeeBM17a
}
。词表中的稀有词由于出现次数较少,很容易导致训练不充分问题,从而无法准确预测稀有词。对于一个双语句对
$
(
\mathbi
{
x
}
,
\mathbi
{
y
}
)
$
,
$
\mathbi
{
x
}
=
(
x
_
1
,
\dots
, x
_
i,
\dots
, x
_
n
)
$
,
$
\mathbi
{
y
}
=
(
y
_
1
,
\dots
, y
_
j,
\dots
, y
_
m
)
$
,假定选择源语言句子
$
\mathbi
{
x
}$
进行替换,那么在源语言句子的位置
$
i
$
,可以根据前面的文本和前向语言模型得到前向候选稀有词,如公式所示:
\parinterval
一种替换策略是对目标语中的稀有词进行替换
\upcite
{
DBLP:conf/acl/FadaeeBM17a
}
。词表中的稀有词由于出现次数较少,很容易导致训练不充分问题,从而无法准确预测稀有词。对于一个双语句对
$
(
\mathbi
{
x
}
,
\mathbi
{
y
}
)
$
,
$
\mathbi
{
x
}
=
(
x
_
1
,
\dots
, x
_
i,
\dots
, x
_
m
)
$
,
$
\mathbi
{
y
}
=
(
y
_
1
,
\dots
, y
_
j,
\dots
, y
_
n
)
$
,假定选择源语言句子
$
\mathbi
{
x
}$
进行替换,那么在源语言句子的位置
$
i
$
,可以根据前面的文本和前向语言模型得到前向候选稀有词,如公式所示:
\begin{eqnarray}
\overrightarrow
{
C
}
=
\{
x
_
i
^{
'
}
\in
V
_
R:
{
\rm
{
TopK
}}
\funp
{
P
}_{
\rm
{
ForwardLM
}}
(x
_
i
^{
'
}
| x
_
i
^{
i-1
}
)
\}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论