Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
4fcd0bfc
Commit
4fcd0bfc
authored
Jul 27, 2020
by
单韦乔
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
第二章n-gram修改
parent
812e144f
隐藏空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
3 行增加
和
3 行删除
+3
-3
Chapter2/chapter2.tex
+3
-3
没有找到文件。
Chapter2/chapter2.tex
查看文件 @
4fcd0bfc
...
...
@@ -517,11 +517,11 @@ F(x)=\int_{-\infty}^x f(x)dx
}
\end{center}
\parinterval
$
n
$
-gram的优点在于,它所使用的历史信息是有限的,即
$
n
-
1
$
个单词。这种性质也反映了经典的马尔可夫链的思想
\cite
{
liuke-markov-2004
}
\cite
{
resnick1992adventures
}
,有时也被称作马尔可夫假设或者马尔可夫属性。因此
$
n
$
-gram也可以被看作是变长序列上的一种马尔可夫模型,比如,2-gram语言模型对应着1阶马尔可夫模型,3-gram语言模型对应着2阶马尔可夫模型,以此类推
。
\parinterval
可以看到,1-gram语言模型只是
$
n
$
-gram语言模型的一种特殊形式。基于独立性假设,1-gram假定当前词出现与否与任何历史都无关,这种方法大大化简了求解句子概率的复杂度。但是1-gram语言模型没有考虑任何的上下文。就像英语中完形填空考察的那样,句子中的词汇并非完全相互独立的,因此这种语言模型并不能完美的描述客观世界的问题。如果需要更精确地获取句子的概率,就需要使用
$
n
$
-gram语言模型了
。
\parinterval
可以看到,1-gram语言模型只是
$
n
$
-gram语言模型的一种特殊形式。基于独立性假设,1-gram假定当前词出现与否与任何历史都无关,这种方法大大化简了求解句子概率的复杂度
。
\parinterval
$
n
$
-gram的优点在于,它所使用的历史信息是有限的,即
$
n
-
1
$
个单词。这种性质也反映了经典的马尔可夫链的思想
\cite
{
liuke-markov-2004
}
\cite
{
resnick1992adventures
}
,有时也被称作马尔可夫假设或者马尔可夫属性。因此
$
n
$
-gram也可以被看作是变长序列上的一种马尔可夫模型,比如,2-gram语言模型对应着1阶马尔可夫模型,3-gram语言模型对应着2阶马尔可夫模型,以此类推
。
\parinterval
虽然1-gram语言模型的计算十分简单,但是它没有考虑任何的上下文。就像英语中完形填空考察的那样,句子中的词汇并非完全相互独立的,因此这种语言模型并不能完美的描述客观世界的问题。如果需要更精确的处理结果,仍需要使用更长的n-gram。那么在使用更长的n-gram时
,如何计算
$
\textrm
{
P
}
(
w
_
m|w
_{
m
-
n
+
1
}
... w
_{
m
-
1
}
)
$
呢?有很多种选择,比如:
\parinterval
那么
,如何计算
$
\textrm
{
P
}
(
w
_
m|w
_{
m
-
n
+
1
}
... w
_{
m
-
1
}
)
$
呢?有很多种选择,比如:
\begin{itemize}
\vspace
{
0.5em
}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论