Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
de6fc1aa
Commit
de6fc1aa
authored
Dec 16, 2020
by
孟霞
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
等号
parent
ce0a9535
全部展开
隐藏空白字符变更
内嵌
并排
正在显示
2 个修改的文件
包含
11 行增加
和
11 行删除
+11
-11
Chapter3/chapter3.tex
+11
-11
Chapter4/chapter4.tex
+0
-0
没有找到文件。
Chapter3/chapter3.tex
查看文件 @
de6fc1aa
...
@@ -398,12 +398,12 @@ $计算这种切分的概率值。
...
@@ -398,12 +398,12 @@ $计算这种切分的概率值。
\parinterval
一种简单的办法是使用相对频次估计得到转移概率和发射概率估计值。令
$
x
_
i
$
表示第
$
i
$
个位置的可见状态,
$
y
_
i
$
表示第
$
i
$
个位置的隐含状态,
$
\funp
{
P
}
(
y
_
i|y
_{
i
-
1
}
)
$
表示第
$
i
-
1
$
个位置到第
$
i
$
个位置的状态转移概率,
$
\funp
{
P
}
(
x
_
i|y
_{
i
}
)
$
表示第
$
i
$
个位置的发射概率,于是有:
\parinterval
一种简单的办法是使用相对频次估计得到转移概率和发射概率估计值。令
$
x
_
i
$
表示第
$
i
$
个位置的可见状态,
$
y
_
i
$
表示第
$
i
$
个位置的隐含状态,
$
\funp
{
P
}
(
y
_
i|y
_{
i
-
1
}
)
$
表示第
$
i
-
1
$
个位置到第
$
i
$
个位置的状态转移概率,
$
\funp
{
P
}
(
x
_
i|y
_{
i
}
)
$
表示第
$
i
$
个位置的发射概率,于是有:
\begin{eqnarray}
\begin{eqnarray}
\funp
{
P
}
(y
_
i|y
_{
i-1
}
)
=
\frac
{{
c
}
(y
_{
i-1
}
,y
_
i)
}{{
c
}
(y
_{
i-1
}
)
}
\funp
{
P
}
(y
_
i|y
_{
i-1
}
)
&
=
&
\frac
{{
c
}
(y
_{
i-1
}
,y
_
i)
}{{
c
}
(y
_{
i-1
}
)
}
\label
{
eq:3.3-1
}
\label
{
eq:3.3-1
}
\end{eqnarray}
\end{eqnarray}
\begin{eqnarray}
\begin{eqnarray}
\funp
{
P
}
(x
_
i|y
_{
i
}
)
=
\frac
{{
c
}
(x
_
i,y
_
i)
}{{
c
}
(y
_
i)
}
\funp
{
P
}
(x
_
i|y
_{
i
}
)
&
=
&
\frac
{{
c
}
(x
_
i,y
_
i)
}{{
c
}
(y
_
i)
}
\label
{
eq:3.3-2
}
\label
{
eq:3.3-2
}
\end{eqnarray}
\end{eqnarray}
...
@@ -411,20 +411,20 @@ $计算这种切分的概率值。
...
@@ -411,20 +411,20 @@ $计算这种切分的概率值。
\parinterval
在获得转移概率和发射概率的基础上,对于一个句子进行命名实体识别可以被描述为:在观测序列
$
\seq
{
x
}$
(可见状态,即输入的词序列)的条件下,最大化标签序列
$
\seq
{
y
}$
(隐含状态,即标记序列)的概率,即:
\parinterval
在获得转移概率和发射概率的基础上,对于一个句子进行命名实体识别可以被描述为:在观测序列
$
\seq
{
x
}$
(可见状态,即输入的词序列)的条件下,最大化标签序列
$
\seq
{
y
}$
(隐含状态,即标记序列)的概率,即:
\begin{eqnarray}
\begin{eqnarray}
\hat
{
\seq
{
y
}}
=
\arg\max
_{
\seq
{
y
}}
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
\hat
{
\seq
{
y
}}
&
=
&
\arg\max
_{
\seq
{
y
}}
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
\label
{
eq:3.3-3
}
\label
{
eq:3.3-3
}
\end{eqnarray}
\end{eqnarray}
\parinterval
根据贝叶斯定理,该概率被分解为
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)=
\frac
{
\funp
{
P
}
(
\seq
{
x
}
,
\seq
{
y
}
)
}{
\funp
{
P
}
(
\seq
{
x
}
)
}$
,其中
$
\funp
{
P
}
(
\seq
{
x
}
)
$
是固定概率,因为
$
\seq
{
x
}$
在这个过程中是确定的不变量。因此只需考虑如何求解分子,即将求条件概率
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
的问题转化为求联合概率
$
\funp
{
P
}
(
\seq
{
y
}
,
\seq
{
x
}
)
$
的问题:
\parinterval
根据贝叶斯定理,该概率被分解为
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)=
\frac
{
\funp
{
P
}
(
\seq
{
x
}
,
\seq
{
y
}
)
}{
\funp
{
P
}
(
\seq
{
x
}
)
}$
,其中
$
\funp
{
P
}
(
\seq
{
x
}
)
$
是固定概率,因为
$
\seq
{
x
}$
在这个过程中是确定的不变量。因此只需考虑如何求解分子,即将求条件概率
$
\funp
{
P
}
(
\seq
{
y
}
|
\seq
{
x
}
)
$
的问题转化为求联合概率
$
\funp
{
P
}
(
\seq
{
y
}
,
\seq
{
x
}
)
$
的问题:
\begin{eqnarray}
\begin{eqnarray}
\hat
{
\seq
{
y
}}
=
\arg\max
_{
\seq
{
y
}}
\funp
{
P
}
(
\seq
{
x
}
,
\seq
{
y
}
)
\label
{
eq:markov-sequence-argmax
}
\hat
{
\seq
{
y
}}
&
=
&
\arg\max
_{
\seq
{
y
}}
\funp
{
P
}
(
\seq
{
x
}
,
\seq
{
y
}
)
\label
{
eq:markov-sequence-argmax
}
\label
{
eq:3.3-4
}
\label
{
eq:3.3-4
}
\end{eqnarray}
\end{eqnarray}
\parinterval
将式
\eqref
{
eq:joint-prob-xy
}
带入式
\eqref
{
eq:markov-sequence-argmax
}
可以得到最终计算公式,如下:
\parinterval
将式
\eqref
{
eq:joint-prob-xy
}
带入式
\eqref
{
eq:markov-sequence-argmax
}
可以得到最终计算公式,如下:
\begin{eqnarray}
\begin{eqnarray}
\hat
{
\seq
{
y
}}
=
\arg\max
_{
\seq
{
y
}}
\prod
_{
i=1
}^{
m
}
\funp
{
P
}
(x
_
i|y
_
i)
\funp
{
P
}
(y
_
i|y
_{
i-1
}
)
\hat
{
\seq
{
y
}}
&
=
&
\arg\max
_{
\seq
{
y
}}
\prod
_{
i=1
}^{
m
}
\funp
{
P
}
(x
_
i|y
_
i)
\funp
{
P
}
(y
_
i|y
_{
i-1
}
)
\label
{
eq:3.3-5
}
\label
{
eq:3.3-5
}
\end{eqnarray}
\end{eqnarray}
...
@@ -483,7 +483,7 @@ F(y_{i-1},y_i,\seq{x},i) & = & t(y_{i-1},y_i,\seq{x},i)+s(y_i,\seq{x},i)
...
@@ -483,7 +483,7 @@ F(y_{i-1},y_i,\seq{x},i) & = & t(y_{i-1},y_i,\seq{x},i)+s(y_i,\seq{x},i)
\parinterval
公式
\eqref
{
eq:3.3-9
}
中的
$
Z
(
x
)
$
即为上面提到的实现全局统计归一化的归一化因子,其计算方式为:
\parinterval
公式
\eqref
{
eq:3.3-9
}
中的
$
Z
(
x
)
$
即为上面提到的实现全局统计归一化的归一化因子,其计算方式为:
\begin{eqnarray}
\begin{eqnarray}
Z(
\seq
{
x
}
)
=
\sum
_{
\seq
{
y
}}
\exp
(
\sum
_{
i=1
}^
m
\sum
_{
j=1
}^
k
\lambda
_{
j
}
F
_{
j
}
(y
_{
i-1
}
,y
_
i,
\seq
{
x
}
,i))
Z(
\seq
{
x
}
)
&
=
&
\sum
_{
\seq
{
y
}}
\exp
(
\sum
_{
i=1
}^
m
\sum
_{
j=1
}^
k
\lambda
_{
j
}
F
_{
j
}
(y
_{
i-1
}
,y
_
i,
\seq
{
x
}
,i))
\label
{
eq:3.3-10
}
\label
{
eq:3.3-10
}
\end{eqnarray}
\end{eqnarray}
...
@@ -649,19 +649,19 @@ Z(\seq{x})=\sum_{\seq{y}}\exp(\sum_{i=1}^m\sum_{j=1}^k\lambda_{j}F_{j}(y_{i-1},y
...
@@ -649,19 +649,19 @@ Z(\seq{x})=\sum_{\seq{y}}\exp(\sum_{i=1}^m\sum_{j=1}^k\lambda_{j}F_{j}(y_{i-1},y
\parinterval
举例说明,假设有上下文无关文法
$
G
=
<N,
\varSigma
,R,S>
$
,可以用它描述一个简单汉语句法结构。其中非终结符集合为不同的汉语句法标记
\parinterval
举例说明,假设有上下文无关文法
$
G
=
<N,
\varSigma
,R,S>
$
,可以用它描述一个简单汉语句法结构。其中非终结符集合为不同的汉语句法标记
\begin{eqnarray}
\begin{eqnarray}
N
=
\{\textrm
{
NN
}
,
\textrm
{
VV
}
,
\textrm
{
NP
}
,
\textrm
{
VP
}
,
\textrm
{
IP
}
\}
\nonumber
N
&
=
&
\{\textrm
{
NN
}
,
\textrm
{
VV
}
,
\textrm
{
NP
}
,
\textrm
{
VP
}
,
\textrm
{
IP
}
\}
\nonumber
\label
{
eq:3.4-1
}
\label
{
eq:3.4-1
}
\end{eqnarray}
\end{eqnarray}
\noindent
这里,
\textrm
{
NN
}
代表名词,
\textrm
{
VV
}
代表动词,
\textrm
{
NP
}
代表名词短语,
\textrm
{
VP
}
代表动词短语,
\textrm
{
IP
}
代表单句。进一步,把终结符集合定义为
\noindent
这里,
\textrm
{
NN
}
代表名词,
\textrm
{
VV
}
代表动词,
\textrm
{
NP
}
代表名词短语,
\textrm
{
VP
}
代表动词短语,
\textrm
{
IP
}
代表单句。进一步,把终结符集合定义为
\begin{eqnarray}
\begin{eqnarray}
\varSigma
=
\{\text
{
猫,喜欢,吃,鱼
}
\}
\nonumber
\varSigma
&
=
&
\{\text
{
猫,喜欢,吃,鱼
}
\}
\nonumber
\label
{
eq:3.4-2
}
\label
{
eq:3.4-2
}
\end{eqnarray}
\end{eqnarray}
再定义起始符集合为
再定义起始符集合为
\begin{eqnarray}
\begin{eqnarray}
S
=
\{\textrm
{
IP
}
\}
\nonumber
S
&
=
&
\{\textrm
{
IP
}
\}
\nonumber
\label
{
eq:3.4-3
}
\label
{
eq:3.4-3
}
\end{eqnarray}
\end{eqnarray}
...
@@ -800,7 +800,7 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
...
@@ -800,7 +800,7 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
\parinterval
概率上下文无关文法与传统上下文无关文法的区别在于,每条规则都会有一个概率,描述规则生成的可能性。具体来说,规则
$
\funp
{
P
}
(
\alpha
\to
\beta
)
$
的概率可以被定义为:
\parinterval
概率上下文无关文法与传统上下文无关文法的区别在于,每条规则都会有一个概率,描述规则生成的可能性。具体来说,规则
$
\funp
{
P
}
(
\alpha
\to
\beta
)
$
的概率可以被定义为:
\begin{eqnarray}
\begin{eqnarray}
\funp
{
P
}
(
\alpha
\to
\beta
)
=
\funp
{
P
}
(
\beta
|
\alpha
)
\funp
{
P
}
(
\alpha
\to
\beta
)
&
=
&
\funp
{
P
}
(
\beta
|
\alpha
)
\label
{
eq:3.4-4
}
\label
{
eq:3.4-4
}
\end{eqnarray}
\end{eqnarray}
...
@@ -831,7 +831,7 @@ r_6: & & \textrm{VP} \to \textrm{VV}\ \textrm{NN} \nonumber
...
@@ -831,7 +831,7 @@ r_6: & & \textrm{VP} \to \textrm{VV}\ \textrm{NN} \nonumber
\parinterval
新的问题又来了,如何得到规则的概率呢?这里仍然可以从数据中学习文法规则的概率。假设有人工标注的数据,它包括很多人工标注句法树的句法,称之为
{
\small\sffamily\bfseries
{
树库
}}
\index
{
树库
}
(Treebank)
\index
{
Treebank
}
。然后,对于规则
$
\textrm
{
r
}
:
\alpha
\to
\beta
$
可以使用基于频次的方法:
\parinterval
新的问题又来了,如何得到规则的概率呢?这里仍然可以从数据中学习文法规则的概率。假设有人工标注的数据,它包括很多人工标注句法树的句法,称之为
{
\small\sffamily\bfseries
{
树库
}}
\index
{
树库
}
(Treebank)
\index
{
Treebank
}
。然后,对于规则
$
\textrm
{
r
}
:
\alpha
\to
\beta
$
可以使用基于频次的方法:
\begin{eqnarray}
\begin{eqnarray}
\funp
{
P
}
(r)
=
\frac
{
\text
{
规则
$
r
$
在树库中出现的次数
}}{
\alpha
\text
{
在树库中出现的次数
}}
\funp
{
P
}
(r)
&
=
&
\frac
{
\text
{
规则
$
r
$
在树库中出现的次数
}}{
\alpha
\text
{
在树库中出现的次数
}}
\label
{
eq:3.4-8
}
\label
{
eq:3.4-8
}
\end{eqnarray}
\end{eqnarray}
...
...
Chapter4/chapter4.tex
查看文件 @
de6fc1aa
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论