Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
T
Toy-MT-Introduction
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
Toy-MT-Introduction
Commits
171be9f7
Commit
171be9f7
authored
May 09, 2020
by
曹润柘
Browse files
Options
Browse Files
Download
Plain Diff
合并分支 'caorunzhe' 到 'master'
Caorunzhe 查看合并请求
!113
parents
a73bcfa4
264e8595
显示空白字符变更
内嵌
并排
正在显示
3 个修改的文件
包含
11 行增加
和
12 行删除
+11
-12
Book/Chapter2/Figures/figure-MT-system-as-a-black-box.tex
+7
-7
Book/Chapter2/Figures/figure-MT=language-analysis+translation-engine.tex
+1
-1
Book/Chapter2/chapter2.tex
+3
-4
没有找到文件。
Book/Chapter2/Figures/figure-MT-system-as-a-black-box.tex
查看文件 @
171be9f7
...
@@ -55,16 +55,16 @@
...
@@ -55,16 +55,16 @@
}
}
{
{
\node
[minimum height=4em,minimum width=4.5em,fill=white]
(inputmarking) at (0.8
5
in,-0.39in)
{}
;
\node
[minimum height=4em,minimum width=4.5em,fill=white]
(inputmarking) at (0.8
8
in,-0.39in)
{}
;
\node
[minimum height=4em,minimum width=5.2em,fill=white]
(outputmarking) at (2.5
5
in,-0.39in)
{}
;
\node
[minimum height=4em,minimum width=5.2em,fill=white]
(outputmarking) at (2.5
7
in,-0.39in)
{}
;
}
}
\node
[anchor=south] (inputlabel) at ([yshift=-0.5em]input.north)
{{
\scriptsize
\color
{
red
}{
\textbf
{
输入
}}}}
;
\node
[anchor=south] (inputlabel) at ([yshift=-0.5em]input.north)
{{
\scriptsize
\color
{
red
}{
\textbf
{
输入
}}}}
;
\node
[anchor=south] (outputlabel) at ([yshift=-0.5em]output.north)
{{
\scriptsize
\color
{
red
}{
\textbf
{
输出
}}}}
;
\node
[anchor=south] (outputlabel) at ([yshift=-0.5em]output.north)
{{
\scriptsize
\color
{
red
}{
\textbf
{
输出
}}}}
;
{
{
\node
[anchor=west] (mtinputlabel) at ([xshift=0.
29
in]inputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输入
}}}}
;
\node
[anchor=west] (mtinputlabel) at ([xshift=0.
32
in]inputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输入
}}}}
;
\node
[anchor=west] (mtoutputlabel) at ([xshift=0.8
6
in]mtinputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输出
}}}}
;
\node
[anchor=west] (mtoutputlabel) at ([xshift=0.8
8
in]mtinputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输出
}}}}
;
\node
[rectangle,draw=ublue, inner sep=0mm]
[fit = (mtinputlabel) (mtoutputlabel) (inputmarking) (outputmarking)]
{}
;
\node
[rectangle,draw=ublue, inner sep=0mm]
[fit = (mtinputlabel) (mtoutputlabel) (inputmarking) (outputmarking)]
{}
;
}
}
...
@@ -73,9 +73,9 @@
...
@@ -73,9 +73,9 @@
}
}
\begin{scope}
[scale=0.9,xshift=1.2in,yshift=-1.2in,level distance=20pt,sibling distance=0pt]
%
\begin{scope}[scale=0.9,xshift=1.2in,yshift=-1.2in,level distance=20pt,sibling distance=0pt]
%
\end{scope}
%
\end{scope}
\end{scope}
\end{scope}
...
...
Book/Chapter2/Figures/figure-MT=language-analysis+translation-engine.tex
查看文件 @
171be9f7
...
@@ -63,7 +63,7 @@
...
@@ -63,7 +63,7 @@
{
{
\node
[anchor=west] (mtinputlabel) at ([xshift=0.29in]inputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输入
}}}}
;
\node
[anchor=west] (mtinputlabel) at ([xshift=0.29in]inputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输入
}}}}
;
\node
[anchor=west] (mtoutputlabel) at ([xshift=
1.0
in]mtinputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输出
}}}}
;
\node
[anchor=west] (mtoutputlabel) at ([xshift=
0.86
in]mtinputlabel.east)
{{
\scriptsize
\color
{
red
}{
\textbf
{
实际的输出
}}}}
;
\node
[rectangle,draw=ublue, inner sep=0mm]
[fit = (mtinputlabel) (mtoutputlabel) (inputmarking) (outputmarking)]
{}
;
\node
[rectangle,draw=ublue, inner sep=0mm]
[fit = (mtinputlabel) (mtoutputlabel) (inputmarking) (outputmarking)]
{}
;
}
}
...
...
Book/Chapter2/chapter2.tex
查看文件 @
171be9f7
...
@@ -114,7 +114,7 @@
...
@@ -114,7 +114,7 @@
\parinterval
除此之外,概率函数
$
\textrm
{
P
}
(
\cdot
)
$
还具有非负性、归一性等特点,非负性是指,所有的概率函数
$
\textrm
{
P
}
(
\cdot
)
$
都必须是大于等于0的数值,概率函数中不可能出现负数:
$
\forall
{
x
}
,
\textrm
{
P
}{
(
x
)
}
\geq
{
0
}$
。归一性,又称规范性,简单的说就是所有可能发生的事件的概率总和为1,即
$
\sum
_{
x
}
\textrm
{
P
}{
(
x
)
}
=
{
1
}$
。
\parinterval
除此之外,概率函数
$
\textrm
{
P
}
(
\cdot
)
$
还具有非负性、归一性等特点,非负性是指,所有的概率函数
$
\textrm
{
P
}
(
\cdot
)
$
都必须是大于等于0的数值,概率函数中不可能出现负数:
$
\forall
{
x
}
,
\textrm
{
P
}{
(
x
)
}
\geq
{
0
}$
。归一性,又称规范性,简单的说就是所有可能发生的事件的概率总和为1,即
$
\sum
_{
x
}
\textrm
{
P
}{
(
x
)
}
=
{
1
}$
。
\parinterval
对于离散变量
$
A
$
,
$
\textrm
{
P
}
(
A
=
a
)
$
是个确定的值,可以表示事件
$
A
=
a
$
的可能性大小;而对于连续变量,求在某个定点处的概率是无意义的,只能求其落在某个取值区间内的概率。因此,用
{
\small\sffamily\bfseries
{
概率分布函数
}}
\index
{
概率分布函数
}$
F
(
x
)
$
和
{
\small\sffamily\bfseries
{
概率密度函数
}}
\index
{
概率密度函数
}$
f
(
x
)
$
来统一描述随机变量取值的分布情况。概率分布函数
$
F
(
x
)
$
表示取值小于某个值的概率,是概率的累加(或积分)形式。假设
$
A
$
是一个随机变量,
$
a
$
是任意实数,将函数
$
F
(
a
)=
\textrm
{
P
}
\{
A
\leq
a
\}
$
,
$
-
\infty
<a<
\infty
$
定义为
$
A
$
的分布函数。通过分布函数,可以清晰地表示任何随机变量的概率。
\parinterval
对于离散变量
$
A
$
,
$
\textrm
{
P
}
(
A
=
a
)
$
是个确定的值,可以表示事件
$
A
=
a
$
的可能性大小;而对于连续变量,求在某个定点处的概率是无意义的,只能求其落在某个取值区间内的概率。因此,用
{
\small\sffamily\bfseries
{
概率分布函数
}}
\index
{
概率分布函数
}$
F
(
x
)
$
和
{
\small\sffamily\bfseries
{
概率密度函数
}}
\index
{
概率密度函数
}$
f
(
x
)
$
来统一描述随机变量取值的分布情况
(如图
\ref
{
fig:2-3
}
)
。概率分布函数
$
F
(
x
)
$
表示取值小于某个值的概率,是概率的累加(或积分)形式。假设
$
A
$
是一个随机变量,
$
a
$
是任意实数,将函数
$
F
(
a
)=
\textrm
{
P
}
\{
A
\leq
a
\}
$
,
$
-
\infty
<a<
\infty
$
定义为
$
A
$
的分布函数。通过分布函数,可以清晰地表示任何随机变量的概率。
\parinterval
概率密度函数反映了变量在某个区间内的概率变化快慢,概率密度函数的值是概率的变化率,该连续变量的概率也就是对概率密度函数求积分得到的结果。设
$
f
(
x
)
\geq
0
$
是连续变量
$
X
$
的概率密度函数,
$
X
$
的分布函数就可以用如下公式定义:
\parinterval
概率密度函数反映了变量在某个区间内的概率变化快慢,概率密度函数的值是概率的变化率,该连续变量的概率也就是对概率密度函数求积分得到的结果。设
$
f
(
x
)
\geq
0
$
是连续变量
$
X
$
的概率密度函数,
$
X
$
的分布函数就可以用如下公式定义:
\begin{eqnarray}
\begin{eqnarray}
...
@@ -493,7 +493,7 @@ F(X)=\int_{-\infty}^x f(x)dx
...
@@ -493,7 +493,7 @@ F(X)=\int_{-\infty}^x f(x)dx
\subsubsection
{
掷骰子游戏
}
\subsubsection
{
掷骰子游戏
}
\parinterval
上述过程的核心在于从数据中学习一种对分词现象的统计描述,即学习函数
$
\textrm
{
P
}
(
\cdot
)
$
。如何让计算机利用分词好的数据学习到分词的知识呢?可以先看一个有趣的实例,用生活中比较常见的掷骰子来说,掷一个骰子,玩家猜一个数字,猜中就算赢,按照一般的常识,随便选一个数字,获胜的概率是一样的,即所有选择的获胜概率仅是
$
1
/
6
$
。因此这个游戏玩家很难获胜,除非运气很好。假设进行一次游戏,玩家随便选了一个数字,比如是1,投掷30骰子,得到命中
$
7
/
30
>
1
/
6
$
,还不错。
\parinterval
上述过程的核心在于从数据中学习一种对分词现象的统计描述,即学习函数
$
\textrm
{
P
}
(
\cdot
)
$
。如何让计算机利用分词好的数据学习到分词的知识呢?可以先看一个有趣的实例
(图
\ref
{
fig:2-11
}
)
,用生活中比较常见的掷骰子来说,掷一个骰子,玩家猜一个数字,猜中就算赢,按照一般的常识,随便选一个数字,获胜的概率是一样的,即所有选择的获胜概率仅是
$
1
/
6
$
。因此这个游戏玩家很难获胜,除非运气很好。假设进行一次游戏,玩家随便选了一个数字,比如是1,投掷30骰子,得到命中
$
7
/
30
>
1
/
6
$
,还不错。
\vspace
{
-0.5em
}
\vspace
{
-0.5em
}
%----------------------------------------------
%----------------------------------------------
...
@@ -644,7 +644,7 @@ F(X)=\int_{-\infty}^x f(x)dx
...
@@ -644,7 +644,7 @@ F(X)=\int_{-\infty}^x f(x)dx
\end{figure}
\end{figure}
%-------------------------------------------
%-------------------------------------------
\parinterval
最后再整体看一下分词系统的学习和使用过程。如图
\ref
{
fig:2-1
4
}
所示,我们利用大量人工标注好的分词数据,通过统计学习方法获得一个统计模型
$
\textrm
{
P
}
(
\cdot
)
$
,给定任意分词结果
$
W
=
w
_
1
w
_
2
...w
_
m
$
,都能通过
$
\textrm
{
P
}
(
W
)=
\textrm
{
P
}
(
w
_
1
)
\cdot
\textrm
{
P
}
(
w
_
2
)
\cdot
...
\cdot
\textrm
{
P
}
(
w
_
m
)
$
计算这种切分的概率值。
\parinterval
最后再整体看一下分词系统的学习和使用过程。如图
\ref
{
fig:2-1
7
}
所示,我们利用大量人工标注好的分词数据,通过统计学习方法获得一个统计模型
$
\textrm
{
P
}
(
\cdot
)
$
,给定任意分词结果
$
W
=
w
_
1
w
_
2
...w
_
m
$
,都能通过
$
\textrm
{
P
}
(
W
)=
\textrm
{
P
}
(
w
_
1
)
\cdot
\textrm
{
P
}
(
w
_
2
)
\cdot
...
\cdot
\textrm
{
P
}
(
w
_
m
)
$
计算这种切分的概率值。
\parinterval
经过充分训练的统计模型
$
\textrm
{
P
}
(
\cdot
)
$
就是得到的分词模型。对于输入的新句子
$
S
$
,通过这个模型找到最佳的分词结果
$
W
^
*
$
输出。假设输入句子
$
S
$
是``确实现在数据很多'',可以通过列举获得不同切分方式的概率,其中概率最高的切分方式,就是系统的目标输出。
\parinterval
经过充分训练的统计模型
$
\textrm
{
P
}
(
\cdot
)
$
就是得到的分词模型。对于输入的新句子
$
S
$
,通过这个模型找到最佳的分词结果
$
W
^
*
$
输出。假设输入句子
$
S
$
是``确实现在数据很多'',可以通过列举获得不同切分方式的概率,其中概率最高的切分方式,就是系统的目标输出。
...
@@ -1120,7 +1120,6 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
...
@@ -1120,7 +1120,6 @@ s_0 \overset{r_1}{\Rightarrow} s_1 \overset{r_2}{\Rightarrow} s_2 \overset{r_3}{
\begin{figure}
[htp]
\begin{figure}
[htp]
\centering
\centering
\input
{
./Chapter2/Figures/figure-example-of-derivation
}
\input
{
./Chapter2/Figures/figure-example-of-derivation
}
\setlength
{
\abovecaptionskip
}{
-0.0em
}
\caption
{
上下文无关文法推导实例
}
\caption
{
上下文无关文法推导实例
}
\label
{
fig:2-22
}
\label
{
fig:2-22
}
\end{figure}
\end{figure}
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论