Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
eb45dcdb
Commit
eb45dcdb
authored
Aug 29, 2020
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
wording
parent
b3065da8
隐藏空白字符变更
内嵌
并排
正在显示
3 个修改的文件
包含
13 行增加
和
14 行删除
+13
-14
Chapter3/chapter3.tex
+7
-8
Chapter4/Figures/schematic-diagram-of-word-level-quality-assessment-task.log
+0
-0
mt-book-xelatex.tex
+6
-6
没有找到文件。
Chapter3/chapter3.tex
查看文件 @
eb45dcdb
...
...
@@ -112,7 +112,7 @@
\parinterval
Interested
\hspace
{
0.62em
}
$
\to
$
\;
Interest/ed selecting
\hspace
{
0.34em
}
$
\to
$
\;
se/lect/ing processing
\hspace
{
0.22em
}
$
\to
$
\;
pro/cess/ing
\parinterval
Interests
\hspace
{
1.17em
}
$
\to
$
\;
Interest/s selected
\hspace
{
1.24em
}
$
\to
$
\;
se/lect/ed processed
\hspace
{
0.82em
}
$
\to
$
\;
pro/cess/ed
\parinterval
Interests
\hspace
{
1.17em
}
$
\to
$
\;
Interest/s selected
\hspace
{
1.24em
}
$
\to
$
\;
se/lect/ed processed
\hspace
{
0.82em
}
$
\to
$
\;
pro/cess/ed
\vspace
{
0.5em
}
...
...
@@ -166,13 +166,13 @@
\subsubsection
{
1. 统计模型的学习与推断
}
\parinterval
在分词任务中,数据驱动主要指用已经分词切分好的数据``喂''给系统,这个数据也被称作
{
\small\bfnew
{
标注数据
}}
\index
{
标注数据
}
(Annotated Data)
\index
{
Annotated Data
}
。在获得标注数据后,系统自动学习一个统计模型来描述分词的过程,而这个模型会把分词的``知识''作为参数保存在模型中。当送入一个新的需要分词的句子时,可以利用学习到的模型对所有可能的分词结果进行预测,并进行概率化的描述,最终选择概率最大的结果作为输出。这个方法就是基于统计的分词方法。具体来说,可以分为两个步骤:
\parinterval
在分词任务中,数据驱动主要指用已经分词切分好的数据``喂''给系统,这个数据也被称作
{
\small\bfnew
{
标注数据
}}
\index
{
标注数据
}
(Annotated Data)
\index
{
Annotated Data
}
。在获得标注数据后,系统自动学习一个统计模型来描述分词的过程,而这个模型会把分词的``知识''作为参数保存在模型中。当送入一个新的需要分词的句子时,可以利用学习到的模型对所有可能的分词结果进行预测,并进行概率化的描述,最终选择概率最大的结果作为输出。这个方法就是基于统计的分词方法
,其与
{
\chaptertwo
}
介绍的统计语言建模方法本质上是一样的
。具体来说,可以分为两个步骤:
\begin{itemize}
\vspace
{
0.5em
}
\item
{
\small\bfnew
{
训练
}}
\index
{
训练
}
(Training)
\index
{
Training
}
。利用标注数据,对统计模型的参数进行学习。
\vspace
{
0.5em
}
\item
{
\small\bfnew
{
推断
}}
\index
{
推断
}
(Inference)
\index
{
Inference
}
。利用学习到的模型和参数,对新的句子进行切分
。
\item
{
\small\bfnew
{
预测
}}
\index
{
预测
}
(Prediction)
\index
{
Prediction
}
。利用学习到的模型和参数,对新的句子进行切分。这个过程也可以被看作是利用学习到的模型在新的数据上进行
{
\small\bfnew
{
推断
}}
\index
{
推断
}
(Inference)
\index
{
Inference
}
。
\vspace
{
0.5em
}
\end{itemize}
...
...
@@ -195,7 +195,7 @@
\parinterval
上述过程的核心在于从标注数据中学习一种对分词现象的统计描述,即句子的分词结果概率
$
\funp
{
P
}
(
\cdot
)
$
。如何让计算机利用分好词的数据学习到分词知识呢?本书的
{
\chaptertwo
}
曾介绍如何对单词概率进行统计建模,而对分词现象的统计描述就是在单词概率的基础上,基于独立性假设获取的
\footnote
{
即假定所有词的出现都是相互独立的。
}
。虽然独立性假设并不能完美描述分词过程中单词之间的关系,但是它大大化简了分词问题的复杂度。
\parinterval
如图
\ref
{
fig:3.2-5
}
所示,可以利用大量人工标注好的分词数据,通过统计学习方法获得一个统计模型
$
\funp
{
P
}
(
\cdot
)
$
,给定任意分词结果
$
W
=
w
_
1
w
_
2
\ldots
w
_
m
$
,都能通过
$
\funp
{
P
}
(
W
)=
\funp
{
P
}
(
w
_
1
)
\cdot
\funp
{
P
}
(
w
_
2
)
\cdot
\ldots
\cdot
\funp
{
P
}
(
w
_
m
)
\parinterval
如图
\ref
{
fig:3.2-5
}
所示,可以利用大量人工标注好的分词数据,通过统计学习方法获得一个统计模型
$
\funp
{
P
}
(
\cdot
)
$
,给定任意分词结果
$
W
=
w
_
1
w
_
2
\ldots
w
_
m
$
,都能通过
$
\funp
{
P
}
(
W
)=
\funp
{
P
}
(
w
_
1
)
\cdot
\funp
{
P
}
(
w
_
2
)
\cdot
\ldots
\cdot
\funp
{
P
}
(
w
_
m
)
$
计算这种切分的概率值。
%----------------------------------------------
...
...
@@ -211,7 +211,7 @@ $计算这种切分的概率值。
\begin{eqnarray}
&
\funp
{
P
}&
\textrm
{
(确实/现在/数据/很/多)
}
\nonumber
\\
&
=
&
\funp
{
P
}
\textrm
{
(确实)
}
\cdot
\funp
{
P
}
\textrm
{
(现在)
}
\cdot
\funp
{
P
}
\textrm
{
(数据)
}
\cdot
\funp
{
P
}
\textrm
{
(很)
}
\cdot
\funp
{
P
}
\textrm
{
(多)
}
&
=
&
\funp
{
P
}
\textrm
{
(确实)
}
\cdot
\funp
{
P
}
\textrm
{
(现在)
}
\cdot
\funp
{
P
}
\textrm
{
(数据)
}
\cdot
\funp
{
P
}
\textrm
{
(很)
}
\cdot
\funp
{
P
}
\textrm
{
(多)
}
\label
{
eq:3.2-1
}
\end{eqnarray}
...
...
@@ -538,7 +538,7 @@ Z(X)=\sum_y\exp(\sum_i^I\sum_k\lambda_kF_k(y_{i-1},y_i,x,i))
\section
{
句法分析(短语结构分析)
}
\parinterval
前面两节已经介绍了什么叫做``词''、如何对分词问题进行统计建模。同时,也介绍了如何对多个单词构成的命名实体进行识别。无论是分词还是命名实体识别都是句子浅层信息的一种表示。对于一个自然语言句子来说,它更深层次的结构信息可以通过更完整的句法结构来描述,而句法结构也是机器翻译和自然语言处理其他任务中常用的知识之一。
\parinterval
前面两节已经介绍了什么叫做``词''、如何对分词问题进行统计建模。同时,也介绍了如何对多个单词构成的命名实体进行识别。无论是分词还是命名实体识别都是句子浅层信息的一种表示。对于一个自然语言句子来说,它更深层次的结构信息可以通过更完整的句法结构来描述,而句法结构也是机器翻译和自然语言处理其他任务中常用的知识之一。
%----------------------------------------------------------------------------------------
% NEW SUB-SECTION
...
...
@@ -858,4 +858,4 @@ r_6: & & \textrm{VP} \to \textrm{VV}\ \textrm{NN} \nonumber
\vspace
{
0.5em
}
\item
从自然语言处理的角度来看,词法分析和语法分析的一部分内容都是典型的序列标注问题,例如本章正文部分介绍的分词和命名实体识别都可以看成序列标注的问题,此外序列标注还可以被扩展到词性标注
\upcite
{
brants-2000-tnt
}
、组块识别
\upcite
{
tsuruoka-tsujii-2005-chunk
}
、关键词抽取
\upcite
{
li-etal-2003-news-oriented
}
、词义角色标注
\upcite
{
chomsky1993lectures
}
等任务,本章着重介绍了传统的基础方法,前沿的方法大多与深度学习相结合,感兴趣的读者可以自行了解,其中比较有代表性的包括双向长短期记忆网络和条件随机场相结合的模型结构(BiLSTM-CRF)
\upcite
{
2015Bidirectional
}
、双向长短期记忆网络和卷积神经网络的混合模型(BiLSTM-CNNs)
\upcite
{
chiu2016named
}
、双向长短期记忆网络和softmax结构相结合的模型
\upcite
{
vzukov2018named
}
等。此外,对于序列标注任务,模型性能很大程度上依赖其输入表示,因此集成或微调预训练语言模型的方法也能应用于序列标注任务
\upcite
{
Li2020A
}
,常见的预训练语言模型包括BERT
\upcite
{
devlin2018bert
}
、GPT
\upcite
{
radford2018improving
}
、XLM
\upcite
{
conneau2019unsupervised
}
等。
\vspace
{
0.5em
}
\end{itemize}
\ No newline at end of file
\end{itemize}
Chapter4/Figures/schematic-diagram-of-word-level-quality-assessment-task.log
deleted
100644 → 0
查看文件 @
b3065da8
mt-book-xelatex.tex
查看文件 @
eb45dcdb
...
...
@@ -131,12 +131,12 @@
% CHAPTERS
%----------------------------------------------------------------------------------------
\include
{
Chapter1/chapter1
}
\include
{
Chapter2/chapter2
}
%
\include{Chapter1/chapter1}
%
\include{Chapter2/chapter2}
\include
{
Chapter3/chapter3
}
\include
{
Chapter4/chapter4
}
\include
{
Chapter5/chapter5
}
\include
{
Chapter6/chapter6
}
%
\include{Chapter4/chapter4}
%
\include{Chapter5/chapter5}
%
\include{Chapter6/chapter6}
%\include{Chapter7/chapter7}
%\include{Chapter8/chapter8}
%\include{Chapter9/chapter9}
...
...
@@ -149,7 +149,7 @@
%\include{Chapter16/chapter16}
%\include{Chapter17/chapter17}
%\include{Chapter18/chapter18}
\include
{
ChapterAppend/chapterappend
}
%
\include{ChapterAppend/chapterappend}
%----------------------------------------------------------------------------------------
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论