Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
M
mtbookv2
概览
Overview
Details
Activity
Cycle Analytics
版本库
Repository
Files
Commits
Branches
Tags
Contributors
Graph
Compare
Charts
问题
0
Issues
0
列表
Board
标记
里程碑
合并请求
0
Merge Requests
0
CI / CD
CI / CD
流水线
作业
日程表
图表
维基
Wiki
代码片段
Snippets
成员
Collapse sidebar
Close sidebar
活动
图像
聊天
创建新问题
作业
提交
Issue Boards
Open sidebar
NiuTrans
mtbookv2
Commits
fa1c7321
Commit
fa1c7321
authored
Aug 29, 2020
by
xiaotong
Browse files
Options
Browse Files
Download
Email Patches
Plain Diff
wording (sec 3)
parent
eb45dcdb
显示空白字符变更
内嵌
并排
正在显示
1 个修改的文件
包含
8 行增加
和
8 行删除
+8
-8
Chapter3/chapter3.tex
+8
-8
没有找到文件。
Chapter3/chapter3.tex
查看文件 @
fa1c7321
...
@@ -21,7 +21,7 @@
...
@@ -21,7 +21,7 @@
%----------------------------------------------------------------------------------------
%----------------------------------------------------------------------------------------
\chapter
{
词法分析和语法分析基础
}
\chapter
{
词法分析和语法分析基础
}
\parinterval
机器翻译并非是一个孤立的系统,它依赖于很多模块,并且需要很多学科知识的融合。其中就会用到
一些自然语言处理工具来对不同语言的文字进行分析。因此,在正式开始机器翻译内容的介绍之前,本章会对相关的词法分析和语法分析知识进行概述,包括:分词、命名实体识别、成分句法分析。它们都是自然语言处理中的经典问题,而且在机器翻译中也经常被使用。本章会重点介绍这些任务的定义和求解问题的思路。其中也会使用到统计建模方法,
可以被看作是第二章内容的延伸。
\parinterval
机器翻译并非是一个孤立的系统,它依赖于很多模块,并且需要很多学科知识的融合。其中就会用到
许多自然语言处理工具来对不同语言的文字进行分析。因此,在正式开始机器翻译内容的介绍之前,本章会对相关的词法分析和语法分析知识进行概述,包括:分词、命名实体识别、成分句法分析。它们都是自然语言处理中的经典问题,而且在机器翻译中被广泛使用。本章会重点介绍这些任务的定义和求解问题的思路。其中也会使用到统计建模方法,因此本章也
可以被看作是第二章内容的延伸。
%----------------------------------------------------------------------------------------
%----------------------------------------------------------------------------------------
% NEW SECTION
% NEW SECTION
...
@@ -41,13 +41,13 @@
...
@@ -41,13 +41,13 @@
\end{figure}
\end{figure}
%-------------------------------------------
%-------------------------------------------
\parinterval
图
\ref
{
fig:3.1-1
}
(b)展示了一个机器翻译系统的输入和输出形式。可以看到,输入的中文词串``猫喜欢吃鱼''被加工成一个新的结构(图
\ref
{
fig:3.1-2
}
)。直觉上,这个结构有些奇怪,因为上面多了很多新的符号,而且还有一些线将不同符号进行连接。实际上这就是
语言分析中对句子常用的结构表示
\ \dash
\
短语结构树。这里
会涉及两方面问题:
\parinterval
图
\ref
{
fig:3.1-1
}
(b)展示了一个机器翻译系统的输入和输出形式。可以看到,输入的中文词串``猫喜欢吃鱼''被加工成一个新的结构(图
\ref
{
fig:3.1-2
}
)。直觉上,这个结构有些奇怪,因为上面多了很多新的符号,而且还有一些线将不同符号进行连接。实际上这就是
一种常见的句法表示
\ \dash
\
短语结构树。生成这样的结构
会涉及两方面问题:
\begin{itemize}
\begin{itemize}
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
{
\small\bfnew
{
分词
}}
\index
{
分词
}
(Segmentation)
\index
{
Segmentation
}
:这个过程会把词串进行切分,切割成最小的
单元。因为只有知道了什么是待处理字符串的最小单元,机器翻译系统才能对其进行
表示、分析和生成。
\item
{
\small\bfnew
{
分词
}}
\index
{
分词
}
(Segmentation)
\index
{
Segmentation
}
:这个过程会把词串进行切分,切割成最小的
具有完整功能的单元
\ \dash\
单词。因为只有知道了什么是单词,机器翻译系统才能完成对句子的
表示、分析和生成。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\item
{
\small\bfnew
{
句法分析
}}
\index
{
句法分析
}
(Parsing)
\index
{
Parsing
}
:这个过程会对分词的结果进行进一步分析。比如,可以对句子进行浅层分析,得到
一些句子中实体的信息(如人名、地名等)。也可以对句子进行更深层次的分析,得到完整的句法结构,类似于图
\ref
{
fig:3.1-2
}
中的结果。这种结构可以被看作是对句子的进一步抽象,被称为成分句法树,比如,NP+VP就可以表示由名词短语(NP)和动词短语(VP)构成的主谓结构。利用这些信息,机器翻译可以更加准确地对语言
的结构进行分析和生成。
\item
{
\small\bfnew
{
句法分析
}}
\index
{
句法分析
}
(Parsing)
\index
{
Parsing
}
:这个过程会对分词的结果进行进一步分析。比如,可以对句子进行浅层分析,得到
句子中实体的信息(如人名、地名等)。也可以对句子进行更深层次的分析,得到完整的句法结构,类似于图
\ref
{
fig:3.1-2
}
中的结果。这种结构可以被看作是对句子的进一步抽象,被称为短语结构树,比如,NP+VP就可以表示由名词短语(NP)和动词短语(VP)构成的主谓结构。利用这些信息,机器翻译可以更加准确地对句子
的结构进行分析和生成。
\vspace
{
0.5em
}
\vspace
{
0.5em
}
\end{itemize}
\end{itemize}
...
@@ -60,15 +60,15 @@
...
@@ -60,15 +60,15 @@
\end{figure}
\end{figure}
%-------------------------------------------
%-------------------------------------------
\parinterval
类似地,机器翻译输出的结果也可以包含同样的信息。甚至系统输出英
文译文之后,还有一个额外的步骤来把部分英文
单词的大小写恢复出来,比如,上例中句首单词``Cats''的首字母要大写。
\parinterval
类似地,机器翻译输出的结果也可以包含同样的信息。甚至系统输出英
语译文之后,还有一个额外的步骤来把部分英语
单词的大小写恢复出来,比如,上例中句首单词``Cats''的首字母要大写。
\parinterval
一般来说,在送入机器翻译系统前需要对文字序列进行处理和加工,这个过程被称为
{
\small\bfnew
{
预处理
}}
\index
{
预处理
}
(Preprocessing)
\index
{
Preprocessing
}
。同理,在机器翻译模型输出译文后进行的处理被称作
{
\small\bfnew
{
后处理
}}
\index
{
后处理
}
(Postprocessing)
\index
{
Postprocessing
}
。这两个过程对机器翻译性能影响很大,比如,
在神经机器翻译里
,不同的分词策略可能会造成翻译性能的天差地别。
\parinterval
一般来说,在送入机器翻译系统前需要对文字序列进行处理和加工,这个过程被称为
{
\small\bfnew
{
预处理
}}
\index
{
预处理
}
(Preprocessing)
\index
{
Preprocessing
}
。同理,在机器翻译模型输出译文后进行的处理被称作
{
\small\bfnew
{
后处理
}}
\index
{
后处理
}
(Postprocessing)
\index
{
Postprocessing
}
。这两个过程对机器翻译性能影响很大,比如,
对于神经机器翻译系统来说
,不同的分词策略可能会造成翻译性能的天差地别。
\parinterval
值得注意的是,有些观点认为,对于机器翻译来说,不论是分词还是句法分析,并不要求符合人的认知和语言学约束。换句话说,机器翻译所使用的``单词''和``结构''本身并不是为了符合人类的解释,它们更直接目的是为了进行翻译。从系统开发的角度,有时候即使使用一些与人类的语言习惯有差别的处理,仍然会带来性能的提升,比如在神经机器翻译中,在传统分词的基础上进一步使用
{
\small\bfnew
{
双字节编码
}}
\index
{
双字节编码
}
(Byte Pair Encoding,BPE)
\index
{
Byte Pair Encoding
}
子词切分会使得机器翻译性能大幅提高。当然,自然语言处理中语言学信息的使用一直是学界关注的焦点。甚至关于语言学结构对机器翻译是否有作用这个问题也有
争论
。但是不能否认的是,无论是语言学的知识,还是计算机自己学习到的知识,对机器翻译都是有价值的。在后续章节会看到,这两种类型的知识对机器翻译帮助很大。
\parinterval
值得注意的是,有些观点认为,对于机器翻译来说,不论是分词还是句法分析,并不要求符合人的认知和语言学约束。换句话说,机器翻译所使用的``单词''和``结构''本身并不是为了符合人类的解释,它们更直接目的是为了进行翻译。从系统开发的角度,有时候即使使用一些与人类的语言习惯有差别的处理,仍然会带来性能的提升,比如在神经机器翻译中,在传统分词的基础上进一步使用
{
\small\bfnew
{
双字节编码
}}
\index
{
双字节编码
}
(Byte Pair Encoding,BPE)
\index
{
Byte Pair Encoding
}
子词切分会使得机器翻译性能大幅提高。当然,自然语言处理中语言学信息的使用一直是学界关注的焦点。甚至关于语言学结构对机器翻译是否有作用这个问题也有
一些不同的观点
。但是不能否认的是,无论是语言学的知识,还是计算机自己学习到的知识,对机器翻译都是有价值的。在后续章节会看到,这两种类型的知识对机器翻译帮助很大。
\parinterval
剩下的问题是如何进行句子的切分和结构的分析。思路有很多,一种常用的方法是对问题进行概率化,用统计模型来描述问题并求解之。比如,一个句子切分的好坏,并不是非零即一的判断,而是要估计出这种切分的可能性大小,最终选择可能性最大的结果进行输出。这也是一种典型的用统计建模的方式来描述自然语言处理问题的方法。
\parinterval
剩下的问题是如何进行句子的切分和结构的分析。思路有很多,一种常用的方法是对问题进行概率化,用统计模型来描述问题并求解之。比如,一个句子切分的好坏,并不是非零即一的判断,而是要估计出这种切分的可能性大小,最终选择可能性最大的结果进行输出。这也是一种典型的用统计建模的方式来描述自然语言处理问题的方法。
\parinterval
本章将会对上述问题及求解问题的方法进行介绍。并将统计建模应用到中文分词、命名实体识别和成分句法分析等任务。
\parinterval
本章将会对上述问题及求解问题的方法进行介绍。并将统计建模应用到中文分词、命名实体识别和成分句法分析等任务
中
。
%----------------------------------------------------------------------------------------
%----------------------------------------------------------------------------------------
% NEW SECTION
% NEW SECTION
...
...
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论