Skip to content

T
Toy-MT-Introduction
Commit 207e0648 by xiaotong
Options

updates of the content figure

parent 3d106c96
正在显示 包含 48 行增加 和 155 行删除
Book/ChapterPreface/ChapterPreface.tex
......@@ -14,11 +14,11 @@
\end{center}
\vspace{2em}
\begin{spacing}{1.4}
\begin{spacing}{1.2}
让计算机进行自然语言的翻译是人类长期的梦想，也是人工智能的终极目标之一。自上世纪九十年代起，机器翻译也迈入了基于统计建模的时代，而发展到今天，深度学习等机器学习方法已经在机器翻译中得到了大量的应用，取得了令人瞩目的进步。
在这个时代背景下，对机器翻译的模型、方法、实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面的回顾了近三十年内机器翻译的技术发展历程，并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中，笔者力求用朴实的语言和图画阐述机器翻译的基本思想，同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用，也可以作为自然语言处理，特别是机器翻译相关研究人员的参考资料。
在这个时代背景下，对机器翻译的模型、方法、实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面的回顾了近三十年内机器翻译的技术发展历程，并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中，笔者力求用朴实的语言和实例阐述机器翻译的基本思想，同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用，也可以作为自然语言处理，特别是机器翻译相关研究人员的参考资料。
本书共分为七个章节。章节的顺序参考了机器翻译技术发展的时间脉络，同时兼顾形成机器翻译知识体系的内在逻辑。各章节的主要内容包括：
......@@ -40,13 +40,14 @@
\vspace{0.4em}
\end{itemize}
其中，第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍，分别建立了两个机器翻译范式的基础知识体系 \ \dash \ 统计机器翻译和神经机器翻译。统计机器翻译部分（第三、四章）涉及早期的基于单词的翻译模型，以及本世纪初流行的基于短语和句法的翻译模型；神经机器翻译（第六、七章）代表了机器翻译的技术前沿，内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别在第七章，本书对构建先进神经机器翻译的技术进行了较为全面的介绍，为相关相关科学问题的研究和实用系统的开发提供了可落地的思路。图\ref{fig:preface}展示了本书各个章节及核心概念之间的关系。
其中，第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍，分别建立了两个机器翻译范式的基础知识体系 \ \dash \ 统计机器翻译和神经机器翻译。统计机器翻译部分（第三、四章）涉及早期的基于单词的翻译模型，以及本世纪初流行的基于短语和句法的翻译模型；神经机器翻译（第六、七章）代表了当今机器翻译的前沿，内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别是，第七章对一些先进的神经机器翻译方法进行了讨论，为相关相关科学问题的研究和实用系统的开发提供了可落地的思路。图\ref{fig:preface}展示了本书各个章节及核心概念之间的关系。
{\red 用最简单的方式阐述机器翻译的基本思想}是笔者所期望达到的。但是，书中难免会涉及一些概念形式化定义和算法的抽象描述，笔者也都尽所能通过图形进行解释。不过，本书所包含的内容较为广泛，难免有疏漏之处，望读者海涵，并指出不当之处。
{\red 用最简单的方式阐述机器翻译的基本思想}是笔者所期望达到的目标。但是，书中难免会涉及一些概念形式化定义和算法的抽象描述，笔者也都尽所能通过图例进行解释（本书共320张插图）。不过，本书所包含的内容较为广泛，难免有疏漏之处，望读者海涵，并指出不当之处。
\begin{figure}[htp]
\centering
%\includegraphics[scale=0.36]{./Chapter6/Figures/mt-history.png}
\centering
\input{./ChapterPreface/Figures/figure-preface}
\caption{本书各章节及核心概念关系图}
\label{fig:preface}
\end{figure}
......
Book/ChapterPreface/Figures/figure-preface.tex 0 → 100644
\begin{tikzpicture}
\tikzstyle{secnode} =[font=\scriptsize,minimum height=4.0em,minimum width=22em,draw,thick,fill=white,drop shadow]
\tikzstyle{conceptnode} =[font=\scriptsize,minimum height=1.5em,minimum width=5em]
\tikzstyle{conceptnodesmall} =[font=\scriptsize,minimum height=1.0em,minimum width=4.4em]
% section 1
\node [secnode,anchor=south west,minimum width=22.5em,red,fill=white] (sec1) at (0,0) {};
\node [anchor=north] (sec1label) at ([yshift=-0.2em]sec1.north) {\small{机器翻译简介}};
\node [conceptnode,anchor=south west,fill=red!15,thin] (sec1box1) at ([xshift=0.5em,yshift=0.5em]sec1.south west) {\footnotesize{发展历史}};
\node [conceptnode,anchor=west,fill=red!15,thin] (sec1box2) at ([xshift=0.5em]sec1box1.east) {\footnotesize{评价方法}};
\node [conceptnode,anchor=west,fill=red!15,thin] (sec1box3) at ([xshift=0.5em]sec1box2.east) {\footnotesize{应用情况}};
\node [conceptnode,anchor=west,fill=red!15,thin] (sec1box4) at ([xshift=0.5em]sec1box3.east) {\footnotesize{系统\&数据}};
\node [anchor=north west,draw,thick,fill=white,red,rounded corners] (sec1title) at ([xshift=-0.3em,yshift=0.3em]sec1.north west) {{\footnotesize\bfnew{第一章}}};
% section 2
\node [secnode,anchor=south,blue,fill=white] (sec2) at ([xshift=-6.5em,yshift=3em]sec1.north) {};
\node [anchor=north] (sec2label) at (sec2.north) {\small{词法、语法及统计建模基础}};
\node [conceptnode,anchor=south west,fill=blue!15,thin,minimum width=4em,align=left] (sec2box1) at ([xshift=0.5em,yshift=0.4em]sec2.south west) {\tiny{概率论与}\\\tiny{统计建模基础}};
\node [anchor=west,draw,dotted,thick,minimum height=2em,minimum width=16.6em,align=left] (sec2box2) at ([xshift=0.3em]sec2box1.east) {};
\node [conceptnodesmall,minimum width=5em,anchor=south west,fill=blue!15,thin] (sec2box3) at ([xshift=0.4em,yshift=0.3em]sec2box2.south west) {\scriptsize{中文分词}};
\node [conceptnodesmall,minimum width=5em,anchor=west,fill=blue!15,thin] (sec2box4) at ([xshift=0.4em]sec2box3.east) {\scriptsize{$n$元语法模型}};
\node [conceptnodesmall,minimum width=5em,anchor=west,fill=blue!15,thin] (sec2box5) at ([xshift=0.4em]sec2box4.east) {\scriptsize{句法分析}};
\node [anchor=north west,draw,thick,fill=white,blue,rounded corners] (sec2title) at ([xshift=-0.3em,yshift=0.3em]sec2.north west) {{\footnotesize\bfnew{第二章}}};
\draw [->,very thick] ([xshift=2em,yshift=0.2em]sec1.north) .. controls +(north:2.5em) and +(south:2.5em) .. ([xshift=-0em,yshift=-0.2em]sec2.south);
% section 5
\node [secnode,anchor=south,orange,fill=white] (sec5) at ([xshift=7em,yshift=10em]sec1.north) {};
\node [anchor=north] (sec5label) at (sec5.north) {\small{人工神经网络和神经语言建模}};
\node [conceptnode,minimum width=4em,anchor=south west,fill=orange!15,thin,minimum width=4em,align=left] (sec5box1) at ([xshift=0.5em,yshift=0.4em]sec5.south west) {\tiny{线性代数基础}\\\tiny{与感知机}};
\node [conceptnode,minimum width=4em,anchor=west,fill=orange!15,thin,minimum width=4em,align=left] (sec5box2) at ([xshift=0.2em]sec5box1.east) {\tiny{多层神经网络}\\\tiny{与实现方法}};
\node [conceptnode,minimum width=4em,anchor=west,fill=orange!15,thin,minimum width=4em,align=left] (sec5box3) at ([xshift=0.2em]sec5box2.east) {\tiny{模型训练}\\\tiny{(反向传播)}};
\node [conceptnode,minimum width=4em,anchor=west,fill=ublue!15,thin,minimum width=4em,align=left] (sec5box4) at ([xshift=0.2em]sec5box3.east) {\tiny{神经语言模型}\\\tiny{(FNN等)}};
\node [conceptnode,minimum width=4em,anchor=west,fill=ublue!15,thin,minimum width=4em,align=left] (sec5box5) at ([xshift=0.2em]sec5box4.east) {\tiny{表示学习与}\\\tiny{预训练模型}};
\node [anchor=north west,draw,thick,fill=white,orange,rounded corners] (sec5title) at ([xshift=-0.3em,yshift=0.3em]sec5.north west) {{\footnotesize\bfnew{第五章}}};
\draw [->,very thick] ([yshift=-9.8em]sec5.south) -- ([yshift=-0.2em]sec5.south);
\end{tikzpicture}
\ No newline at end of file
Book/mt-book-xelatex.idx
\indexentry{未登录词|hyperpage}{13}
\indexentry{Out of Vocabulary Word，OOV Word|hyperpage}{13}
\indexentry{子词切分|hyperpage}{13}
\indexentry{Sub-word Segmentation|hyperpage}{13}
\indexentry{标准化|hyperpage}{13}
\indexentry{Normalization|hyperpage}{13}
\indexentry{数据清洗|hyperpage}{13}
\indexentry{Dada Cleaning|hyperpage}{13}
\indexentry{数据选择|hyperpage}{15}
\indexentry{Data Selection|hyperpage}{15}
\indexentry{数据过滤|hyperpage}{15}
\indexentry{Data Filtering|hyperpage}{15}
\indexentry{开放词表|hyperpage}{18}
\indexentry{Open-Vocabulary|hyperpage}{18}
\indexentry{子词|hyperpage}{19}
\indexentry{Sub-word|hyperpage}{19}
\indexentry{字节对编码|hyperpage}{19}
\indexentry{双字节编码|hyperpage}{19}
\indexentry{Byte Pair Encoding，BPE|hyperpage}{19}
\indexentry{正则化|hyperpage}{22}
\indexentry{Regularization|hyperpage}{22}
\indexentry{过拟合问题|hyperpage}{22}
\indexentry{Overfitting Problem|hyperpage}{22}
\indexentry{反问题|hyperpage}{22}
\indexentry{Inverse Problem|hyperpage}{22}
\indexentry{适定的|hyperpage}{22}
\indexentry{Well-posed|hyperpage}{22}
\indexentry{不适定问题|hyperpage}{22}
\indexentry{Ill-posed Problem|hyperpage}{22}
\indexentry{降噪|hyperpage}{23}
\indexentry{Denoising|hyperpage}{23}
\indexentry{泛化|hyperpage}{23}
\indexentry{Generalization|hyperpage}{23}
\indexentry{标签平滑|hyperpage}{25}
\indexentry{Label Smoothing|hyperpage}{25}
\indexentry{相互适应|hyperpage}{26}
\indexentry{Co-Adaptation|hyperpage}{26}
\indexentry{集成学习|hyperpage}{27}
\indexentry{Ensemble Learning|hyperpage}{27}
\indexentry{容量|hyperpage}{28}
\indexentry{Capacity|hyperpage}{28}
\indexentry{宽残差网络|hyperpage}{29}
\indexentry{Wide Residual Network|hyperpage}{29}
\indexentry{探测任务|hyperpage}{30}
\indexentry{Probing Task|hyperpage}{30}
\indexentry{表面信息|hyperpage}{30}
\indexentry{Surface Information|hyperpage}{30}
\indexentry{语法信息|hyperpage}{30}
\indexentry{Syntactic Information|hyperpage}{30}
\indexentry{语义信息|hyperpage}{30}
\indexentry{Semantic Information|hyperpage}{30}
\indexentry{词嵌入|hyperpage}{31}
\indexentry{Embedding|hyperpage}{31}
\indexentry{数据并行|hyperpage}{31}
\indexentry{Data Parallelism|hyperpage}{31}
\indexentry{模型并行|hyperpage}{31}
\indexentry{Model Parallelism|hyperpage}{31}
\indexentry{小批量训练|hyperpage}{31}
\indexentry{Mini-batch Training|hyperpage}{31}
\indexentry{课程学习|hyperpage}{33}
\indexentry{Curriculum Learning|hyperpage}{33}
\indexentry{推断|hyperpage}{34}
\indexentry{Inference|hyperpage}{34}
\indexentry{解码|hyperpage}{34}
\indexentry{Decoding|hyperpage}{34}
\indexentry{搜索错误|hyperpage}{34}
\indexentry{Search Error|hyperpage}{34}
\indexentry{模型错误|hyperpage}{34}
\indexentry{Modeling Error|hyperpage}{34}
\indexentry{重排序|hyperpage}{36}
\indexentry{Re-ranking|hyperpage}{36}
\indexentry{双向推断|hyperpage}{36}
\indexentry{Bidirectional Inference|hyperpage}{36}
\indexentry{批量推断|hyperpage}{40}
\indexentry{Batch Inference|hyperpage}{40}
\indexentry{批量处理|hyperpage}{40}
\indexentry{Batching|hyperpage}{40}
\indexentry{二值网络|hyperpage}{41}
\indexentry{Binarized Neural Networks|hyperpage}{41}
\indexentry{自回归翻译|hyperpage}{42}
\indexentry{Autoregressive Translation|hyperpage}{42}
\indexentry{非自回归翻译|hyperpage}{42}
\indexentry{Regressive Translation|hyperpage}{42}
\indexentry{繁衍率|hyperpage}{42}
\indexentry{Fertility|hyperpage}{42}
\indexentry{偏置|hyperpage}{43}
\indexentry{Bias|hyperpage}{43}
\indexentry{退化|hyperpage}{44}
\indexentry{Degenerate|hyperpage}{44}
\indexentry{过翻译|hyperpage}{45}
\indexentry{Over Translation|hyperpage}{45}
\indexentry{欠翻译|hyperpage}{45}
\indexentry{Under Translation|hyperpage}{45}
\indexentry{充分性|hyperpage}{46}
\indexentry{Adequacy|hyperpage}{46}
\indexentry{系统融合|hyperpage}{46}
\indexentry{System Combination|hyperpage}{46}
\indexentry{假设选择|hyperpage}{47}
\indexentry{Hypothesis Selection|hyperpage}{47}
\indexentry{多样性|hyperpage}{47}
\indexentry{Diversity|hyperpage}{47}
\indexentry{重排序|hyperpage}{48}
\indexentry{Re-ranking|hyperpage}{48}
\indexentry{混淆网络|hyperpage}{49}
\indexentry{Confusion Network|hyperpage}{49}
\indexentry{动态线性层聚合方法|hyperpage}{53}
\indexentry{Dynamic Linear Combination of Layers，DLCL|hyperpage}{53}
\indexentry{相互适应|hyperpage}{57}
\indexentry{Co-adaptation|hyperpage}{57}
\indexentry{数据增强|hyperpage}{59}
\indexentry{Data Augmentation|hyperpage}{59}
\indexentry{回译|hyperpage}{59}
\indexentry{Back Translation|hyperpage}{59}
\indexentry{迭代式回译|hyperpage}{60}
\indexentry{Iterative Back Translation|hyperpage}{60}
\indexentry{前向翻译|hyperpage}{61}
\indexentry{Forward Translation|hyperpage}{61}
\indexentry{分布式表示|hyperpage}{61}
\indexentry{Distributed Representation|hyperpage}{61}
\indexentry{预训练|hyperpage}{61}
\indexentry{Pre-training|hyperpage}{61}
\indexentry{微调|hyperpage}{61}
\indexentry{Fine-tuning|hyperpage}{61}
\indexentry{多任务学习|hyperpage}{63}
\indexentry{Multitask Learning|hyperpage}{63}
\indexentry{知识精炼|hyperpage}{64}
\indexentry{Knowledge Distillation|hyperpage}{64}
\indexentry{模型压缩|hyperpage}{64}
\indexentry{Model Compression|hyperpage}{64}
\indexentry{学习难度|hyperpage}{64}
\indexentry{Learning Difficulty|hyperpage}{64}
\indexentry{教师模型|hyperpage}{65}
\indexentry{Teacher Model|hyperpage}{65}
\indexentry{学生模型|hyperpage}{65}
\indexentry{Student Model|hyperpage}{65}
\indexentry{基于单词的知识精炼|hyperpage}{65}
\indexentry{Word-level Knowledge Distillation|hyperpage}{65}
\indexentry{基于序列的知识精炼|hyperpage}{65}
\indexentry{Sequence-level Knowledge Distillation|hyperpage}{65}
\indexentry{中间层输出|hyperpage}{66}
\indexentry{Hint-based Knowledge Transfer|hyperpage}{66}
\indexentry{注意力分布|hyperpage}{66}
\indexentry{Attention To Attention Transfer|hyperpage}{67}
\indexentry{循环一致性|hyperpage}{69}
\indexentry{Circle Consistency|hyperpage}{69}
\indexentry{翻译中回译|hyperpage}{70}
\indexentry{On-the-fly Back-translation|hyperpage}{70}
\indexentry{神经架构搜索|hyperpage}{73}
\indexentry{Neural Architecture Search|hyperpage}{73}
Book/mt-book-xelatex.tex
......@@ -127,7 +127,7 @@
%\include{Chapter4/chapter4}
%\include{Chapter5/chapter5}
%\include{Chapter6/chapter6}
\include{Chapter7/chapter7}
%\include{Chapter7/chapter7}
%\include{ChapterAppend/chapterappend}
......
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑！
请 注册 或者 后发表评论