Skip to content

T
Toy-MT-Introduction
Commit 6162f03e by xiaotong
Options

create preface page

parent 9f6e49e0
正在显示 包含 265 行增加 和 198 行删除
Book/Chapter7/Chapter7.tex
......@@ -2,18 +2,19 @@
% !TEX encoding = UTF-8 Unicode
%----------------------------------------------------------------------------------------
% CHAPTER 7
% CONFIGURATIONS
%----------------------------------------------------------------------------------------
\renewcommand\figurename{图}%将figure改为图
\renewcommand\tablename{表}%将figure改为图
\definecolor{ublue}{rgb}{0.152,0.250,0.545}
\definecolor{ugreen}{rgb}{0,0.5,0}
\renewcommand\figurename{图} % Figure => 图
\renewcommand\tablename{表}% Table => 表
\definecolor{ublue}{rgb}{0.152,0.250,0.545} % Color of deep blue
\definecolor{ugreen}{rgb}{0,0.5,0} % Color of deep green
\chapterimage{chapter_head_1} % Chapter heading image
%------------------------------------------------
%----------------------------------------------------------------------------------------
% CHAPTER 7
%----------------------------------------------------------------------------------------
%公式1.7之后往后串一个
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\chapter{神经机器翻译实战 \ \dash \ 参加一次比赛}
\parinterval 作为机器翻译的前沿方向，神经机器翻译方法是近些年来最受关注的热点之一。凭借其高品质的译文，神经机器翻译的身影在各种机器翻译比赛和产品中随处可见。第六章已经介绍了神经机器翻译的基础模型，包括：基于循环神经网络的翻译模型、基于Transformer的翻译模型、注意力机制等等。但是，简单使用这些模型和方法显然无法取得最好的结果。实际上，先进的系统往往依赖多种技术的综合运用，是一项庞大的系统工程。
......@@ -21,23 +22,32 @@
\parinterval 本章将沿着神经机器翻译框架继续探讨：如何研发性能更为突出的机器翻译系统。这里将介绍若干常用的提升神经机器翻译系统品质和速度的方法。同时，也会讨论一些开放性的前沿课题，旨在使机器翻译的效果达到更加先进的水平。本章的绝大部分内容都经过笔者所在团队的实验，具有实践方面的参考价值。正如本章的副标题一样，希望这里所讨论的内容可以帮助读者了解如何开发出一套足以参加高水平机器翻译比赛的系统，为相关研究建立更加科学、合理的基线，同时为机器翻译的应用提供一些具体可落地的思路。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{神经机器翻译并不简单}%Index的作用，目前不清晰
%----------------------------------------------------------------------------------------
% NEW SECTION
%----------------------------------------------------------------------------------------
\section{神经机器翻译并不简单}
\parinterval 同统计机器翻译一样，高品质神经机器翻译的开发并没有想象的那么简单。虽然有很多开源系统可以参考，但是系统实践者仍然有大量的工作需要完成。在神经机器翻译系统研发方面，有若干问题需要注意：
\begin{itemize}
\vspace{0.3em}
\item {\small\bfnew{神经网络模型很脆弱}}。神经机器翻译对超参数、训练策略的选择、网络结构的细微差别都非常敏感。比如，学习率、Dropout比率上下浮动一点点都会带来翻译结果的明显区别。这也导致系统研发人员需要花费大量的时间来寻找合理的系统配置。虽然也有一些研究工作探讨自动化调参和结构设计（如：AutoML），但是为了确保翻译品质，现在普遍的做法仍然是``人肉''搜索最佳的网络架构和系统配置。
\vspace{0.3em}
\item {\small\bfnew{神经机器翻译需要对不同翻译任务进行适应}}。理想中一套``包打天下''的模型和设置是不存在的。针对不同语种、不同领域，机器翻译系统都需要进行调整。比如，一个新闻数据上训练的系统在专利数据上的表现往往不会很好。这里并不否认在很多研究工作中为了缩短研究周期，可以用同一套系统及设置在所有任务上进行实验。但是，具体到每个翻译任务上，高质量翻译都需要对系统进行细致的调整，比如，与语言相关的数据加工等。
\vspace{0.3em}
\item {\small\bfnew{神经机器翻译的``最后一公里''仍然很长}}。无论是使用开源系统，还是从论文中进行复现，都可以很容易的得到一个基础版本的机器翻译系统。但是这样的系统离真正的state-of-the-art往往会有距离，离实用系统的距离可能更远。更具挑战的是，很多高水平系统中所使用的技巧甚至都没有被开源或者以论文的形式发表，这大大增加了普通研究者挑战前沿的难度。
\vspace{0.3em}
\item {\small\bfnew{优秀系统的研发需要长时间的打磨，但是很多时候我们仅仅是在快速原型}}。这不是一个技术问题。因为如果有足够的时间，所有人都可以把任何事情做到极致。但是，不论是为了毕业、提职，还是希望在领域占据一席之地，我们总是希望在尽可能短的时间内把系统研发出来，把结果报道出来。这种做法无可厚非，因为科学研究需要对更本质的科学问题进行探索，而非简单的工程开发与调试。但是，对一个初级的系统进行研究往往会掩盖掉``真正的问题''，因为很多问题在更先进的系统中根本就不存在。
\vspace{0.3em}
\end{itemize}
\parinterval 这里并不是要对神经机器翻译产生``畏难情绪''，更不是要对机器翻译繁荣的景象泼冷水。这里只是希望可以冷静的看待神经机器翻译技术的发展现状，让相关研究和系统研发更加扎实。少一些对技术的过度吹捧，多一些脚踏实地的工匠精神。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%----------------------------------------------------------------------------------------
% NEW SUB-SECTION
%----------------------------------------------------------------------------------------
\subsection{影响神经机器翻译性能的因素}
\parinterval 一般来说，有三方面因素会影响神经机器翻译系统的性能：
......@@ -47,7 +57,6 @@
\item {\small\bfnew{数据的质量和规模}}。数据驱动的方法对数据的依赖性不言而喻。虽然技术日新月异，但是``更好更多的数据''是一直被广泛接受的``真理''。所谓数据质量和规模一般都是针对任务而言，因此如何（或者是否可以）获取适合目标任务的高质量、大规模的数据是实践中需要考虑的因素。在机器翻译系统研发的初级阶段，特别是在数据规模受限的情况下，增加高质量数据带来的性能提升往往更容易体现出来（如图\ref{fig:7-1}）。
%----------------------------------------------
% 图7.1
\begin{figure}[htp]
\centering
\input{./Chapter7/Figures/figure-machine-translation-performance-curve}
......@@ -61,7 +70,10 @@
\parinterval 从应用的角度，评价系统的维度有很多，因此研发系统所使用的策略也会有所不同。比如，如果希望让机器翻译能够在小型离线设备上运行，这时可能会同时关心模型的体积和翻译的速度；如果是为了做非实时的文本翻译，翻译品质就是最关键的。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%----------------------------------------------------------------------------------------
% NEW SUB-SECTION
%----------------------------------------------------------------------------------------
\subsection{搭建神经机器翻译系统的步骤 }
\parinterval 构建一个机器翻译系统的主要步骤如图\ref{fig:7-2}所示，包含三个方面：
......@@ -76,7 +88,6 @@
\end{itemize}
%----------------------------------------------
% 图7.2
\begin{figure}[htp]
\centering
\input{./Chapter7/Figures/figure-construction-steps-of-MT-system}
......@@ -87,13 +98,19 @@
\parinterval 在实际开发中，还有很多因素会影响技术方案的选择，比如，开发的时间周期、设备的成本等因素\footnote{有些方法需要大量的并行运算设备，比如超大模型的训练。}。不过，本章着重关注那些简单有效的技术方法。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%----------------------------------------------------------------------------------------
% NEW SUB-SECTION
%----------------------------------------------------------------------------------------
\subsection{架构选择 }
\parinterval 神经机器翻译模型的架构有很多，比如，循环神经网络、卷积神经网络、Transformer都是可以考虑的架构。这里，我们会以Transformer为基础模型展开讨论。选择Transformer的主要原因是其在很多机器翻译任务上表现非常出色，比如在最近一届的WMT和CCMT的新闻翻译评测中，绝大多数冠军系统都是基于Transformer架构。现在的很多线上机器翻译服务也都采用了Transformer。因此Transformer在一定程度上代表了当今最先进的架构。
\parinterval 此外，Transformer使用了自注意力机制，因此训练时模型并行度较高，模型训练的时间较短。这为系统研发节省了时间。特别是面临大量超参数调整时，较短的训练周期会大大加速优化的进程。
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%----------------------------------------------------------------------------------------
% NEW SECTION
%----------------------------------------------------------------------------------------
\sectionnewpage
\section{数据处理}
......
Book/ChapterPreface/ChapterPreface.tex
% !Mode:: "TeX:UTF-8"
% !TEX encoding = UTF-8 Unicode
\newpage
\renewcommand\figurename{图}
%----------------------------------------------------------------------------------------
% PREFACE
%----------------------------------------------------------------------------------------
{\color{white} 空}
\vspace{1em}
\begin{center}
{\Huge \bfnew{导\ \ \ \ 读}}
\end{center}
\vspace{2em}
\begin{spacing}{1.4}
让计算机进行自然语言的翻译是人类长期的梦想，也是人工智能的终极目标之一。自上世纪九十年代起，机器翻译也迈入了基于统计建模的时代，而发展到今天，深度学习等机器学习方法已经在机器翻译中得到了大量的应用，取得了令人瞩目的进步。
在这个时代背景下，对机器翻译的模型、方法、实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面的回顾了近三十年内机器翻译的技术发展历程，并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中，笔者力求用朴实的语言和图画阐述机器翻译的基本思想，同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用，也可以作为自然语言处理，特别是机器翻译相关研究人员的参考资料。
本书共分为七个章节。章节的顺序参考了机器翻译技术发展的时间脉络，同时兼顾形成机器翻译知识体系的内在逻辑。各章节的主要内容包括：
\begin{itemize}
\vspace{0.4em}
\item 第一章：机器翻译简介
\vspace{0.4em}
\item 第二章：词法、语法及统计建模基础
\vspace{0.4em}
\item 第三章：基于词的机器翻译模型
\vspace{0.4em}
\item 第四章：基于短语和句法的机器翻译模型
\vspace{0.4em}
\item 第五章：人工神经网络和神经语言建模
\vspace{0.4em}
\item 第六章：神经机器翻译模型
\vspace{0.4em}
\item 第七章：神经机器翻译实战 \ \dash \ 参加一次比赛
\vspace{0.4em}
\end{itemize}
其中，第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍，分别建立了两个机器翻译范式的基础知识体系 \ \dash \ 统计机器翻译和神经机器翻译。统计机器翻译部分（第三、四章）涉及早期的基于单词的翻译模型，以及本世纪初流行的基于短语和句法的翻译模型；神经机器翻译（第六、七章）代表了机器翻译的技术前沿，内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别在第七章，本书对构建先进神经机器翻译的技术进行了较为全面的介绍，为相关相关科学问题的研究和实用系统的开发提供了可落地的思路。图\ref{fig:preface}展示了本书各个章节及核心概念之间的关系。
{\red 用最简单的方式阐述机器翻译的基本思想}是笔者所期望达到的。但是，书中难免会涉及一些概念形式化定义和算法的抽象描述，笔者也都尽所能通过图形进行解释。不过，本书所包含的内容较为广泛，难免有疏漏之处，望读者海涵，并指出不当之处。
\begin{figure}[htp]
\centering
%\includegraphics[scale=0.36]{./Chapter6/Figures/mt-history.png}
\caption{本书各章节及核心概念关系图}
\label{fig:preface}
\end{figure}
%-------------------------------------------
\end{spacing}
......
Book/mt-book-xelatex.idx
\indexentry{未登录词|hyperpage}{11}
\indexentry{Out of Vocabulary Word，OOV Word|hyperpage}{11}
\indexentry{子词切分|hyperpage}{11}
\indexentry{Sub-word Segmentation|hyperpage}{11}
\indexentry{标准化|hyperpage}{11}
\indexentry{Normalization|hyperpage}{11}
\indexentry{数据清洗|hyperpage}{11}
\indexentry{Dada Cleaning|hyperpage}{11}
\indexentry{数据选择|hyperpage}{13}
\indexentry{Data Selection|hyperpage}{13}
\indexentry{数据过滤|hyperpage}{13}
\indexentry{Data Filtering|hyperpage}{13}
\indexentry{开放词表|hyperpage}{16}
\indexentry{Open-Vocabulary|hyperpage}{16}
\indexentry{子词|hyperpage}{17}
\indexentry{Sub-word|hyperpage}{17}
\indexentry{字节对编码|hyperpage}{17}
\indexentry{双字节编码|hyperpage}{17}
\indexentry{Byte Pair Encoding，BPE|hyperpage}{17}
\indexentry{正则化|hyperpage}{20}
\indexentry{Regularization|hyperpage}{20}
\indexentry{过拟合问题|hyperpage}{20}
\indexentry{Overfitting Problem|hyperpage}{20}
\indexentry{反问题|hyperpage}{20}
\indexentry{Inverse Problem|hyperpage}{20}
\indexentry{适定的|hyperpage}{20}
\indexentry{Well-posed|hyperpage}{20}
\indexentry{不适定问题|hyperpage}{20}
\indexentry{Ill-posed Problem|hyperpage}{20}
\indexentry{降噪|hyperpage}{21}
\indexentry{Denoising|hyperpage}{21}
\indexentry{泛化|hyperpage}{21}
\indexentry{Generalization|hyperpage}{21}
\indexentry{标签平滑|hyperpage}{23}
\indexentry{Label Smoothing|hyperpage}{23}
\indexentry{相互适应|hyperpage}{24}
\indexentry{Co-Adaptation|hyperpage}{24}
\indexentry{集成学习|hyperpage}{25}
\indexentry{Ensemble Learning|hyperpage}{25}
\indexentry{容量|hyperpage}{26}
\indexentry{Capacity|hyperpage}{26}
\indexentry{宽残差网络|hyperpage}{27}
\indexentry{Wide Residual Network|hyperpage}{27}
\indexentry{探测任务|hyperpage}{28}
\indexentry{Probing Task|hyperpage}{28}
\indexentry{表面信息|hyperpage}{28}
\indexentry{Surface Information|hyperpage}{28}
\indexentry{语法信息|hyperpage}{28}
\indexentry{Syntactic Information|hyperpage}{28}
\indexentry{语义信息|hyperpage}{28}
\indexentry{Semantic Information|hyperpage}{28}
\indexentry{词嵌入|hyperpage}{29}
\indexentry{Embedding|hyperpage}{29}
\indexentry{数据并行|hyperpage}{29}
\indexentry{Data Parallelism|hyperpage}{29}
\indexentry{模型并行|hyperpage}{29}
\indexentry{Model Parallelism|hyperpage}{29}
\indexentry{小批量训练|hyperpage}{29}
\indexentry{Mini-batch Training|hyperpage}{29}
\indexentry{课程学习|hyperpage}{31}
\indexentry{Curriculum Learning|hyperpage}{31}
\indexentry{推断|hyperpage}{32}
\indexentry{Inference|hyperpage}{32}
\indexentry{解码|hyperpage}{32}
\indexentry{Decoding|hyperpage}{32}
\indexentry{搜索错误|hyperpage}{32}
\indexentry{Search Error|hyperpage}{32}
\indexentry{模型错误|hyperpage}{32}
\indexentry{Modeling Error|hyperpage}{32}
\indexentry{重排序|hyperpage}{34}
\indexentry{Re-ranking|hyperpage}{34}
\indexentry{双向推断|hyperpage}{34}
\indexentry{Bidirectional Inference|hyperpage}{34}
\indexentry{批量推断|hyperpage}{38}
\indexentry{Batch Inference|hyperpage}{38}
\indexentry{批量处理|hyperpage}{38}
\indexentry{Batching|hyperpage}{38}
\indexentry{二值网络|hyperpage}{39}
\indexentry{Binarized Neural Networks|hyperpage}{39}
\indexentry{自回归翻译|hyperpage}{40}
\indexentry{Autoregressive Translation|hyperpage}{40}
\indexentry{非自回归翻译|hyperpage}{40}
\indexentry{Regressive Translation|hyperpage}{40}
\indexentry{繁衍率|hyperpage}{40}
\indexentry{Fertility|hyperpage}{40}
\indexentry{偏置|hyperpage}{41}
\indexentry{Bias|hyperpage}{41}
\indexentry{退化|hyperpage}{42}
\indexentry{Degenerate|hyperpage}{42}
\indexentry{过翻译|hyperpage}{43}
\indexentry{Over Translation|hyperpage}{43}
\indexentry{欠翻译|hyperpage}{43}
\indexentry{Under Translation|hyperpage}{43}
\indexentry{充分性|hyperpage}{44}
\indexentry{Adequacy|hyperpage}{44}
\indexentry{系统融合|hyperpage}{44}
\indexentry{System Combination|hyperpage}{44}
\indexentry{假设选择|hyperpage}{45}
\indexentry{Hypothesis Selection|hyperpage}{45}
\indexentry{多样性|hyperpage}{45}
\indexentry{Diversity|hyperpage}{45}
\indexentry{重排序|hyperpage}{46}
\indexentry{Re-ranking|hyperpage}{46}
\indexentry{混淆网络|hyperpage}{47}
\indexentry{Confusion Network|hyperpage}{47}
\indexentry{动态线性层聚合方法|hyperpage}{51}
\indexentry{Dynamic Linear Combination of Layers，DLCL|hyperpage}{51}
\indexentry{相互适应|hyperpage}{55}
\indexentry{Co-adaptation|hyperpage}{55}
\indexentry{数据增强|hyperpage}{57}
\indexentry{Data Augmentation|hyperpage}{57}
\indexentry{回译|hyperpage}{57}
\indexentry{Back Translation|hyperpage}{57}
\indexentry{迭代式回译|hyperpage}{58}
\indexentry{Iterative Back Translation|hyperpage}{58}
\indexentry{前向翻译|hyperpage}{59}
\indexentry{Forward Translation|hyperpage}{59}
\indexentry{分布式表示|hyperpage}{59}
\indexentry{Distributed Representation|hyperpage}{59}
\indexentry{预训练|hyperpage}{59}
\indexentry{Pre-training|hyperpage}{59}
\indexentry{微调|hyperpage}{59}
\indexentry{Fine-tuning|hyperpage}{59}
\indexentry{多任务学习|hyperpage}{61}
\indexentry{Multitask Learning|hyperpage}{61}
\indexentry{知识精炼|hyperpage}{62}
\indexentry{Knowledge Distillation|hyperpage}{62}
\indexentry{模型压缩|hyperpage}{62}
\indexentry{Model Compression|hyperpage}{62}
\indexentry{学习难度|hyperpage}{62}
\indexentry{Learning Difficulty|hyperpage}{62}
\indexentry{教师模型|hyperpage}{63}
\indexentry{Teacher Model|hyperpage}{63}
\indexentry{学生模型|hyperpage}{63}
\indexentry{Student Model|hyperpage}{63}
\indexentry{基于单词的知识精炼|hyperpage}{63}
\indexentry{Word-level Knowledge Distillation|hyperpage}{63}
\indexentry{基于序列的知识精炼|hyperpage}{63}
\indexentry{Sequence-level Knowledge Distillation|hyperpage}{63}
\indexentry{中间层输出|hyperpage}{64}
\indexentry{Hint-based Knowledge Transfer|hyperpage}{64}
\indexentry{注意力分布|hyperpage}{64}
\indexentry{Attention To Attention Transfer|hyperpage}{65}
\indexentry{循环一致性|hyperpage}{67}
\indexentry{Circle Consistency|hyperpage}{67}
\indexentry{翻译中回译|hyperpage}{68}
\indexentry{On-the-fly Back-translation|hyperpage}{68}
\indexentry{神经架构搜索|hyperpage}{71}
\indexentry{Neural Architecture Search|hyperpage}{71}
\indexentry{未登录词|hyperpage}{13}
\indexentry{Out of Vocabulary Word，OOV Word|hyperpage}{13}
\indexentry{子词切分|hyperpage}{13}
\indexentry{Sub-word Segmentation|hyperpage}{13}
\indexentry{标准化|hyperpage}{13}
\indexentry{Normalization|hyperpage}{13}
\indexentry{数据清洗|hyperpage}{13}
\indexentry{Dada Cleaning|hyperpage}{13}
\indexentry{数据选择|hyperpage}{15}
\indexentry{Data Selection|hyperpage}{15}
\indexentry{数据过滤|hyperpage}{15}
\indexentry{Data Filtering|hyperpage}{15}
\indexentry{开放词表|hyperpage}{18}
\indexentry{Open-Vocabulary|hyperpage}{18}
\indexentry{子词|hyperpage}{19}
\indexentry{Sub-word|hyperpage}{19}
\indexentry{字节对编码|hyperpage}{19}
\indexentry{双字节编码|hyperpage}{19}
\indexentry{Byte Pair Encoding，BPE|hyperpage}{19}
\indexentry{正则化|hyperpage}{22}
\indexentry{Regularization|hyperpage}{22}
\indexentry{过拟合问题|hyperpage}{22}
\indexentry{Overfitting Problem|hyperpage}{22}
\indexentry{反问题|hyperpage}{22}
\indexentry{Inverse Problem|hyperpage}{22}
\indexentry{适定的|hyperpage}{22}
\indexentry{Well-posed|hyperpage}{22}
\indexentry{不适定问题|hyperpage}{22}
\indexentry{Ill-posed Problem|hyperpage}{22}
\indexentry{降噪|hyperpage}{23}
\indexentry{Denoising|hyperpage}{23}
\indexentry{泛化|hyperpage}{23}
\indexentry{Generalization|hyperpage}{23}
\indexentry{标签平滑|hyperpage}{25}
\indexentry{Label Smoothing|hyperpage}{25}
\indexentry{相互适应|hyperpage}{26}
\indexentry{Co-Adaptation|hyperpage}{26}
\indexentry{集成学习|hyperpage}{27}
\indexentry{Ensemble Learning|hyperpage}{27}
\indexentry{容量|hyperpage}{28}
\indexentry{Capacity|hyperpage}{28}
\indexentry{宽残差网络|hyperpage}{29}
\indexentry{Wide Residual Network|hyperpage}{29}
\indexentry{探测任务|hyperpage}{30}
\indexentry{Probing Task|hyperpage}{30}
\indexentry{表面信息|hyperpage}{30}
\indexentry{Surface Information|hyperpage}{30}
\indexentry{语法信息|hyperpage}{30}
\indexentry{Syntactic Information|hyperpage}{30}
\indexentry{语义信息|hyperpage}{30}
\indexentry{Semantic Information|hyperpage}{30}
\indexentry{词嵌入|hyperpage}{31}
\indexentry{Embedding|hyperpage}{31}
\indexentry{数据并行|hyperpage}{31}
\indexentry{Data Parallelism|hyperpage}{31}
\indexentry{模型并行|hyperpage}{31}
\indexentry{Model Parallelism|hyperpage}{31}
\indexentry{小批量训练|hyperpage}{31}
\indexentry{Mini-batch Training|hyperpage}{31}
\indexentry{课程学习|hyperpage}{33}
\indexentry{Curriculum Learning|hyperpage}{33}
\indexentry{推断|hyperpage}{34}
\indexentry{Inference|hyperpage}{34}
\indexentry{解码|hyperpage}{34}
\indexentry{Decoding|hyperpage}{34}
\indexentry{搜索错误|hyperpage}{34}
\indexentry{Search Error|hyperpage}{34}
\indexentry{模型错误|hyperpage}{34}
\indexentry{Modeling Error|hyperpage}{34}
\indexentry{重排序|hyperpage}{36}
\indexentry{Re-ranking|hyperpage}{36}
\indexentry{双向推断|hyperpage}{36}
\indexentry{Bidirectional Inference|hyperpage}{36}
\indexentry{批量推断|hyperpage}{40}
\indexentry{Batch Inference|hyperpage}{40}
\indexentry{批量处理|hyperpage}{40}
\indexentry{Batching|hyperpage}{40}
\indexentry{二值网络|hyperpage}{41}
\indexentry{Binarized Neural Networks|hyperpage}{41}
\indexentry{自回归翻译|hyperpage}{42}
\indexentry{Autoregressive Translation|hyperpage}{42}
\indexentry{非自回归翻译|hyperpage}{42}
\indexentry{Regressive Translation|hyperpage}{42}
\indexentry{繁衍率|hyperpage}{42}
\indexentry{Fertility|hyperpage}{42}
\indexentry{偏置|hyperpage}{43}
\indexentry{Bias|hyperpage}{43}
\indexentry{退化|hyperpage}{44}
\indexentry{Degenerate|hyperpage}{44}
\indexentry{过翻译|hyperpage}{45}
\indexentry{Over Translation|hyperpage}{45}
\indexentry{欠翻译|hyperpage}{45}
\indexentry{Under Translation|hyperpage}{45}
\indexentry{充分性|hyperpage}{46}
\indexentry{Adequacy|hyperpage}{46}
\indexentry{系统融合|hyperpage}{46}
\indexentry{System Combination|hyperpage}{46}
\indexentry{假设选择|hyperpage}{47}
\indexentry{Hypothesis Selection|hyperpage}{47}
\indexentry{多样性|hyperpage}{47}
\indexentry{Diversity|hyperpage}{47}
\indexentry{重排序|hyperpage}{48}
\indexentry{Re-ranking|hyperpage}{48}
\indexentry{混淆网络|hyperpage}{49}
\indexentry{Confusion Network|hyperpage}{49}
\indexentry{动态线性层聚合方法|hyperpage}{53}
\indexentry{Dynamic Linear Combination of Layers，DLCL|hyperpage}{53}
\indexentry{相互适应|hyperpage}{57}
\indexentry{Co-adaptation|hyperpage}{57}
\indexentry{数据增强|hyperpage}{59}
\indexentry{Data Augmentation|hyperpage}{59}
\indexentry{回译|hyperpage}{59}
\indexentry{Back Translation|hyperpage}{59}
\indexentry{迭代式回译|hyperpage}{60}
\indexentry{Iterative Back Translation|hyperpage}{60}
\indexentry{前向翻译|hyperpage}{61}
\indexentry{Forward Translation|hyperpage}{61}
\indexentry{分布式表示|hyperpage}{61}
\indexentry{Distributed Representation|hyperpage}{61}
\indexentry{预训练|hyperpage}{61}
\indexentry{Pre-training|hyperpage}{61}
\indexentry{微调|hyperpage}{61}
\indexentry{Fine-tuning|hyperpage}{61}
\indexentry{多任务学习|hyperpage}{63}
\indexentry{Multitask Learning|hyperpage}{63}
\indexentry{知识精炼|hyperpage}{64}
\indexentry{Knowledge Distillation|hyperpage}{64}
\indexentry{模型压缩|hyperpage}{64}
\indexentry{Model Compression|hyperpage}{64}
\indexentry{学习难度|hyperpage}{64}
\indexentry{Learning Difficulty|hyperpage}{64}
\indexentry{教师模型|hyperpage}{65}
\indexentry{Teacher Model|hyperpage}{65}
\indexentry{学生模型|hyperpage}{65}
\indexentry{Student Model|hyperpage}{65}
\indexentry{基于单词的知识精炼|hyperpage}{65}
\indexentry{Word-level Knowledge Distillation|hyperpage}{65}
\indexentry{基于序列的知识精炼|hyperpage}{65}
\indexentry{Sequence-level Knowledge Distillation|hyperpage}{65}
\indexentry{中间层输出|hyperpage}{66}
\indexentry{Hint-based Knowledge Transfer|hyperpage}{66}
\indexentry{注意力分布|hyperpage}{66}
\indexentry{Attention To Attention Transfer|hyperpage}{67}
\indexentry{循环一致性|hyperpage}{69}
\indexentry{Circle Consistency|hyperpage}{69}
\indexentry{翻译中回译|hyperpage}{70}
\indexentry{On-the-fly Back-translation|hyperpage}{70}
\indexentry{神经架构搜索|hyperpage}{73}
\indexentry{Neural Architecture Search|hyperpage}{73}
Book/mt-book-xelatex.tex
......@@ -3,28 +3,29 @@
%----------------------------------------------------------------------------------------
% PACKAGES AND OTHER DOCUMENT CONFIGURATIONS
% BASIC CONFIGURATIONS
%----------------------------------------------------------------------------------------
\documentclass[11pt]{book} % Default font size and left-justified equations
\input{structure.tex} % Insert the commands.tex file which contains the majority of the structure behind the template
\documentclass[11pt]{book} % font and book template
\input{structure.tex} % self-defined template
\usepackage{hyperref}
%\hypersetup{pdftitle={Title},pdfauthor={Author}} % Uncomment and fill out to include PDF metadata for the author and title of the book
%\usepackage{CJKutf8}%CJK用的宏包
\usepackage {xeCJK}
\usepackage{ctex}
\setCJKmainfont{SimSun}
\setCJKmonofont{SimSun}
\setmainfont{Times New Roman}
%----------------------------------------------------------------------------------------
% CHINESE FONTS AND MATH FONTS
%----------------------------------------------------------------------------------------
{\newcommand{\mycfont}{song}}
{\newcommand{\mycfont}{gbsn}}
%公式字体设置为计算机现代罗马
% math fount = Computer Modern Roman
\AtBeginDocument{
\SetSymbolFont{operators}{normal}{OT1}{cmr} {m}{n}
\SetSymbolFont{letters}{normal}{OML}{cmm} {m}{it}
......@@ -44,15 +45,21 @@
\SetMathAlphabet{\mathit}{bold}{OT1}{cmr}{bx}{it}
\SetMathAlphabet{\mathtt}{bold}{OT1}{cmtt}{m}{n}
}
\renewcommand{\baselinestretch}{1.2}%设置行间距
\renewcommand{\baselinestretch}{1.2} % spacing
%----------------------------------------------------------------------------------------
% MAIN BODY OF THE BOOK
%----------------------------------------------------------------------------------------
\begin{document}
%\begin{CJK}{UTF8}{\mycfont}%原来的CJK
%----------------------------------------------------------------------------------------
% TITLE PAGE
%----------------------------------------------------------------------------------------
\begingroup
\thispagestyle{empty} % Suppress headers and footers on the title page
\thispagestyle{empty}
\begin{tikzpicture}[remember picture,overlay]
\node[inner sep=0pt] (background) at (current page.center) {\includegraphics[width=\paperwidth,height=\paperheight]{fig-cover.jpg}};
......@@ -93,17 +100,21 @@
\noindent 曹润柘、曾信、孟霞、单韦乔、姜雨帆、王子扬、刘辉、许诺、李北、刘继强、张哲旸、周书含、周涛、张裕浩、李炎洋、林野、刘晓倩、牛蕊 \\
}
%----------------------------------------------------------------------------------------
% PREFACE PAGES
%----------------------------------------------------------------------------------------
\newpage
\include{ChapterPreface/ChapterPreface}
%----------------------------------------------------------------------------------------
% TABLE OF CONTENTS
%----------------------------------------------------------------------------------------
%\usechapterimagefalse % If you don't want to include a chapter image, use this to toggle images off - it can be enabled later with \usechapterimagetrue
\chapterimage{fig-NEU-1.jpg} %目录标题的图案
\chapterimage{fig-NEU-1.jpg} % Image of the content page
\pagestyle{empty} % Disable headers and footers for the following pages
\tableofcontents % 打印目录
\cleardoublepage %保证章节页在奇数页
\pagestyle{fancy} % Enable headers and footers again
\tableofcontents % Show contents
\cleardoublepage % Place the first page of each chapter on odd pages
\pagestyle{fancy} % Enable headers and footers
%----------------------------------------------------------------------------------------
......@@ -120,28 +131,23 @@
%\include{ChapterAppend/chapterappend}
%----------------------------------------------------------------------------------------
% BIBLIOGRAPHY
%----------------------------------------------------------------------------------------
\chapterimage{fig-NEU-10.jpg} %目录标题的图案
\chapterimage{fig-NEU-10.jpg} % Image of the header
\cleardoublepage % Make sure the index starts on an odd (right side) page
\printbibliography
%----------------------------------------------------------------------------------------
% INDEX
%----------------------------------------------------------------------------------------
\chapterimage{fig-NEU-10.jpg} %目录标题的图案
\chapterimage{fig-NEU-10.jpg} % Image of the header
\cleardoublepage % Make sure the index starts on an odd (right side) page
%\phantomsection
%\setlength{\columnsep}{0.75cm} % Space between the 2 columns of the index
%\addcontentsline{toc}{chapter}{\textcolor{ocre}{Index}} % Add an Index heading to the table of contents
\printindex % Output the index
\printindex % Show index
%-------------------------
......
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑！
请 注册 或者 后发表评论