\parinterval 除了领域差异，训练集偏差的另外一种常见表现形式是标签噪声。机器翻译的训练数据大多来源于网页爬取，这不可避免的会引入噪声，比如句子未对齐、多种语言单词混合、单词丢失等，相关研究表明神经机器翻译对于噪声数据很敏感，当噪声过多时就会使得模型的性能显著下降（On the impact of various types of noise on neural machine translation），因此无论是从模型鲁棒性还是训练效率出发，数据降噪都是很有意义的。事实上，数据降噪从统计机器翻译时代就已经有许多相关工作（Dealing with Input Noise in Statistical Machine Translation；Bilingual Data Cleaning for SMT using Graph-based Random Walk；Learning from Noisy Data in Statistical Machine Translation），2018年WMT也开放了关于平行语料过滤的任务，这说明数据降噪工作正在逐步引起人们的注意。
\parinterval 除了领域差异，训练集偏差的另外一种常见表现形式是标签噪声。机器翻译的训练数据大多来源于网页爬取，这不可避免的会引入噪声，比如句子未对齐、多种语言单词混合、单词丢失等，相关研究表明神经机器翻译对于噪声数据很敏感，当噪声过多时就会使得模型的性能显著下降（On the impact of various types of noise on neural machine translation），因此无论是从模型健壮性还是训练效率出发，数据降噪都是很有意义的。事实上，数据降噪从统计机器翻译时代就已经有许多相关工作（Dealing with Input Noise in Statistical Machine Translation；Bilingual Data Cleaning for SMT using Graph-based Random Walk；Learning from Noisy Data in Statistical Machine Translation），2018年WMT也开放了关于平行语料过滤的任务，这说明数据降噪工作正在逐步引起人们的注意。
\parinterval 由于含有噪声的翻译数据通常都具有较为明显的特征，因此可以用比如：句子长度比、词对齐率、最长连续未对齐序列长度等一些启发式的特征来进行综合评分（MT Detection in Web-Scraped Parallel Corpora；Parallel Corpus Refinement as an Outlier Detection Algorithm；Zipporah: a Fast and Scalable Data Cleaning System for NoisyWeb-Crawled Parallel Corpora）；也可以将该问题转化为文本分类或跨语言文本蕴含任务来进行筛选（Detecting Cross-Lingual Semantic Divergence for Neural Machine Translation；Identifying Semantic Divergences in Parallel Text without Annotations）；此外，从某种意义上来说，数据降噪其实也可以算是一种领域数据选择，因为它的目标是选择可信度高的样本，因此我们可以人工构建一个可信度高的小型数据集，然后利用该数据集和通用数据集之间的差异性进行选择（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection）。
\parinterval 由于含有噪声的翻译数据通常都具有较为明显的特征，因此可以用比如：句子长度比、词对齐率、最长连续未对齐序列长度等一些启发式的特征来进行综合评分（MT Detection in Web-Scraped Parallel Corpora；Parallel Corpus Refinement as an Outlier Detection Algorithm；Zipporah: a Fast and Scalable Data Cleaning System for NoisyWeb-Crawled Parallel Corpora）；也可以将该问题转化为文本分类或跨语言文本蕴含任务来进行筛选（Detecting Cross-Lingual Semantic Divergence for Neural Machine Translation；Identifying Semantic Divergences in Parallel Text without Annotations）；此外，从某种意义上来说，数据降噪其实也可以算是一种领域数据选择，因为它的目标是选择可信度高的样本，因此我们可以人工构建一个可信度高的小型数据集，然后利用该数据集和通用数据集之间的差异性进行选择（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection）。
\parinterval 早期的工作大多在关注过滤的方法，对于噪声数据中模型的鲁棒性训练和噪声样本的利用探讨较少。事实上，噪声是有强度的，有些噪声数据对于模型可能是有价值的，而且它们的价值可能会随着模型的状态而改变（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection）。一个例子如图\ref{fig:13-51}所示（画图的时候zh-gloss那行不要了，zh翻译为中文），
\parinterval 早期的工作大多在关注过滤的方法，对于噪声数据中模型的健壮性训练和噪声样本的利用探讨较少。事实上，噪声是有强度的，有些噪声数据对于模型可能是有价值的，而且它们的价值可能会随着模型的状态而改变（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection）。一个例子如图\ref{fig:13-51}所示（画图的时候zh-gloss那行不要了，zh翻译为汉语），
\parinterval 图中的中文句子中缺少了一部分翻译，但这两个句子都很流利，简单的基于长度或双语词典的方法可以很容易地对其进行过滤，但直观地看，这条训练数据对于训练NMT模型仍然有用，特别是在数据稀缺的情况下，因为中文句子和英文句子的前半部分仍然是翻译对。这表明了噪声数据的微妙之处，它不是一个简单的二元分类问题：一些训练样本可能部分有用，而它们的有用性也可能随着训练的进展而改变。因此简单的过滤并不一种很好的办法，一种合理的学习策略应该是既可以合理的利用这些数据，又不让其对模型产生负面影响。直觉上，这是一个动态的过程，当模型能力较弱时（比如在训练初期），这些数据就能对模型起到正面作用，反之亦然。受课程学习（Curriculum Learning，更详细内容见下节）、微调（fine-tune）等启发，研究学者们也提出了类似的学习策略，它的主要思想是：在训练过程中对批量数据的噪声水平进退火（anneal），使得模型在越来越干净的批量数据上进行训练（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection；Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。从宏观上看，整个训练过程其实是一个持续微调的过程，这和微调的思想基本一致。这种学习策略一方面充分利用了训练数据，一方面又避免了噪声数据对模型的负面影响，因此取得了不错的效果。
\parinterval 图中的汉语句子中缺少了一部分翻译，但这两个句子都很流利，简单的基于长度或双语词典的方法可以很容易地对其进行过滤，但直观地看，这条训练数据对于训练NMT模型仍然有用，特别是在数据稀缺的情况下，因为汉语句子和英语句子的前半部分仍然是翻译对。这表明了噪声数据的微妙之处，它不是一个简单的二元分类问题：一些训练样本可能部分有用，而它们的有用性也可能随着训练的进展而改变。因此简单的过滤并不一种很好的办法，一种合理的学习策略应该是既可以合理的利用这些数据，又不让其对模型产生负面影响。直觉上，这是一个动态的过程，当模型能力较弱时（比如在训练初期），这些数据就能对模型起到正面作用，反之亦然。受课程学习（Curriculum Learning，更详细内容见下节）、微调（fine-tune）等启发，研究学者们也提出了类似的学习策略，它的主要思想是：在训练过程中对批量数据的噪声水平进退火（anneal），使得模型在越来越干净的批量数据上进行训练（Denoising Neural Machine Translation Training with Trusted Data and Online Data Selection；Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。从宏观上看，整个训练过程其实是一个持续微调的过程，这和微调的思想基本一致。这种学习策略一方面充分利用了训练数据，一方面又避免了噪声数据对模型的负面影响，因此取得了不错的效果。
\parinterval 尽管预定义的方法简单有效，但存在的一个最大限制是，预定义的难度评估器和训练规划在训练过程中都是固定的，不够灵活，这可能会导致数据块的划分不合理，而且在一定程度上也忽略了当前模型的反馈，因此研究人员也提出了自动的方法，这种方法会根据模型的反馈来动态调整样本的难度或调度策略，模型的反馈可以是模型的不确定性（Uncertainty-Aware Curriculum Learning for Neural Machine Translation）、模型的能力（Competence-based Curriculum Learning for Neural Machine Translation；Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）等，然后将模型的反馈和训练的轮次或者是数据的采样相挂钩，从而达到控制的目的，根据这种思想，还有直接利用强化学习的方法（Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models），这些方法在一定程度上使得整个训练过程和模型的状态相匹配，使得样本的选择过渡得更加平滑，因此在实践中取得了不错的效果。
\parinterval 尽管预定义的方法简单有效，但存在的一个最大限制是，预定义的难度评估器和训练规划在训练过程中都是固定的，不够灵活，这可能会导致数据块的划分不合理，而且在一定程度上也忽略了当前模型的反馈，因此研究人员也提出了自动的方法，这种方法会根据模型的反馈来动态调整样本的难度或调度策略，模型的反馈可以是模型的不确定性（Uncertainty-Aware Curriculum Learning for Neural Machine Translation）、模型的能力（Competence-based Curriculum Learning for Neural Machine Translation；Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）等，然后将模型的反馈和训练的轮次或者是数据的采样相挂钩，从而达到控制的目的，根据这种思想，还有直接利用强化学习的方法（Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models），这些方法在一定程度上使得整个训练过程和模型的状态相匹配，使得样本的选择过渡得更加平滑，因此在实践中取得了不错的效果。
\parinterval 从广义上说，大多数课程学习方法都是遵循由易到难的原则，然而在实践过程中人们逐渐赋予了课程学习更多的内涵，课程学习的含义早已超越了最原始的定义。一方面，课程学习可以与许多任务相结合，此时，评估准则并不一定总是样本的困难度，这取决于具体的任务，比如在多任务学习中（multi-task learning）（Curriculum learning of multiple tasks；Curriculum learning for multi-task classification of visual attributes），指的任务的难易程度或相关性；在领域适应任务中（Curriculum Learning for Domain Adaptation in Neural Machine Translation），指的是数据与领域的相似性；在噪声数据场景中，指的是样本的可信度（Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。另一方面，在一些任务或数据中，由易到难并不总是有效，有时困难优先反而会取得更好的效果（Curriculum learning with deep convolutional neural networks；An empirical exploration of curriculum learning for neural machine translation），实际上这和我们的直觉不太符合，一种合理的解释是课程学习更适合标签噪声、离群值较多或者是目标任务困难的场景，能提高模型的鲁棒性和收敛速度，而困难优先则更适合数据集干净的场景，能使随机梯度下降（stochastic gradient descent，SGD）更快更稳定（Active bias: Training more accurate neural networks by emphasizing high variance samples）。课程学习不断丰富的内涵使得它有了越来越广泛的应用。
\parinterval 从广义上说，大多数课程学习方法都是遵循由易到难的原则，然而在实践过程中人们逐渐赋予了课程学习更多的内涵，课程学习的含义早已超越了最原始的定义。一方面，课程学习可以与许多任务相结合，此时，评估准则并不一定总是样本的困难度，这取决于具体的任务，比如在多任务学习中（multi-task learning）（Curriculum learning of multiple tasks；Curriculum learning for multi-task classification of visual attributes），指的任务的难易程度或相关性；在领域适应任务中（Curriculum Learning for Domain Adaptation in Neural Machine Translation），指的是数据与领域的相似性；在噪声数据场景中，指的是样本的可信度（Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。另一方面，在一些任务或数据中，由易到难并不总是有效，有时困难优先反而会取得更好的效果（Curriculum learning with deep convolutional neural networks；An empirical exploration of curriculum learning for neural machine translation），实际上这和我们的直觉不太符合，一种合理的解释是课程学习更适合标签噪声、离群值较多或者是目标任务困难的场景，能提高模型的健壮性和收敛速度，而困难优先则更适合数据集干净的场景，能使随机梯度下降（stochastic gradient descent，SGD）更快更稳定（Active bias: Training more accurate neural networks by emphasizing high variance samples）。课程学习不断丰富的内涵使得它有了越来越广泛的应用。
