\parinterval 主动学习的一个核心问题是：如何选择出那些最有价值的未标注样本？通常会假设模型认为最“难”的样本是最有价值的。具体实现有很多思路，例如，基于置信度的方法、基于分类错误的方法等等（Uncertainty-based Active Learning with Instability Estimation for Text Classification；Active Learning with Sampling by Uncertainty and Density for Word Sense Disambiguation and Text Classification）。
\item 不确定性采样的查询（Uncertainty Sampling）（An analysis of active learning strategies for sequence labeling tasks；Query learning with large margin classifers；Less is more: Active learning with support vector machines）这类方法选择那些当前基准分类器最不能确定其分类的样本，不确定性通常可以用信度最低（Least Confident）、边缘采样（Margin Sampling）、熵（Entropy）等方法来描述，从几何角度看，这种方法优先选择靠近分类边界的样例；
\vspace{0.5em}
\item 基于委员会的查询（Query-By-Committee）（Query by committee；Machine Learning；Query learning strategies using boosting and bagging；Employing em and pool-based active learning for text classifcation）这类方法选择那些训练后能够最大程度缩减版本空间的样本，可以采用Bagging，AdaBoost等分类器集成算法从版本空间中产生委员会，然后选择委员会中的假设预测分歧最大的样本；
\vspace{0.5em}
\item 其它经典策略：梯度长度期望(Expected Gradient Length，EGL) 策略，根据未标注样本对当前模型的影响程度优先筛选出对模型影响最大的样本（Histograms of oriented gradients for human detection；Gradient-based learning applied to document recognition）；方差最小(Variance Reduction，VR)策略，选择那些方差减少最多的样本数据（Optimum Experimental Designs, with SAS；A variance minimization criterion to active learning on graphs）；结合生成对抗网络的方法（Generative adversarial active learning；Active decision boundary annotation with deep generative models；Adversarial sampling for active learning）等
\parinterval 在机器翻译中，主动学习可以被用于低资源翻译，以减少人工标注的成本（Learning to Actively Learn Neural Machine Translation；Active Learning Approaches to Enhancing Neural Machine Translation）。也可以被用于交互式翻译，让模型持续从外界反馈中受益（Active Learning for Interactive Neural Machine Translation of Data Streams；Continuous learning from human post-edits for neural machine translation；Online learning for effort reduction in interactive neural machine translation）。不过，总的来说，主动学习在机器翻译中应用不算广泛。这是由于，机器翻译任务较为复杂，设计样本价值的评价函数较为困难。而且，在很多场景中，并不是要简单的选择样本，而是希望训练装置能够考虑样本的价值，以充分发挥所有数据的优势。这也正是即将介绍的课程学习等方法要解决的问题。
\parinterval 主动学习非常适合于专业领域的任务，因为专业领域的标注成本往往比较昂贵，比如医学、金融、法律等。事实上，主动学习在神经机器翻译中的利用并不是很多，这主要是因为主动学习仅是把那些有价值的单语数据选出来，然后交给人工标注，这个过程需要人工的参与，然而神经机器翻译有许多利用单语数据的方法，比如在目标端结合语言模型（On using very large target vocabulary for neural machine translation；On using monolingual corpora in neural machine translation）；利用反向翻译（Back translation）（Improving neural machine translation models with monolingual data；Joint training for neural machine translation models with monolingual data；Iterative backtranslation for neural machine translation）；利用多语言或迁移学习（Exploiting Out-of-Domain Parallel Data through Multilingual Transfer Learning for Low-Resource Neural Machine Translation；Zero-Resource Neural Machine Translation with Monolingual Pivot Data；Pivot-based transfer learning for neural machine translation between non-english languages）；无监督机器翻译（Unsupervised machine translation using monolingual corpora only；Unsupervised neural machine translation）等。但是在一些特定的场景下，主动学习仍然会发挥重要作用，比如：在低资源或专业领域的神经机器翻译中，主动学习可以大大减少人工标注成本（Learning to Actively Learn Neural Machine Translation；Active Learning Approaches to Enhancing Neural Machine Translation）；在交互式或增量式机器翻译中，（Active Learning for Interactive Neural Machine Translation of Data Streams；Continuous learning from human post-edits for neural machine translation；Online learning for effort reduction in interactive neural machine translation）主动学习可以让模型持续从外界反馈中受益。
\parinterval这是符合直觉的，可以想象，对于一个数学零基础的人来说，如果一开始就同时学习加减乘除和高等数学，效率自然是比较低下的。而如果按照正常的学习顺序，比如先学习加减乘除，然后学习各种函数，最后再学习高等数学，有了前面的基础，再学习后面的知识，效率就可以更高。事实上，课程学习自从一被提出就受到了研究人员的极大关注，除了想法本身有趣之外，还因为它作为一种和模型无关的训练策略，具有即插即用（Plug-and-Play）的特点，可以被广泛应用于各种计算密集型的领域中，以提高效率，比如计算机视觉（Computer Vision，CV）（Weakly supervised learning from large-scale web images；Self-paced reranking for zero-example multimedia search），自然语言处理（Natural Language Processing，NLP）（Competence-based curriculum learning for neural machine translation；Simple and effective curriculum pointer-generator networks for reading comprehension over long narratives）和神经网络结构搜索（Neural Architecture Search，NAS）（Breaking the curse of space explosion: Towards efficient nas with curriculum search）等。神经机器翻译就是自然语言处理中一个很契合课程学习的任务，这是因为神经机器翻译往往需要大规模的平行语料来训练模型，训练成本很高，所以使用课程学习来加快收敛是一个很自然的想法。
\parinterval 评估样本的难度和具体的任务相关，在神经机器翻译中，有很多种评估方法，可以利用语言学上的困难准则，比如句子长度、句子平均词频、句子语法解析树深度等（Competence-based curriculum learning for neural machine translation；Curriculum Learning and Minibatch Bucketing in Neural Machine Translation）。这些准则本质上属于人类的先验知识，符合人类的直觉，但不一定和模型相匹配，对人类来说简单的句子对模型来说并不总是容易的，所以研究学者们也提出了模型自动评估的方法，比如：利用语言模型（Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation；Curriculum Learning for Domain Adaptation in Neural Machine Translation），利用神经机器翻译模型（An empirical exploration of curriculum learning for neural machine translation；Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）等。值得注意的是，利用神经机器翻译来打分的方法分为静态和动态两种，静态的方法是利用在小数据集上训练的、更小的NMT模型来打分（An empirical exploration of curriculum learning for neural machine translation），动态的方法则是利用当前模型的状态来打分，这在广义上也叫作自步学习（Self-Paced Learning），具体可以利用比如模型的训练误差或变化率等（Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）。
\parinterval 尽管预定义的调度策略简单有效，但也会面临着方法不够灵活、数据块划分不合理等问题，而且这种策略在一定程度上也忽略了当前模型的反馈。因此另一种方法是自动的方法，根据模型的反馈来动态调整样本的难度或调度策略，模型的反馈可以是模型的不确定性（Uncertainty-Aware Curriculum Learning for Neural Machine Translation）、模型的能力（Competence-based Curriculum Learning for Neural Machine Translation；Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）等。这些方法在一定程度上使得整个训练过程和模型的状态相匹配，使得样本的选择过渡得更加平滑，因此在实践中取得了不错的效果。
\parinterval 尽管预定义的方法简单有效，但存在的一个最大限制是，预定义的难度评估器和训练规划在训练过程中都是固定的，不够灵活，这可能会导致数据块的划分不合理，而且在一定程度上也忽略了当前模型的反馈，因此研究人员也提出了自动的方法，这种方法会根据模型的反馈来动态调整样本的难度或调度策略，模型的反馈可以是模型的不确定性（Uncertainty-Aware Curriculum Learning for Neural Machine Translation）、模型的能力（Competence-based Curriculum Learning for Neural Machine Translation；Dynamic Curriculum Learning for Low-Resource Neural Machine Translation）等，然后将模型的反馈和训练的轮次或者是数据的采样相挂钩，从而达到控制的目的，根据这种思想，还有直接利用强化学习的方法（Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models），这些方法在一定程度上使得整个训练过程和模型的状态相匹配，使得样本的选择过渡得更加平滑，因此在实践中取得了不错的效果。
\parinterval 从广义上说，大多数课程学习方法都是遵循由易到难的原则，然而在实践过程中人们逐渐赋予了课程学习更多的内涵，课程学习的含义早已超越了最原始的定义。一方面，课程学习可以与许多任务相结合，此时，评估准则并不一定总是样本的困难度，这取决于具体的任务，比如在多任务学习中（multi-task learning）（Curriculum learning of multiple tasks；Curriculum learning for multi-task classification of visual attributes），指的任务的难易程度或相关性；在领域适应任务中（Curriculum Learning for Domain Adaptation in Neural Machine Translation），指的是数据与领域的相似性；在噪声数据场景中，指的是样本的可信度（Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。另一方面，在一些任务或数据中，由易到难并不总是有效，有时困难优先反而会取得更好的效果（Curriculum learning with deep convolutional neural networks；An empirical exploration of curriculum learning for neural machine translation），实际上这和我们的直觉不太符合，一种合理的解释是课程学习更适合标签噪声、离群值较多或者是目标任务困难的场景，能提高模型的健壮性和收敛速度，而困难优先则更适合数据集干净的场景，能使随机梯度下降（stochastic gradient descent，SGD）更快更稳定（Active bias: Training more accurate neural networks by emphasizing high variance samples）。课程学习不断丰富的内涵使得它有了越来越广泛的应用。
\parinterval 从广义上说，大多数课程学习方法都是遵循由易到难的原则，然而在实践过程中人们逐渐赋予了课程学习更多的内涵，课程学习的含义早已超越了最原始的定义。一方面，课程学习可以与许多任务相结合，此时，评估准则并不一定总是样本的困难度，这取决于具体的任务，比如在多任务学习中（multi-task learning）（Curriculum learning of multiple tasks；Curriculum learning for multi-task classification of visual attributes），指的任务的难易程度或相关性；在领域适应任务中（Curriculum Learning for Domain Adaptation in Neural Machine Translation），指的是数据与领域的相似性；在噪声数据场景中，指的是样本的可信度（Dynamically Composing Domain-Data Selection with Clean-Data Selection by “Co-Curricular Learning” for Neural Machine Translation）。另一方面，在一些任务或数据中，由易到难并不总是有效，有时困难优先反而会取得更好的效果（Curriculum learning with deep convolutional neural networks；An empirical exploration of curriculum learning for neural machine translation），实际上这和我们的直觉不太符合，一种合理的解释是课程学习更适合标签噪声、离群值较多或者是目标任务困难的场景，能提高模型的健壮性和收敛速度，而困难优先则更适合数据集干净的场景，能使随机梯度下降更快更稳定（Active bias: Training more accurate neural networks by emphasizing high variance samples）。（{\color{red} 这段写得不错！}）
\item 基于正则化的方法，通过对神经权重的更新施加约束来减轻灾难性的遗忘，通常是在损失函数中引入了一个额外的正则化项，使得模型在学习新数据时巩固先前的知识。（Learning without Forgetting ；Elastic Weight Consolidation ）
\item 基于正则化的方法。通过对神经权重的更新施加约束来减轻灾难性的遗忘，通常是在损失函数中引入了一个额外的正则化项，使得模型在学习新数据时巩固先前的知识。（Learning without Forgetting ；Elastic Weight Consolidation ）
\vspace{0.5em}
\vspace{0.5em}
\item 基于示例的方法，以原始格式存储样本，或使用生成模型生成伪样本，在学习新任务的同时重放先前的任务样本以减轻遗忘。（iCaRL: Incremental Classifier and Representation Learning；End-to-End Incremental Learning ）
\item 基于实例的方法。以原始格式存储样本，或使用生成模型生成伪样本，在学习新任务的同时重放先前的任务样本以减轻遗忘。（iCaRL: Incremental Classifier and Representation Learning；End-to-End Incremental Learning ）
\vspace{0.5em}
\vspace{0.5em}
\item 基于动态模型架构的方法，通过动态调整网络结构来响应新信息，例如增加神经元或网络层进行重新训练，或者是在新任务训练时只更新部分参数。（Progressive Neural Networks；PathNet: Evolution Channels Gradient Descent in Super Neural Networks）
\item 基于动态模型架构的方法。例如，增加神经元或网络层进行重新训练，或者是在新任务训练时只更新部分参数。（Progressive Neural Networks；PathNet: Evolution Channels Gradient Descent in Super Neural Networks）
\vspace{0.5em}
\vspace{0.5em}
\end{itemize}
\end{itemize}
\parinterval 从某种程度上看，机器翻译中的多领域、多语言等都属于持续学习的场景，灾难性遗忘也是这些任务面临的主要问题之一。在多领域神经机器翻译中，我们期望模型既有通用领域的性能，并且在特定领域也表现良好，然而事实上，由于灾难性遗忘问题的存在，适应特定领域往往是以牺牲通用领域的性能为代价的（Overcoming Catastrophic Forgetting During Domain Adaptation of Neural Machine Translation；Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation），现有的解决方法大多都可以归到以上三类，具体内容可以参考16.5 领域适应。在多语言神经翻译中，最理想的情况是一个模型就能够实现在多个语言之间的映射，然而由于数据分布的极大不同，实际情况往往是：多语言模型能够提高低资源语言对互译的性能，但同时也会降低高资源语言对的性能。因此如何让模型从多语言训练数据中持续受益就是一个关键的问题，16.3 多语言翻译模型作了详细介绍。此外，在增量式模型优化场景中也会存在灾难性遗忘问题，相关内容可参考18.2 增量式模型优化。
\parinterval 从某种程度上看，机器翻译中的多领域、多语言等都属于持续学习的场景。在多领域神经机器翻译中，我们期望模型既有通用领域的性能，并且在特定领域也表现良好，然而事实上，适应特定领域往往是以牺牲通用领域的性能为代价的（Overcoming Catastrophic Forgetting During Domain Adaptation of Neural Machine Translation；Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation）。在多语言神经翻译中，最理想的情况是一个模型就能够实现在多个语言之间的映射，然而由于数据分布的极大不同，实际情况往往是：多语言模型能够提高低资源语言对互译的性能，但同时也会降低高资源语言对的性能。因此如何让模型从多语言训练数据中持续受益就是一个关键的问题。以上这些问题在{\chaptersixteen}和{\chaptereighteen}中还会有详细讨论。
