new

长序列transformer/readme.md

-Transformer针对长序列问题的改进，主要有两种思路，一种是通过分段递归机制维护长序列的上下文信息，另一种是使用更高效的注意力机制。第一类方法比较有代表性的工作有transformer-xl(2019)，该方法虽然为模型赋予了处理长序列的能力，但是此类方法的时间和空间复杂度依然较高。
+Transformer针对长序列问题的改进，主要有两种思路，一种是通过分段递归机制维护长序列的上下文信息，另一种是使用更高效的注意力机制。第一类方法比较有代表性的工作有transformer-xl(2019)，该方法虽然为模型赋予了处理长序列的能力，但是此类方法的时间和空间复杂度依然较高。
@@ -2,8 +2,8 @@ Transformer针对长序列问题的改进，主要有两种思路，一种是通
 
 第二类方法，即针对注意力机制的改进又可以分为：
 
-* 使用低秩矩阵或核函数的思想构建复杂度更低的注意力机制，相关工作有 Linformer（2020）、Linear Transformer（2020）和 Random Feature Attention（2021）。Softmax 注意力机制的复杂度$O (n^2)$来源于softmax函数，因此这类方法的主要思想是使用别的方法来替代softmax函数，降低注意力机制的复杂度。其中 Linformer 对 K 和 V 应用核方法降低序列维度，但该操作同时也把整个序列的信息柔和在了一起，因此没办法对未来信息进行 Mask，无法做语言模型、seq2seq 等任务。而 Random Feature Attention 没有这方面的问题，该方法采用循环神经网络的思想，在模型的每个时间步都维护一个蕴含历史信息的隐层向量，以此达到只使用 prefix 信息的目的【与Mask效果相同】。
-*  改进注意力的计算过程，相关工作有 luna (2021) 和 less memory (2022) 。其中 luna 将注意力的过程拆分为两个阶段，第一个阶段先使用一个注意力得到一个固定长度的结果（长度小于句长n，类似于压缩的思想），第二个阶段再使用一次注意力计算对压缩的结果进行注意力计算，该方法可以与别的注意力改进方法相结合。less memory 将 QKV 拆分成子片段，依次对这些片段进行注意力计算，再将结果合并，以降低注意力所需要的内存，该方法的不足是其时间复杂度仍然为$O (n^2)$。
+* 使用低秩矩阵或核函数的思想构建复杂度更低的注意力机制，相关工作有 Linformer（2020）、Linear Transformer（2020）和 Random Feature Attention（2021）。Softmax 注意力机制的复杂度 $O (n^2)$ 来源于softmax函数，因此这类方法的主要思想是使用别的方法来替代softmax函数，降低注意力机制的复杂度。其中 Linformer 对 K 和 V 应用核方法降低序列维度，但该操作同时也把整个序列的信息柔和在了一起，因此没办法对未来信息进行 Mask，无法做语言模型、seq2seq 等任务。而 Random Feature Attention 没有这方面的问题，该方法采用循环神经网络的思想，在模型的每个时间步都维护一个蕴含历史信息的隐层向量，以此达到只使用 prefix 信息的目的【与Mask效果相同】。
+*  改进注意力的计算过程，相关工作有 luna (2021) 和 less memory (2022) 。其中 luna 将注意力的过程拆分为两个阶段，第一个阶段先使用一个注意力得到一个固定长度的结果（长度小于句长n，类似于压缩的思想），第二个阶段再使用一次注意力计算对压缩的结果进行注意力计算，该方法可以与别的注意力改进方法相结合。less memory 将 QKV 拆分成子片段，依次对这些片段进行注意力计算，再将结果合并，以降低注意力所需要的内存，该方法的不足是其时间复杂度仍然为 $O (n^2)$ 。
 * 此外还有其他改进方法，相关工作有 Reformer(2020) 和 Big bird(2020) 。其中 Reformer 使用局部哈希敏感注意力机制，该方法复杂度高，复现困难，只有当序列长度大于 2048 时才会有效率提升。与Reformer 相较而言，Big bird 更加优秀。