Commit 9619384f by xiaotong

clean the code

parent 1ef8b6c0
......@@ -182,7 +182,7 @@ XTensor T2TAttention::MakeAttention(XTensor &k, XTensor &q, XTensor &v, XTensor
dot = Linear(dot, 1.0F/(float)sqrt((float)dk/nhead));
scalar = Softmax(dot, -1);
if(isTraining && dropoutP > 0)
scalar = Dropout(scalar, dropoutP);
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论