Commit c90e83fe by xiaotong

add embedding dropout

parent cecbceb9
......@@ -99,6 +99,10 @@ XTensor AttEncoder::Make(XTensor &input, XTensor &mask, bool skipInputRes, bool
x = embedder.Make(input);
/* dropout */
if(isTraining && dropoutP > 0)
x = Dropout(x);
for(int i = 0; i < nlayer; i++){
XTensor att;
XTensor ln;
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论