Commit 90010cd3 by libei

reviese bugs

parent fb9ee9e7
......@@ -194,6 +194,9 @@ def transformer_encoder(encoder_input,
broadcast_dims=residual_dropout_broadcast_dims)
x = residual + x
x = may_be_layernorm(x, hparams, after=True)
if hparams.normalize_before:
x = may_be_layernorm(x, hparams, before=True, name="norm_top")
return x
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论