Commit c49bb435 by xuchen

recover the coverage to 1 in sentencepiece

parent bc82b949
......@@ -34,7 +34,7 @@ def gen_vocab(
f"--model_prefix={output_path_prefix.as_posix()}",
f"--model_type={model_type}",
f"--vocab_size={vocab_size}",
"--character_coverage=0.9995",
"--character_coverage=1.0",
f"--num_threads={cpu_count()}",
f"--input_sentence_size=50000000",
"--shuffle_input_sentence=true",
......
Markdown 格式
0%
您添加了 0 到此讨论。请谨慎行事。
请先完成此评论的编辑!
注册 或者 后发表评论