您最多选择25个标签 标签必须以中文、字母或数字开头,可以包含连字符 (-),并且长度不得超过35个字符
 
 
 
 
 
 
zhanghangit bf716fb7c0 add nvidia megatron code 2 年前
..
bpe_3w_new add nvidia megatron code 2 年前
data add nvidia megatron code 2 年前
examples add nvidia megatron code 2 年前
images add nvidia megatron code 2 年前
megatron add nvidia megatron code 2 年前
optimizer_ add nvidia megatron code 2 年前
tasks add nvidia megatron code 2 年前
tools add nvidia megatron code 2 年前
.gitignore add nvidia megatron code 2 年前
eval_gpt2.py add nvidia megatron code 2 年前
get_ib_throughput.sh add nvidia megatron code 2 年前
ib_speed_stat.sh add nvidia megatron code 2 年前
preprocess_each_dataset_dev.sh add nvidia megatron code 2 年前
pretrain_bert.py add nvidia megatron code 2 年前
pretrain_gpt2.py add nvidia megatron code 2 年前
pretrain_ict.py add nvidia megatron code 2 年前
requirements.txt add nvidia megatron code 2 年前
setup.py add nvidia megatron code 2 年前

使用100G中文高质量语料,128张V100,训练的中文Megatron模型,参数量2.6B

Python C++ Shell Cuda TeX other

贡献者 (2)