Browse Source

更新 'README.md'

master
Hanlard 3 weeks ago
parent
commit
e04663e67a
1 changed files with 2 additions and 0 deletions
  1. +2
    -0
      README.md

+ 2
- 0
README.md View File

@@ -1,3 +1,5 @@
# Megatron 中文预训练模型

本模型使用Megatron代码训练,使用了清源公布的3万字词表,数据使用100G高质量中文语料

模型参数2.6B,模型采用GPT结构,使用了数据并行和张量并行并行方式,模型文件可以在数据集中下载。


Loading…
Cancel
Save