你确认删除该任务么？此任务一旦删除不可恢复。
您最多选择25个标签
标签必须以中文、字母或数字开头，可以包含连字符 (-)，并且长度不得超过35个字符
PCL-张晗
e04663e67a
|
2 年前 | |
|---|---|---|
| bpe_3w_new | 3 年前 | |
| nvidia-code | 3 年前 | |
| README.md | 2 年前 | |
| tokenization_jieba.py | 3 年前 | |
README.md
Megatron 中文预训练模型
本模型使用Megatron代码训练，使用了清源公布的3万字词表，数据使用100G高质量中文语料
模型参数2.6B，模型采用GPT结构，使用了数据并行和张量并行并行方式，模型文件可以在数据集中下载。
或百度网盘：
链接：https://pan.baidu.com/s/17x4ZpcS8b7zabWtKtsiWOw
提取码：ep3f
模型的训练和推理与英伟达的Megatron代码一致，使用说明请参考NVIDIA-Megatron: https://github.com/NVIDIA/Megatron-LM
使用100G中文高质量语料，128张V100，训练的中文Megatron模型，参数量2.6B
Python C++ Shell Cuda TeX other
