zhangyuqi
  • Joined on May 08, 2021

2000亿开源中文预训练语言模型「鹏城·盘古α」

Updated 6 months ago Python

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 1 year ago Python

使用100G中文高质量语料,128张V100,训练的中文Megatron模型,参数量2.6B

Updated 2 years ago Python