PCL-陶恒韬 taoht

2000亿开源中文预训练语言模型「鹏城·盘古α」

Updated 6 months ago Python

mPanGu-α-53是首个以中文为中心的多语言&机器翻译模型,在一带一路沿线66个国家53种语种上进行预训练和单双语混合增量训练,单模型支持一带一路53个语种任两语种间的互译,对比WMT2021多语言任务赛道No.1在”中外“100个方向上平均BLEU值提升0.354,支持在NPU/GPU上基于MindSpore分布式训练(最少8卡)、推理(全精度/FP16,1卡)和多语言任务的迁移学习。

Updated 6 months ago Text

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 1 year ago Python