PCL-Platform.Intelligence

Repositories

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 5 days ago

鹏程-通言模型 通言模型是在M2M-100模型结构上进行改进的多语种机器翻译模型,通过参数复用和增量式训练,将模型参数从1.2B提升至13.2B,在一带一路多个小语种的翻译上大幅提升。

Updated 5 days ago

2000亿开源中文预训练语言模型「鹏程·盘古α」

Updated 5 days ago

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 5 days ago

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,促进预训练模型的应用创新。

Updated 5 days ago

中文长下文词语预测(Chinese WPLC)数据集

Updated 1 week ago

提取Common Crawl 的中文文本,并清洗

Updated 1 month ago

使用100G中文高质量语料,128张V100,训练的中文Megatron模型,参数量2.6B

Updated 3 months ago

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 3 months ago

Updated 3 months ago

People