PCL-Platform.Intelligence
Selected Projects

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

协同计算

13     9     0

2000亿开源中文预训练语言模型「鹏程·盘古α」

大模型

32     68     27

PanGu-Alpha 模型在 GPU 上推理和训练

大模型 自然语言处理 语言模型 gpu

16     32     72

Repositories

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

Updated 1 week ago

mPanGu-α-53是首个以中文为中心的多语言&机器翻译模型,在一带一路沿线66个国家53种语种上进行预训练和单双语混合增量训练,单模型支持一带一路53个语种任两语种间的互译,对比WMT2021多语言任务赛道No.1在”中外“100个方向上平均BLEU值提升0.354,支持在NPU/GPU上基于MindSpore分布式训练(最少8卡)、推理(全精度/FP16,1卡)和多语言任务的迁移学习。

Updated 3 weeks ago

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 1 month ago

2000亿开源中文预训练语言模型「鹏程·盘古α」

Updated 1 month ago

盘古增强版,更强的任务理解与处理能力,更加擅长遵循您的任务说明。

Updated 2 months ago

支持在鹏城云脑2上,或NPU服务器上,进行盘古2.6B大模型剪枝实验

Updated 3 months ago

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,包括模型的训练推理、finetune\promptune\fewshot learning、模型压缩以及下游任务应用等,促进预训练模型的应用创新。

Updated 4 months ago

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 5 months ago

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 5 months ago

支持在鹏城云脑2或者其他NPU服务器上,进行盘古大模型的知识蒸馏,目前实验代码为2.6B盘古模型蒸馏出368M

Updated 6 months ago

开发者对鹏程系列大模型的二次开发项目或者贡献代码。

Updated 6 months ago

鹏程-通言模型 通言模型是在M2M-100模型结构上进行改进的多语种机器翻译模型,通过参数复用和增量式训练,将模型参数从1.2B提升至13.2B,在一带一路多个小语种的翻译上大幅提升。

Updated 8 months ago

提取Common Crawl 的中文文本,并清洗

Updated 8 months ago

中文长下文词语预测(Chinese WPLC)数据集

Updated 9 months ago

使用100G中文高质量语料,128张V100,训练的中文Megatron模型,参数量2.6B

Updated 1 year ago

People