这些优秀的组织正在使用:

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 4 months ago Python

2000亿开源中文预训练语言模型「鹏程·盘古α」

Updated 3 weeks ago Python

鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

Updated 2 days ago Java

高效的大模型训练(预训练、微调)工具包!

Updated 3 weeks ago Python

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,包括模型的训练推理、finetune\promptune\fewshot learning、模型压缩以及下游任务应用等,促进预训练模型的应用创新。

Updated 3 months ago Python

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 4 months ago Python

盘古增强版,更强的任务理解与处理能力,更加擅长遵循您的任务说明。

Updated 1 month ago Markdown

mPanGu-α-53是首个以中文为中心的多语言&机器翻译模型,在一带一路沿线66个国家53种语种上进行预训练和单双语混合增量训练,单模型支持一带一路53个语种任两语种间的互译,对比WMT2021多语言任务赛道No.1在”中外“100个方向上平均BLEU值提升0.354,支持在NPU/GPU上基于MindSpore分布式训练(最少8卡)、推理(全精度/FP16,1卡)和多语言任务的迁移学习。

Updated 3 days ago Text

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 5 days ago Python

鹏程-通言模型 通言模型是在M2M-100模型结构上进行改进的多语种机器翻译模型,通过参数复用和增量式训练,将模型参数从1.2B提升至13.2B,在一带一路多个小语种的翻译上大幅提升。

Updated 6 months ago Text

“悟道”项目开源模型

Updated 8 months ago Python

支持在鹏城云脑2上,或NPU服务器上,进行盘古2.6B大模型剪枝实验

Updated 2 months ago Python

支持在鹏城云脑2或者其他NPU服务器上,进行盘古大模型的知识蒸馏,目前实验代码为2.6B盘古模型蒸馏出368M

Updated 5 months ago Python

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 1 month ago Python

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 1 month ago Python

开发者对鹏程系列大模型的二次开发项目或者贡献代码。

Updated 5 months ago

PanGu-Alpha 模型在 GPU 上推理和训练

Updated 1 month ago Python

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,促进预训练模型的应用创新。

Updated 5 months ago Python

鹏程系列大模型的应用技术,从基本技术到应用提供baseline,包括模型的训练推理、finetune\promptune\fewshot learning、模型压缩以及下游任务应用等,促进预训练模型的应用创新。

Updated 3 months ago Python

让模型的训练更有效率(10B以内),支持训练更大规模的模型(>10B、50B、100B),构建支持分布式混合并行的典型模型案例,是该项目的初衷。

Updated 2 months ago Python