鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务,完成跨多个智算中心的协同计算作业,进而实现全新计算范式和业务场景,如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。

Updated 6 months ago Java

2000亿开源中文预训练语言模型「鹏城·盘古α」

Updated 6 months ago Python

将盘古α-13B/2.6B由8卡压缩到1卡上推理。

Updated 1 year ago Python

海星HiStar:联邦深度学习中间件

Updated 1 year ago Python

中文长下文词语预测(Chinese WPLC)数据集

Updated 1 year ago Python

使用100G中文高质量语料,128张V100,训练的中文Megatron模型,参数量2.6B

Updated 2 years ago Python