You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 
 
 
 
 
superqing 4377729c60 更新 'README.md' 1 week ago
inference_mindspore_gpu readme 2 months ago
panguAlpha_pytorch readme 2 months ago
.gitignore pangu pytorch 5 months ago
README-en.md Update 'README-en.md' 2 months ago
README.md 更新 'README.md' 1 week ago

README.md

PanGu-Alpha-GPU

英文|中文

描述

本项目是 Pangu-alpha 的 GPU 版本,关于 Pangu-alpha 的原理、数据集等信息请查看原项目。该项目现阶段主要是让 Pangu-alpha 模型能在 GPU 上进行推理和训练,让更多人体验到大模型的魅力。开放的宗旨就是要集思广益、抛砖引玉、挖掘大模型应用潜力,同时发现存在的问题,以指导我们未来的创新研究和突破。

目前2.6B GPU版本的模型推理阶段显存占用控制在7G以内,8G显存的机器即可推理,请大家放心使用。

mindspore 推理、Finetune、预训练

  1. 请查看:该部分代码只支持推理,如果只想体验一下盘古α的话,推荐使用这个页面下的《三分钟实现推理教程》。
  2. 请查看:如果想在盘古α上开发的话,推荐使用 mindspore 提供的训练和推理代码。mindspore 官网的 model_zoo 提供了推理、Finetune、预训练全流程。

pytorch 推理、Finetune、预训练

请查看:基于 Megatron-1.1开发的盘古α的推理、Finetune、预训练全流程。

简介

PanGu-Alpha 模型在 GPU 上推理和训练

Python Markdown C++ Shell Cuda other

贡献者 (4)