Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
enflame01
f4f70a423b
|
4 months ago | |
|---|---|---|
| TopsRide_samples | 4 months ago | |
| doc | 4 months ago | |
| README.md | 4 months ago | |
| run_3d_unet.py | 4 months ago | |
| run_3d_unet_8card.py | 4 months ago | |
| run_bert_base.py | 4 months ago | |
| run_bert_base_8card.py | 4 months ago | |
| run_pangu_8card.py | 4 months ago | |
| run_transformer.py | 4 months ago | |
| run_transformer_8card.py | 4 months ago | |
README.md
GCU_Pytorch
本项目以GCU + PaddlePaddle2.5.1框架单卡/多卡 3d_unet、pangu、transformer、bert_base等基础示例，旨在为AI开发者提供启智CV、NLP、LLM等多场景的训练参考。
1. 派生项目
- 派生项目指创建一个示例代码仓的副本到你的账户下
- 你的派生项目与原示例代码仓为两个独立项目，各自的改动不会互相影响，除非你向原项目提出代码变更申请
- 在本页面上点击 “派生”，然后按照提示填写内容，选择 “派生项目”。
2. 创建训练任务
- 以单卡bert_base训练为例，选择 “云脑”->“训练任务”->“新建训练任务”。
3. 启动训练任务
- 训练任务示例bert_base
- 项目代码存储在 /tmp/code 中，数据集存储在 /tmp/dataset 中，预训练模型存储在 /tmp/pretrainmodel 中，训练输出请存储在 /tmp/output 中以供后续下载
【基础信息】
- 算力集群：智算网络集群
- 计算资源：燧原GCU
- 访问Internet：是
- 资源规格：GCU:1*ENFLAME-T20, CPU:8, 内存：30G
- 任务名称：run_bert_base（可自定义）
- 任务描述（可选项）：run_bert_base single card train（可自定义）
【参数配置】
- 代码分支：master
- 选择模型（可选项）：none
- 镜像：enflame_py3_train
- 启动文件： run_bert_base.py
- 数据集：pytorch_bert_base.zip，选择数据集->公开数据集->搜索"gcu"->勾选pytorch_bert_base.zip
- 运行参数（可选项）：none
- 部分数据集与模型对应关系参考如下：
模型 对应数据集 3d_unet iseg_2017.zip pangu wudao.zip transformer WMT.zip bert_base pytorch_bert_base.zip
4. 如何跑出模型精度
- 以bert_base 分布式8卡为例，其他模型与此类似：
编辑运行脚本run_bert_base_8card.py，将脚本由“bert_base_performance.sh”修改为bert_base_convergence.sh
5. 对于示例代码有任何问题，欢迎在本项目中提issue
本项目以GCU PyTorch1.10.0 框架单卡/多卡盘古、3d_unet、transformer、bert_base等基础示例，旨在为AI开发者提供启智LLM、CV、NLP等多场景的训练参考
Text Python Shell Markdown C++ other
