Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
imyzx
aa4ac4b529
|
1 year ago | |
|---|---|---|
| .. | ||
| scripts | 2 years ago | |
| src | 2 years ago | |
| wiki | 2 years ago | |
| AISyn_server.py | 2 years ago | |
| README.md | 2 years ago | |
| client_agent.py | 2 years ago | |
| client_train_pangu_350M_AISyn.py | 2 years ago | |
| eval.py | 2 years ago | |
| export.py | 2 years ago | |
| ma-pre-start.sh | 2 years ago | |
| main.py | 2 years ago | |
| main_terminal.py | 2 years ago | |
| metrics.py | 2 years ago | |
| modelCheckPoint.py | 2 years ago | |
| paramHunter.py | 2 years ago | |
| param_server.py | 2 years ago | |
| start.sh | 2 years ago | |
| start_bp.sh | 2 years ago | |
| thgy_client.py | 2 years ago | |
| tokenization_jieba.py | 2 years ago | |
README.md
本例子实现了 Pangu-alpha-350M 模型在 AISynergy 平台上进行协同训练，并支持 mindspore 框架模型的协同训练，
也支持 Pytorch 和 MindSpore 异构框架下的协同训练。
环境
支持 python = 3.7.5 , mindspore = 1.3 版本.
推荐使用华为官方镜像
根据教程
部署
下载和安装 AISynergy
数据集
[中文wiki]
下载后解压到项目根目录，建议新建文件夹并分级如下，并分别将train.zip和test.zip解压过去。
——wiki
———train
———test
AISynergy 的使用
AISynergy提供了两种使用方式：网页前端启动任务，服务器手动启动任务
1、基于网页前端启动任务，可以参考文档
平台使用手册
2、基于服务器手动启动任务，可以参考下面步骤。
mindspore 框架下的同构训练
1、运行 server 端
运行脚本
python AISyn_server.py
2、运行 client 端
修改脚本client_train_pangu_350M_AISyn.py最后run_numpyAdap_client的首个传参，为server端的EIP地址:端口
然后直接执行
python client_train_pangu_350M_AISyn.py
鹏城众智AI协同计算平台AISynergy是一个分布式智能协同计算平台。该平台的目标是通过智算网络基础设施使能数据、算力、模型、网络和服务，完成跨多个智算中心的协同计算作业，进而实现全新计算范式和业务场景，如大模型跨域协同计算、多中心模型聚合、多中心联邦学习等。
Java Vue Python JavaScript Go other
