• dist_train
• • 项目简介
  • 项目结构
  • 使用方法

dist_train

项目简介

该项目以bert为例，实现了模型的拆分学习代码。

项目结构

|--config.py        # 拆分学习任务的配置项
|--data.py          # 拆分学习的数据处理
|--model.py         # 拆分学习的模型定义
|--train.py         # 拆分学习node0的训练启动
|--worker1.py         # 拆分学习node1的训练启动

使用方法

1. 首先进入启智平台云脑tab界面中，点击列表中已创建的任务的再次调试，进入配置好的环境中。等待至准备完毕后进入调试终端，在终端运行程序。
2. 使用apt-get install unzip安装unzip命令
3. 将/dataset和/code路径下的文件全部解压缩
4. 启动两个lancher分别进入到/code下的解压目录，分别运行python train.py和python worker1.py，等待训练完毕。