• 星云框架（Nebula-I)
• • 框架介绍
  • 模型预训练任务
  • 模型微调任务
  • Reference

星云框架（Nebula-I)

星云框架是一个面向云际环境的深度学习统一训练框架，该框架支持在低带宽环境下使用异地异构算力中心的计算资源、复用不同算力中心的已训练模型进行目标模型的协同训练。

本工程以自然语言处理任务为例，展示星云框架在自然语言模型不同训练阶段的应用，包括：
1）多语言预训练模型的训练：使用已训练的小规模多语言预训练模型，在两个异构算力中心的节点上训练更大规模的预训练语言模型；
2）预训练模型微调训练：在已训练模型的基础上，使用不同算力中心计算资源微调训练翻译模型。

框架介绍

星云框架总体分为七层：任务层、训练优化层、并行计算层、通信优化层、安全和隐私层、管理和调度层和云硬件层。
其中任务层面向具体的训练任务，支持模型预训练、模型微调等模型训练任务。
训练优化层、并行计算层和通信优化层共同组成了Nebula-Optimizer，从训练策略、并行策略和通信策略三个方面对训练过程进行联合优化，实现在达到最大化通信性能、最小化模型准确率损失。
安全和隐私层解决集群内部节点和集群之间通信的安全，保障数据传输的安全性。
管理和调度层对不同集群的算力资源进行统一的管理和调度。
云硬件层有不同架构的集群组成。

模型预训练任务

模型微调任务

模型微调任务

星云框架技术报告：
Nebula-I: A General Framework for Collaboratively Training Deep Learning Models on Low-Bandwidth Cloud Clusters

Reference

1. Clark, K., M.-T. Luong, Q. V. Le, et al. Electra: Pre-training text encoders as discriminators rather than generators. arXiv preprint arXiv:2003.10555, 2020.
2. Guo, J., Z. Zhang, L. Xu, et al. Incorporating bert into parallel sequence decoding with adapters. Advances in Neural Information Processing Systems, 2020.