• 大模型训练过程版本演化分析及工具
• • 轻量级模型训练监控工具MMonitor
  • • 使用方式
    • 可用范围
  • PengCheng.Mind 200B模型研究
  • PengCheng.Mind 7B模型研究
  • 联系我们
  • 参与单位

大模型训练过程版本演化分析及工具

大模型训练过程涉及数据配比、训练超参数、网络架构等多方面因素，如何从这些因素中选择合适的组合以最大化模型学习速度，对于理解模型训练过程及降低成本具有重要意义。因此，目前在该技术研究方向上可能还存在从以下挑战问题供研究者们探索研究：

• ❓大模型内部表征空间性质与模型效果的关系分析
• ❓模型学习速度优化
• ❓快速模型微调方法
• ❓模型训练充分性评估

针对这些挑战问题，本项目从演化工具、脑海模型训练过程中的详细参数、日志等方面进行开源，为研究者们在基于人类反馈的模型优化方法研究工作方面提供研究参考。具体的，开源内容包括以下内容：

• ⭐轻量级模型训练监控工具MMonitor
• ⭐PengCheng.Mind 200B模型研究
• ⭐PengCheng.Mind 7B模型研究

轻量级模型训练监控工具MMonitor

MMonitor是一个即插即用、易于扩展的插件。它可以在训练过程中批量跟踪特定子模块中的特定统计指标，并将其可视化。细粒度、高自由度是它的显著特点。

使用方式

例如，如果想跟踪 Conv2d 层的权重二范数 (WeightNorm) ，在必要的导入工作以外，只需添加如下步骤

1. 在训练开始前设置MMonitor跟踪目标模型并可视化

   monitor = Monitor(model, config={'Conv2d': ['WeightNorm']})
   vis = Visualization(monitor, wandb)
   

2. 在训练迭代中更新MMonitor状态

   # original code
   loss.backward()
   optimizer.step()
   optimizer.zero_grad()
   lr_scheduler.step()
   # additional code
   monitor.track(step) # 将monitor的更新放在 loss.backward() 之后
   vis.show(step)      # 将跟踪数据可视化
   step += 1
   

3. 在训练完成后关闭可视化窗口并保存数据

   vis.close()
   monitor.get_output()
   

更详细的使用说明请参考MMonitor使用手册

可用范围

目前MMonitor仅支持pytorch模型的训练监控，基于Mindspore等其他框架的模型需要先转换为pytorch模型。

MMonitor将很快支持Mindspore等国产训练框架

PengCheng.Mind 200B模型研究

PengCheng.Mind 7B模型研究

联系我们

如果你对本项目的使用和代码有任何问题，可以提交issue。同时你也可以通过邮箱 xuchx@pcl.ac.cn 直接联系我们

参与单位

鹏城实验室，北京航空航天大学。