- 6828301b02 更新 'README.md'
JinWang 评论了任务 PCL-Platform.Inte.../AISynergy#20
梯度量化方法(BinarySGD+TrinarySGD)2022-06-24: * 1、学习Pytorch中DDP模块的通信hook实现机制,参考完成BinarySGD代码编写,存在问题是:Pytorch中没有1bit数据类型 * 2、研究学习DeepSpeed中的1bit-Adam原理和实现源码,其中1bit数据采用了基于CUDA实现的cupy多维数组库来实现
1年前
JinWang 评论了任务 PCL-Platform.Inte.../AISynergy#7
协同计算任务各阶段耗时统计标准化+预执行回归建模仿真方案实现Colossal-AI框架模型训练效率仿真方法(基于事件时序建模的方法)主要步骤: 1、单机模拟多机多卡的分布式进程环境及模型加载;(已完成) 2、根据加载的模型获取每个进程的计算图; 3、根据计算图表示检测事件,包括计算和通信; 4、建立事件时序模型计算整体效率。
1年前
JinWang 评论了任务 PCL-Platform.Inte.../AISynergy#7
协同计算任务各阶段耗时统计标准化+预执行回归建模仿真方案实现[5-20:DistIR仿真与Colossal-AI真实训练效率对比](https://git.openi.org.cn/PCL-Platform.Intelligence/AISynergy/src/branch/AISyn-simulator/examples/simulation_example)![](http://) (1)DistIR仿真MLP-small(4GPU,数据并行) ![图片](/attachments/0f6c359f-44cc-4cf8-b77d-9bf8b26bf0b5) (2)Colossal-AI真实执行MLP-small(4GPU,数据并行,只包括了forward和backward) ![图片](/attachments/a538198d-8977-498f-b64c-220b7f70eb5b) Colossal-AI Benchmark(MLP-small) ![图片](/attachments/f66c1b38-9b59-42b0-8437-411018e54e1c) (3)Colossal-AI GPT2真实训练效率(4GPU,数据并行) ![图片](/attachments/abe3bea0-06a0-4416-955a-aac2022402e2) 对比分析: * MLP-small模型真实执行效率随batch size变化规律与DistIR仿真结果不一致,初步分析是仿真方法DistIR的问题,正在分析定位; * Colossal-AI在4GPU上随着并行维度增加,速度降低,但是能够支持更大的batchsize
1年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
1年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 评论了任务 PCL-Platform.Inte.../AISynergy#7
协同计算任务各阶段耗时统计标准化+预执行回归建模仿真方案实现[simulator README](https://git.openi.org.cn/PCL-Platform.Intelligence/AISynergy/src/branch/AISyn-simulator/examples/simulation_exampleb)
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
JinWang 推送了 AISyn-simulator 分支的代码到 PCL-Platform.Inte.../AISynergy
2 年前
尊敬的启智用户
感谢您一直以来对Openl启智社区AI协作平台的支持。为了保障您的使用权益和确保网络安全,我们于2024年1月份更新了《Openl启智社区AI协作平台使用协议》。更新后的协议明确了用户禁止使用内网穿透工具的条例。您单击“同意并继续”后,便可以继续使用我们的服务。感谢您的合作与理解。
更多协议内容,请参考《Openl启智社区AI协作平台使用协议》