(返回顶端)
Colossal-AI 为您提供了一系列并行组件。我们的目标是让您的分布式 AI 模型像构建普通的单 GPU 模型一样简单。我们提供的友好工具可以让您在几行代码内快速开始分布式训练和推理。
(返回顶端)
(返回顶端)
(返回顶端)
(返回顶端)
ColossalChat: 完整RLHF流程0门槛克隆 ChatGPT [代码] [博客] [在线样例]
加速AIGC(AI内容生成)模型,如Stable Diffusion v1 和 Stable Diffusion v2
(返回顶端)
加速 AlphaFold 蛋白质结构预测
(返回顶端)
环境要求:
如果你遇到安装问题,可以向本项目 反馈。
您可以用下面的命令直接从PyPI上下载并安装Colossal-AI。我们默认不会安装PyTorch扩展包。
pip install colossalai
注:目前只支持Linux。
但是,如果你想在安装时就直接构建PyTorch扩展,您可以设置环境变量CUDA_EXT=1
.
CUDA_EXT=1 pip install colossalai
否则,PyTorch扩展只会在你实际需要使用他们时在运行时里被构建。
与此同时,我们也每周定时发布Nightly版本,这能让你提前体验到新的feature和bug fix。你可以通过以下命令安装Nightly版本。
pip install colossalai-nightly
此文档将与版本库的主分支保持一致。如果您遇到任何问题,欢迎给我们提 issue :)
git clone https://github.com/hpcaitech/ColossalAI.git
cd ColossalAI
# install dependency
pip install -r requirements/requirements.txt
# install colossalai
pip install .
我们默认在pip install
时不安装PyTorch扩展,而是在运行时临时编译,如果你想要提前安装这些扩展的话(在使用融合优化器时会用到),可以使用一下命令。
CUDA_EXT=1 pip install .
(返回顶端)
您可以直接从我们的DockerHub主页获取最新的镜像,每一次发布我们都会自动上传最新的镜像。
运行以下命令从我们提供的 docker 文件中建立 docker 镜像。
在Dockerfile里编译Colossal-AI需要有GPU支持,您需要将Nvidia Docker Runtime设置为默认的Runtime。更多信息可以点击这里。
我们推荐从项目主页直接下载Colossal-AI.
cd ColossalAI
docker build -t colossalai ./docker
运行以下命令从以交互式启动 docker 镜像.
docker run -ti --gpus all --rm --ipc=host colossalai bash
(返回顶端)
欢迎通过论坛,
Slack,
或微信加入 Colossal-AI 社区,与我们分享你的建议和问题。
参考社区的成功案例,如 BLOOM and Stable Diffusion 等,
无论是个人开发者,还是算力、数据、模型等可能合作方,都欢迎参与参与共建 Colossal-AI 社区,拥抱大模型时代!
您可通过以下方式联系或参与:
真诚感谢所有贡献者!
贡献者头像的展示顺序是随机的。
(返回顶端)
我们使用GitHub Actions来自动化大部分开发以及部署流程。如果想了解这些工作流是如何运行的,请查看这个文档.
Colossal-AI项目受一些相关的项目启发而成立,一些项目是我们的开发者的科研项目,另一些来自于其他组织的科研工作。我们希望. 我们希望在参考文献列表中列出这些令人称赞的项目,以向开源社区和研究项目致谢。
你可以通过以下格式引用这个项目。
@article{bian2021colossal,
title={Colossal-AI: A Unified Deep Learning System For Large-Scale Parallel Training},
author={Bian, Zhengda and Liu, Hongxin and Wang, Boxiang and Huang, Haichen and Li, Yongbin and Wang, Chuanrui and Cui, Fan and You, Yang},
journal={arXiv preprint arXiv:2110.14883},
year={2021}
}
Colossal-AI 已被 SC, AAAI, PPoPP, CVPR, ISC等顶级会议录取为官方教程。
(返回顶端)
Dear OpenI User
Thank you for your continuous support to the Openl Qizhi Community AI Collaboration Platform. In order to protect your usage rights and ensure network security, we updated the Openl Qizhi Community AI Collaboration Platform Usage Agreement in January 2024. The updated agreement specifies that users are prohibited from using intranet penetration tools. After you click "Agree and continue", you can continue to use our services. Thank you for your cooperation and understanding.
For more agreement content, please refer to the《Openl Qizhi Community AI Collaboration Platform Usage Agreement》