Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
xing-yiren
36ce4ef642
|
1 year ago | |
|---|---|---|
| 1.Transformer | 1 year ago | |
| 2.BERT | 1 year ago | |
| .gitignore | 1 year ago | |
| LICENSE | 1 year ago | |
| README.md | 1 year ago | |
README.md
昇思MindSpore技术公开课 - 大模型专题
《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域，注重大模型代码实践。课程中，你将从实践的角度出发，通过复现ChatGPT的实现过程，手把手地搭建一个简易版的“ChatGPT”，从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合，系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型（Large Language Model， LLM），旨在让学生深入了解大模型领域知识的同时，真正切实地参与到大模型相关的任务实践中来。
课程内容之外，我们同时开展大模型访谈活动，邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外，我们还提供了多样的社区活动与社区实习，让你能够巩固课程所学知识，深入拓展自己的能力，还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛，深入了解行业场景。
如果你想要学习大模型背后的原理，了解前沿技术；渴望自己动手构建自己的语言模型，那就请不要错过我们大模型技术公开课！4.15起，每周六14:00-15:30，我们在b站等候你的到来₍ᐢ..ᐢ₎♡
仓库地址
推荐使用OpenI平台，直接使用启智云脑算力执行公开课代码。
课程安排
| 课程事项 | |
|---|---|
| 开课日期 | (预计) 2023/4/15 - 2023/6/17 |
| 直播时间 | 每周六14：00 - 15：30 |
| 直播平台 | B站 |
| 课程回放 | B站 MindSpore官方账号 |
| 算力平台 | 启智OpenI平台 |
课前准备
| 任务 | 内容 |
|---|---|
| MindSpore的安装与使用 | 登录MindSpore官网，参考安装指南安装MindSpore，并学习入门教程 也可以通过应用实践案例，简单了解MindSpore端到端模型实践 |
| 启智社区算力使用 | 登录启智OpenI AI协作平台，参与小白训练营，学习入门教程 视频教程可参考量子位推文 - 单卡就能运行的AI画画模型，小白也能看懂的教程来了 |
| 课前预习 | 进入mindspore-courses/step_into_chatgpt 代码仓，浏览课程进行预习 |
| 关注B站直播间 | 担心错过直播的同学可以关注B站MindSpore官方账号 |
课程内容
| 日期 | 课程 | 课件归档 |
|---|---|---|
| 4/15 | Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder |
|
| 4/22 | BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT |
|
| 4/29 | GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task |
|
| 5/6 | 劳动节休息，劳逸结合才能更好的学习哦~ | |
| 5/13 | GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务 |
|
| 5/20 | MindSpore自动并行 | |
| 5/27 | 代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码 |
|
| 6/3 | Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning |
|
| 6/10 | Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts |
|
| 6/17 | RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程（基于人工反馈的评论生成模型） |
课后活动
昇思MindSpore社区活动入口：Link
No Description
Jupyter Notebook Python Shell
