昇思MindSpore技术公开课 - 大模型专题
《昇思MindSpore技术公开课》为昇思MindSpore与启智社区联合推出的系列课程。本次专题课程聚焦大模型领域,注重大模型代码实践。课程中,你将从实践的角度出发,通过复现ChatGPT的实现过程,手把手地搭建一个简易版的“ChatGPT”,从而深入了解大型语言模型的构建和原理。本课程将理论与代码进行融合,系统地逐步揭秘ChatGPT、GPT-4背后支持的大型语言类模型(Large Language Model, LLM),旨在让学生深入了解大模型领域知识的同时,真正切实地参与到大模型相关的任务实践中来。
课程内容之外,我们同时开展大模型访谈活动,邀请业界专家讨论大型语言模型领域的技术趋势与行业应用。此外,我们还提供了多样的社区活动与社区实习,让你能够巩固课程所学知识,深入拓展自己的能力,还可以获得实践证书。感兴趣的同学还可以参加昇腾AI创新大赛的大模型比赛,深入了解行业场景。
如果你想要学习大模型背后的原理,了解前沿技术;渴望自己动手构建自己的语言模型,那就请不要错过我们大模型技术公开课!4.15起,每周六14:00-15:30,我们在b站等候你的到来₍ᐢ..ᐢ₎♡
仓库地址
推荐使用OpenI平台,直接使用启智云脑算力执行公开课代码。
课程安排
课前准备
课程内容
日期 |
课程 |
课件归档 |
4/15 |
Transformer * Multi-Head Attention * Transformer结构 * 输入编码 * Encoder * Decoder
|
|
4/22 |
BERT * BERT预训练 * BERT Finetune * 使用MindSpore写一个数据并行的BERT
|
|
4/29 |
GPT * Unsupervised Language Modelling * Supervised Fine-Tuning * 使用GPT Finetune一个Task
|
|
5/6 |
劳动节休息,劳逸结合才能更好的学习哦~ |
|
5/13 |
GPT2 * Task Conditioning * Zero Shot Learning and Zero Shot Task Transfer * 使用GPT2训练一个few shot任务
|
|
5/20 |
MindSpore自动并行 |
|
5/27 |
代码预训练 * CodeBERT * CodeX、Copilot * CodeGeeX * 使用CodeGeeX生成代码
|
|
6/3 |
Prompt Tuning * 人工定义Prompt * P-tuning * 使用BERT/GPT2实现Prompt Tuning
|
|
6/10 |
Instruct Tuning * Let's think step by step * InstructGPT * Chain-of-thoughts
|
|
6/17 |
RLHF * 强化学习与PPO算法 * InstructGPT/ChatGPT中的RLHF * 动手训练一个Reward模型 * 使用GPT2实现ChatGPT全流程(基于人工反馈的评论生成模型)
|
|
课后活动
昇思MindSpore社区活动入口:Link