You can not select more than 25 topics Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
zeizei 07e833e82b 更新 'README.md' 5 hours ago
CubeAI智立方 上传文件至 'CubeAI智立方' 1 year ago
HiStar简介 上传文件至 'HiStar简介' 1 year ago
OpenI启智开发协作平台 上传文件至 'OpenI启智开发协作平台' 1 year ago
OpenI启智章鱼介绍 上传文件至 'OpenI启智章鱼介绍' 1 year ago
TensorLayer简介 上传文件至 'TensorLayer简介' 1 year ago
Transformer In tensorlayer 上传文件至 'Transformer In tensorlayer' 11 months ago
半自动标注系统 上传文件至 '半自动标注系统' 11 months ago
大数据处理平台实践 上传文件至 '大数据处理平台实践' 1 year ago
预训练大模型的应用技术 预训练大模型的应用技术 11 months ago
鹏程·盘古简介 add video 1 year ago
README.md 更新 'README.md' 5 hours ago
logo-gif.gif 上传文件至 '' 4 months ago
logo.png 上传文件至 '' 5 months ago

README.md


EngineClub

鹏城实验室开源所EngineClub开源讲座项目

每周三晚上 18:40 以线上线下结合的方式开展网络智能相关的知识与技术交流
往期精彩分享请见以下内容,欢迎各位学术大咖及工程师们踊跃分享经验~ ✨✨


2022年8月10日-2022年第16场 总第38场技术讲座

讲座题目:鹏程·盘古SDK介绍及快速使用
分享人:易泽轩
分享人介绍:中国传媒大学通信与信息系统硕士毕业,现于鹏城实验室大模型研究子课题工作,负责大模型的在线推理部署和并行算法优化。联系邮箱:yizx@pcl.ac.cn
内容介绍:
为方便开发者快速体验鹏程·盘古系列模型,支持用户基于API去拓展应用案例,高效开发自定义模型。我们将鹏程·盘古开源模型、系列任务拓展与持续学习模型、多语言翻译模型,从语料数据预处理到模型训练、模型转换、推理部署整个流水线封装成开发工具包pcl_pangu。
本次分享将介绍鹏程·盘古SDK的设计方案和主要接口,用户在本地环境编写几行代码即可实现大模型的预训练/微调/推理,并介绍在openi云脑环境中快速使用SDK产出自定义模型流程。欢迎开发者们基于OpenI启智一站式开源服务环境进行体验测试和使用,为鹏程·盘古模型的可持续学习与应用生态发展做出贡献。
讲座PPT下载地址

2022年7月28日-2022年第15场 总第37场技术讲座

讲座题目:大规模预训练模型联邦效率优化研究分享
分享人:张嘉琪
分享人介绍:鹏城实验室网络智能部开源技术研究所成员,负责预训练模型联邦学习研发工作。
内容介绍:
BERT、GPT等大规模预训练模型今年来取得了巨大成功,成为AI领域的里程碑。但由于对数据规模及计算资源的高需求,预训练大模型目前仍面临小众、泛用性差的情形。针对数据资源问题,我们提出了基于联邦学习的大模型预训练思路,融合智算网络的分布式算力资源,可以集合不同参与方数据进行训练,并保护各参与方的数据隐私安全。同时我们提出了基于参数稀疏化的训练效果优化思路,在各参与方计算资源有限的情况下,结合云脑的计算资源优势,完成联邦大模型预训练,以满足实际应用场景的需求。
讲座PPT下载地址
视频播放地址

2022年7月13日-2022年第14场 总第36场技术讲座

讲座题目:鹏程·PanGu-Dialog:基于鹏程·盘古的大规模开放域对话生成模型
分享人:蒋芳清
分享人介绍:中南大学硕士研究生毕业,鹏城实验室网络智能部开源技术研究所成员,负责大模型、知识图谱、自然语言处理的研发工作。
内容介绍:
如果说自然语言处理事人工智能“皇冠上的明珠”,那么对话生成则是其最难、最核心的任务之一,是“明珠中最亮的那颗”。鹏城·PanGu-Dialog是以大数据和大模型为显著特征,充分利用PLM的知识和语言能力,基于预训练+持续微调的学习策略融合大规模普通文本和对话数据训练而成。在静态指标上达到了中文纯模型生成式对话SOTA水平,在知识性和信息量方面优势明显。
讲座PPT下载地址
视频播放地址

2022年7月6日-2022年第13场 总第35场技术讲座

讲座题目:星云(Nebula-I):面向云际协同的统一训练框架
分享人:侯永帅 博士
分享人介绍:哈尔滨工业大学计算机应用技术专业博士,现于鹏城实验室基础技术研究室,负责自然语言处理算法研发。联系邮箱:houysh@pcl.ac.cn
内容介绍:
当前人工智能模型的参数规模变得越来越大,使得单集群难以完成模型训练,已训练模型也难以给普通用户使用,如何使用跨地域集群、复用已训练模型进行目标模型训练是当前亟待解决的问题。
面向云际环境的深度学习统一训练框架“鹏城-百度·星云(Nebula-I)”,可以根据任务场景对训练策略、并行方式和通信模式进行整体优化,实现在低带宽环境下使用异地算力、复用已有模型来训练目标模型。本次分享主要介绍星云框架及其在NLP模型不同训练阶段的应用及效果。
讲座PPT下载地址
视频播放地址

2022年6月22日-2022年第12场 总第34场技术讲座

讲座题目:在线代码仓库的CI/CD方案介绍
分享人:闫超
分享人介绍:现在鹏城实验室网络智能部开源所,任启智社区研发团队工程师,负责启智平台后端开发和维护工作。邮箱:ychao_1983@sina.com
内容介绍:
CI/CD 的核心概念是持续集成、持续交付和持续部署。本质是开发运维中的自动化流程,可以有效保证代码质量,并提高开发和版本发布的效率。
本次分享将介绍主流在线代码仓库管理网站的CI/CD实现方案,以及在启智开源社区平台如何利用webhook的方式实现CI/CD,并展望在启智开源社区上如何实现ModelOps。
讲座PPT下载地址
视频播放地址

2022年6月8日-2022年第11场 总第33场技术讲座

讲座题目:虎鲸云际管理调度系统
分享人:李俊茂
分享人介绍:北京大学计算机应用技术专业硕士毕业,现在鹏城实验室网络智能部开源所,负责章鱼系统开发和维护工作。邮箱:hackmong@163.com
内容介绍:
智算网络将分散在各地智算中心链接在一起,形成统一的智算资源池。面对各个智算中心计算资源和系统软件的异构,我们需要解决智算网络中资源和作业的管理和调度问题。
虎鲸云际管理调度系统Grampus接入智算网络,并对上层应用提供作业操作和监控可视化等能力。本次技术分享将介绍虎鲸系统的设计和实现。
讲座PPT下载地址

2022年5月25日-2022年第10场 总第32场技术讲座

讲座题目1:启智章鱼项目软件质量保证
分享人:杨晓珍
分享人介绍:现在鹏城实验室网络智能部开源软件研究所,负责启智章鱼项目的软件质量保障工作。联系邮箱:yangxzh@pcl.ac.cn
内容介绍:
质量是软件生命力的重要源泉。软件质量保证是一个庞大的系统工程,涉及到技术、过程和人员等综合因素。本次分享将介绍软件质量保证的一些基本概念和启智章鱼项目如何剪裁软件开发测试过程、规范软件质量保证流程。
视频下载地址
B站视频观看地址
讲座PPT下载地址

讲座题目2:启智章鱼开发测试流程介绍
分享人:李维
分享人介绍:现在鹏城实验室网络智能部开源软件研究所,负责启智章鱼项目的软件质量保障工作。联系邮箱:liw03@pcl.ac.cn
内容介绍:
软件测试是软件质量提高的关键环节之一,本次分享重点介绍启智章鱼项目在启智开源社区平台上的软件测试和发布流程。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年4月27日-2022年第9场 总第31场技术讲座

讲座题目:一站式体验启智章鱼AI开源开发平台
分享人:廖伟胜
分享人介绍:华南理工大学硕士研究生,现于鹏城实验室开源系统研究室,负责启智章鱼AI开源开发平台的系统研发、设计。 联系邮箱:liaowsh@pcl.ac.cn
内容介绍:
新版启智章鱼AI开源开发平台为用户提供一站式AI、HPC计算场景下的开发、训练、部署功能,打通AI计算全链路。
在用户端,提供了数据集、算法、镜像、模型与算力等资源的调度管理与使用,方便用户一站式构建计算环境,完成计算任务。
在管理端,为管理员提供了集群资源、各用户任务管理与监控等功能,方便管理员对章鱼系统进行操作与分析。
本次分享将侧重讲解启智章鱼的整体架构及微服务部署方案的设计要点,并实例展示如何使用启智章鱼平台来实现【开发->训练->部署】的AI流水线全流程。
视频下载地址
B站视频观看地址

2022年4月20日-2022年第8场 总第30场技术讲座

讲座题目:鹏城·mPanGu-α-53 以中文为中心一带一路多语言机器翻译研究进展
分享人:陶恒韬
分享人介绍:武汉邮电科学研究院信号与信息处理硕士,现于鹏城实验室基础技术研究室,负责大模型的并行训练和优化、多语言大模型、可持续学习等。联系邮箱:taoht@pcl.ac.cn
内容介绍:
以鹏城·PanGu α为基础验证Decoder生成式语言模型在多语言翻译上的有效性,构建2TB鹏城53种语言的多语言高质量单双语数据集、2.6B多语言预训练大模型、2.6B一带一路多语言机器翻译大模型,支持单模型53种语言任意两语种间的互译,对比WMT2021多语言任务榜单No.1已覆盖的50种语言“中<->外”100个翻译方向平均BLEU值提升0.354,对比以英文为中心主流M2M2-100、mRASP2、ALM多语言模型“英<->外”翻译方向论文结果BLEU值接近。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年4月13日-2022年第7场 总第29场技术讲座

讲座题目:异质图神经网络开源算法库
分享人:赵天宇
分享人介绍:北京邮电大学硕士研究生,GAMMA Lab成员,负责基于统一深度学习编程框架的图神经网络算法库的开发。联系邮箱:tyzhao@bupt.edu.cn
内容介绍:
异质图神经网络开源算法库(OpenHGNN)基于PyTorch与DGL,集成了大量异质图神经网络模型,旨在为社区提供一键式运行的基线模型,还提供了标准的训练评测流程、用户定制化组件、异质图神经网络设计空间、超参数优化、排行榜等功能。本次分享主要包含图神经网络、现有图神经网络开源框架、OpenHGNN的使用介绍与设计思路、异质图神经网络的设计空间等。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年4月6日-2022年第6场 总第28场技术讲座

讲座题目:多语言交流平台可持续构造流水线
分享人:李文龙
分享人介绍:现在鹏城实验室网络智能部开源所,负责章鱼系统开发和维护工作。联系邮箱:liwl@pcl.ac.cn
内容介绍:
搭建以中文为核心的多语言交流平台,研究人机协同与可持续构造演化技术在大规模数据采集与处理、多语言模型构造与演化、大模型部署等环节的落地适配。开发友好的多语言交流界面,构建大规模数据处理平台,提供大规模语料的预处理功能,为多语言模型的高质量持续训练与演化提供资源;研究基于大规模预训练语言模型的机器翻译技术,采用可持续构造演化技术在词表演进、大模型结构可持续调整、可持续增强训练、语言模型新知识嵌入等方面的应用适配。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年3月30日-2022年第5场 总第27场技术讲座

讲座题目:启智AI协作平台产品设计工作介绍
分享人:汤丽君
分享人介绍:现在鹏城实验室网络智能研究部,负责启智社区AI协作平台的产品工作。联系邮箱:tanglj@pcl.ac.cn
内容介绍:
启智AI协作平台是一个在线Web应用,旨在为人工智能算法、模型开发提供在线协同工作环境,提供了代码托管、AI流水线、数据集管理与共享、模型管理、免费云端算力资源支持(GPU NPU)、共享镜像等功能。本次分享主要涵盖启智AI协作平台的产品设计工作,包括平台的需求分析、用户分析、运营数据分析、行业分析等内容。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年3月9日-2022年第4场 总第26场技术讲座

讲座题目:统一存储Ceph的实现原理简介
分享人:耿林
分享人介绍:现在鹏城实验室网络智能部开源所,参与海胆项目(统一数据存储平台)和智算网络的开发。联系邮箱:gengl@pcl.ac.cn
内容介绍:
Ceph是目前非常流行的分布式存储,其在一个统一的系统中提供对象、块和文件存储,Ceph的架构设计和实现原理很值得学习和借鉴,由于目前工作参与了海胆项目(统一数据存储平台,为了解决数据集的加载慢、接口多样、管理繁琐等痛点),该项目也涉及到数据集在S3云服务以及各种异构分中心环境的存储问题,所以近期对Ceph项目进行了调研并梳理了其实现的一些原理,期望这种设计思想可以应用于后续海胆项目开发中
讲座PPT下载地址

2022年3月2日-2022年第3场 总第25场技术讲座

讲座题目:基于transformer大模型的压缩思路和实验
分享人:易泽轩
分享人介绍:中国传媒大学通信与信息系统硕士毕业,现于鹏城实验室大模型研究子课题工作,负责大模型的在线推理部署和并行算法优化。联系邮箱:yizx@pcl.ac.cn
内容介绍:
基于transformer的预训练模型在大量的NLP任务上取得了SOTA的结果,然而这些模型往往参数规模巨大,难以部署在资源有限的场景。本次分享主要侧重于对transformer的剪枝方法和蒸馏技术介绍,提供压缩模型的多种思路。我们在鹏程·盘古26亿模型上进行了微调的动态剪枝实验,在部分下游任务上,剪枝率达到80%的条件下,精度仍保持甚至高于直接微调的结果。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年2月23日-2022年第2场 总第24场技术讲座

讲座题目:启智AI协作平台——异构算力接入技术
分享人:刘敏
分享人介绍:OpenI启智社区AI协作平台研发工程师。个人邮箱:lium@pcl.ac.cn。
内容介绍:
启智AI协作平台提供了基于云脑1 GPU集群和云脑2 NPU集群的异构算力接入,本次技术分享将和大家分享该技术是如何实现的,以及相比于集群原有算力平台,启智平台通过技术研发为用户提供了哪些便捷性。本次分享也将帮助AI开发者更好地了解如何使用启智平台提供的算力资源。
视频下载地址
B站视频观看地址
讲座PPT下载地址

2022年2月16日-2022年第1场 总第23场技术讲座

讲座1题目:智算网络系统层工作报告
分享人:刘瑾
分享人介绍:鹏城实验室开源所网络智能集群系统软件子课题成员,负责开源章鱼系统开发和维护,联系方式:liuj@pcl.ac.cn
内容介绍:
智算网络将分散在各地智算中心链接在一起,从而形成统一的智算资源池。加入智算网络的各智算中心贡献了算力,同时也共享算力,在面对大型计算任务时,有效解决算力需求。目前智算网络已聚集了各类智算中心的加入,其中包括:鹏城云脑一号,鹏城云脑儿号,北大人工智能集群系统,合肥类脑智能开放平台,武汉华为计算中心集群,西安华为计算中心集群等,同时还有来自其他地域的算力中心正在接入中。未来将实现更大的算力聚合。
由于本次分享内容保密性高,没有进行视频直播
视频下载地址

讲座2题目:智算网络——协同计算
分享人:张艳
分享人介绍:大模型技术组,目前主要研究智算网络下,数据不出本地,模型参数可安全交换的协同训练的场景。尤其是对异构集群、异构框架下的协同训练场景。个人邮箱:zhangy03@pcl.ac.cn。
内容介绍:
协同训练是在确保各机构数据隐私的前提下,数据所有方利用本地算力进行协同学习,学习过程中彼此之间不交换原始数据,即可达到甚至优于将数据集中起来训练后的模型性能。云际学习平台上一个分布式学习平台,通过分布式人工智能训练机制实现分布式学习,可以有效解决数据样本数量少、模型算法特例多、数据隐私等问题。研究的核心是在智算网络算力、存储以及通信资源条件下,研究如何提高分布式协同计算的效率与模型精度,包括整体架构、通信效率,融合策略,成本模型等技术与标准,以及在具体场景下的应用赋能。
由于本次分享内容保密性高,没有进行视频直播
视频下载地址

2021年12月15日-第22场技术讲座

讲座题目:基于多方安全计算技术的隐私保护机器学习介绍
分享人:罗景龙
分享人介绍:鹏城实验室云际联邦智能计算系统课题成员,负责多方安全联邦学习中间件HiStar的算法优化创新和开发维护的相关工作;研究兴趣为机器学习中的隐私保护、联邦学习。个人邮箱:luojl@pcl.ac.cn。
内容介绍:
当前人们在进行机器学习尤其是深度学习任务时发现必须面临的一个关键问题是需要更多的数据来获得更高的模型性能。但是这些额外数据经常由多方持有,因法律监管、商业利益等原因,人们无法直接共享这些敏感数据,但是大家还都希望从性能更好的模型中获益。我们将能够解决这一需求的机器学习方法称为“隐私保护机器学习”。在“隐私保护机器学习”的诸多技术路线中,密码学多方安全计算(Multi-party Computation, MPC)技术,因其理论上的可证明安全受到学术界和工业界的广泛关注。本次分享将为大家介绍基于MPC技术的隐私保护机器学习系统的整体框架以及具体的隐私保护算法设计的相关内容。
由于本次分享现场设备问题,没有进行视频直播
讲座PPT下载地址

2021年12月8日-第21场技术讲座

讲座题目:联邦学习概述与开源框架FedLab介绍
分享人:曾趸
分享人介绍:电子科技大学计算机科学与技术博士研究生,研究方向为联邦学习分布式优化与通信压缩。联系方式:zengdun@std.uestc.edu.cn
内容介绍:
由谷歌最先提出的联邦学习近来成为机器学习研究中一个迅速发展的领域。联邦学习的目标是在分布式机器学习中保护个体数据隐私,尤其是金融领域、智能医疗以及边缘计算领域。不同于传统的数据中心式的分布式机器学习,联邦学习中的参与者利用本地数据训练本地模型,然后利用具体的聚合策略结合从其他参与者学习到的知识,来合作生成最终的模型。这种学习方式避免了直接分享数据的行为。
 为了减轻研究者实现联邦学习算法的负担,我们开发了灵活的轻量级联邦学习框架FedLab。FedLab为联邦学习的模拟实验提供了必要的模块,包括通信、压缩、模型优化、数据切分,及其他功能性模块。本次分享主要介绍联邦学习在模型优化和通信压缩等方面的挑战,以及联邦学习开源框架FedLab是如何支持研究者快速实现idea验证。
视频地址
视频下载地址
讲座PPT下载地址

如果这项工作对你有帮助,请引用以下论文:

@article{smile2021fedlab,  
    title={FedLab: A Flexible Federated Learning Framework},  
    author={Dun Zeng, Siqi Liang, Xiangjing Hu and Zenglin Xu},  
    journal={arXiv preprint arXiv:2107.11621},  
    year={2021}
}

2021年12月1日-第20场技术讲座

讲座题目:神经网络剪枝方法概述与基于搜索的混合剪枝方法介绍
分享人:吴宇航
分享人介绍:鹏城实验室开源所开源算法研究室成员,负责AutoML与神经网络模型压缩算法的开发。联系方式:derekwu2020@stu.xmu.edu.cn
内容介绍:
模型剪枝是神经网络模型压缩方向中的一类方法,其主要目的是减少神经网络的运算量消耗与内存占用。模型剪枝根据其操作的粒度可以分为五个层级,分别是权重级的稀疏和模式剪枝,卷积核级的连接性剪枝,通道级的1:n剪枝和通道剪枝。从流程上来说经典的剪枝方法一般具有三个部分,预训练,剪枝和微调。也有一些方法将三者中的某两个甚至三者融合。
以往的剪枝方法,大都采用一种重要性标准,然而cv模型的不同层往往具有不同分布,此时过去的方法就会出现一定程度上的错剪误剪,造成性能下降。而混合剪枝方法则针对这一问题,采用多种剪枝标准混合的方法,在每层采用不同标准进行剪枝,以此达到在更高压缩率的基础上维持更好的精度。
视频地址
视频下载地址
讲座PPT下载地址

2021年11月24日-第19场技术讲座

讲座题目:非自回归机器翻译相关研究进展
分享人:耿昕伟博士
分享人介绍:哈尔滨工业大学计算机科学与技术博士研究生,研究方向为自然语言处理,自回归/非自回归机器翻译。现在鹏城实验室开源所网络智能开源软件体系与平台统一深度学习编程框架及算法库子课题工作,“丝路”翻译系统的开发人员。联系邮箱:xwgeng@ir.hit.edu.cn
内容介绍:
基于编码器-解码器的神经机器翻译与统计机器翻译相比在多个翻译任务上已经取得显著的成果,其底层网络结构经历从循环神经网络(RNN)、卷积神经网络(CNN)到自注意力网络(SAN)的变迁。虽然从底层结构、训练准则以及数据增强多个方面对网络架构进行改进从而提升翻译质量,但是由于其自回归翻译的特性导致翻译的速度受到制约。非自回归机器翻译不需要建模上下文的依存关系从而可以并行预测所有的目标语言词汇从而显著提升翻译的速度,但是其翻译的质量与自回归翻译存在差距。本次分享将首先对传统的自回归模型进行回顾,然后介绍非自回归机器翻译的基本架构以及多种代表性的非自回归的改进工作。
视频地址
视频下载地址
讲座PPT下载地址

2021年11月17日-第18场技术讲座

讲座题目:多视角多维度视觉算法库
项目1: EllipseNet: Anchor-Free Ellipse Detection for Automatic Cardiac Biometrics in Fetal Echocardiography
项目2: Towards Unbiased COVID-19 Lesion Localisation and Segmentation via Weakly Supervised Learning
分享人:庄嘉鑫
分享人介绍:中山大学计算机技术专业硕士,现于鹏城实验室网络智能研究部,负责计算机视觉算法相关工作。联系邮箱:lincolnz9511@gmail.com
内容介绍:
多视角多维度视觉算法库从四维时空(3D+Time)数据分析出发,实现标准切面导航、病灶分割、目标检测、自动测量等基本功能。本算法库将以时序心脏影像分析作为应用示范,覆盖多视角2D图像、3D影像以及点云等模态数据的智能分析方法。鉴于精细的标注数据较难获得,及人工标注可能存在误差,将从弱监督、自监督学习的复杂多视角建模。该框架争取两年内覆盖不少于20个算法的多种编程框架,目前正在根据需求逐步增加SOTA算法。本次分享将介绍发表在医学影像会议上的椭圆检测和心脏自动测量算法、弱监督定位和分割算法,以及相关的自监督学习算法。
视频地址
视频下载地址
讲座PPT下载地址

2021年11月10日-第17场技术讲座

讲座题目:基于字形的文本表示方法
分享人:侯永帅博士
分享人介绍:哈尔滨工业大学计算机应用技术专业博士,现于鹏城实验室基础技术研究室,负责自然语言处理算法研发。联系邮箱:houysh@pcl.ac.cn
内容介绍:
目前针对中文的自然语言处理方法大多是以字符ID形式作为输入,通过字符的上下文来学习字符的语义表示,很少考虑中文字符的字形特性,没有很好利用汉字字形蕴含的语义信息。本次分享介绍一种基于汉字字形特征的文本表示方法以及基于该方法的预训练语言模型和翻译模型的实现。通过在9个NLU任务上对预训练语言模型的实验验证和在6个不同语种的翻译模型的实验验证,使用字形特征可有效提升模型在目标任务上的性能。
视频地址
视频下载地址
讲座PPT下载地址

2021年11月3日-第16场技术讲座

讲座题目:MindSpore 并行训练技术
分享人:陶恒韬
分享人介绍:武汉邮电科学研究院信号与信息处理硕士,现于鹏城实验室基础技术研究室,负责大模型的并行训练和优化、多语言大模型、可持续学习等。联系邮箱:taoht@pcl.ac.cn
内容介绍:
MindSpore深度学习框架作为全国产软硬件协同生态中重要的一环,为“鹏城云脑Ⅱ”的使用和发挥效能提供了有力支撑。本次分享以鹏程盘古α的分布式并行训练经验为基础探讨MindSpore支持的并行训练解决方案,包括数据并行、算子级模型并行、Pipeline并行、优化器并行等并行训练技术,以及梯度累积、混合精度训练、图算融合、异构并行等性能优化方案,结合在盘古α和Transformer模型上的混合并行实现和效率优化,为模型训练效率和性能的提升提供思路和借鉴。
视频地址
视频下载地址
讲座PPT下载地址

2021年10月27日-第15场技术讲座

讲座题目:大模型压缩方法在云脑2的实现
分享人:易泽轩
分享人介绍:中国传媒大学通信与信息系统硕士毕业,现于鹏城实验室大模型研究子课题工作,负责大模型的在线推理部署和并行算法优化。联系邮箱:yizx@pcl.ac.cn
内容介绍:
炼大模型的时代,如GPT-3、AlphaFold等超大规模模型的规模迅速增长,大模型成功的背后是庞大数据和算力的支持。很多研究工作者和企业没有充足的算力来部署巨额参数量模型,急需将大模型压缩,得到精度相当,部署条件相对简易的压缩模型,以加速模型的应用落地。本次分享将介绍大规模预训练语言模型压缩相关方法,包括量化、剪枝、蒸馏等,以及在云脑2压缩大模型的工程实现,为得到易于部署的压缩模型提供思路和技术方案。
视频地址
视频下载地址
讲座PPT下载地址

2021年10月22日-第14场技术讲座

讲座题目:容器云平台调度器方案简介
分享人:李俊茂
分享人介绍:北京大学计算机应用技术专业硕士毕业,现在鹏城实验室网络智能部开源所,负责章鱼系统开发和维护工作。
内容介绍:
容器云平台对任务调度有各类限制,譬如某些服务必须在业务独享的机器上运行,或者从灾备的角度考虑尽量把服务调度到不同机器。调度器通过结合节点资源、负载情况、数据位置等各种因素进行调度判断,确保在满足场景需求的同时将任务分配到最优节点。本次分享主要介绍一些知名的基于Kubernetes的开源调度器方案。
视频地址
视频下载地址
讲座PPT下载地址

2021年10月13日-第13场技术讲座

讲座题目:鹏程·通言—基于稀疏激活与增量训练的多语翻译模型
分享人:张晗
分享人介绍:鹏城实验室-哈尔滨工业大学联培博士生,网络智能部门开源所大模型子课题组,研究方向为自然语言处理中的机器翻译与语言模型的预训练技术。联系方式: zhangh04@pcl.ac.cn
内容介绍:
“通言"多语言机器翻译模型旨在为“一带一路”建设提供语言服务支撑,让“语言通”成为一带一路”五通的基础与依托。目前"通言"模型支持包括中文和十七种“一带一路”语言的任意方向互译,平均翻译性能相比标准transformer模型提升19% (BLEU值)。“通言”模型预训练采用了更加节约能耗的增量式方法,模型结构采用基于稀疏激活的混合专家策略,参数量达到132亿,其推理速度与十分之一参数量的模型相当。“通言”还提供新语言的可持续学习方案,学习新语言时对旧语言翻译的遗忘率控制在1-2%,在一定程度克服了“灾难性遗忘”的问题。
视频地址
视频下载地址
讲座PPT下载地址

2021年9月29日-第12场技术讲座

讲座题目:预训练大模型并行训练加速技术
分享人:张艳
分享人介绍:深圳大学信号与信息处理硕士毕业,现在鹏城实验室开源所大模型技术研究室,主要负责预训练大模型并行训练技术的研究。联系邮箱:zhangy03@pcl.ac.cn
内容介绍:
目前制约我们高效训练大模型是硬件上的一些限制,比如计算资源、网络通信、存储资源等,本次分享从数据并行、模型并行、pipeline并行、zero、分布式矩阵乘法等方面介绍大模型训练一些并行加速的技术。
视频地址
视频下载地址
讲座PPT下载地址

2021年9月8日-第11场技术讲座

讲座题目:预训练大模型的应用技术
分享人:蒋芳清
分享人介绍:中南大学硕士研究生毕业,鹏城实验室网络智能部开源技术研究所成员,负责大模型、知识图谱、自然语言处理的研发工作。
内容介绍:
盘古系列大模型是在超大规模数据上训练预训练模型,具备强大的基础能力。基于模型应用的目标,整理了盘古系列大模型的应用技术框架,从算法到应用提供baseline和示范应用,形成了盘古系列大模型应用的技术生态。本次分享从技术层面介绍盘古大模型的应用方法以及相应的baseline和示范应用,提高模型应用者的使用效率。
视频地址
视频下载地址
讲座PPT下载地址

2021年9月1日-第10场技术讲座

讲座题目:TensorLayer中Transformer组件实现简介
分享人:韩佳容
分享人介绍:国防科技大学模式识别与智能系统专业硕士毕业。鹏城实验室网络智能部开源技术研究所成员,负责统一深度学习编程框架开发。邮箱:hanjr@pcl.ac.cn
内容介绍:
Transformer是一个完全基于注意力机制的编解码器模型,在任务表现、并行能力和易于训练性方面都有大幅的提高。本次分享以transformer的算法思想与模型结构为切入点,介绍transformer组件在统一编程框架tensorlayer中的实现方式,分享在不同后端提供相关组件的灵活调用方法,使用组件有助于降低语言模型编写重复工作量,提高开发效率。
视频地址
视频下载地址
讲座PPT下载地址

2021年8月25日-第9场技术讲座

讲座题目:半自动标注系统介绍
分享人:邹安平
分享人介绍:武汉大学计算机学院软件理论专业硕士毕业,鹏程实验室网络智能开源所开源生态与技术室成员,负责标注系统及启智社区后端开发,邮箱:zouap@pcl.ac.cn
内容介绍:
想要模型效果好,数据质量是关键,而好的数据都是通过标注系统标注得来的,本次分享主要介绍鹏城实验室自研的半自动标注系统的架构及相关功能,包括模型管理,自动标注,人工标注,视频标注,超大图像标注,模型重训等,本标注系统已经在Github及Ihub上开源,有了一定的使用用户,同时调研了一些同行的一些标注软件,在此基础上提出后续标注系统的发展方向。
讲座PPT下载地址

2021年8月18日-第八场技术讲座

讲座题目:自动并行技术简介
分享人:王进
分享人介绍:北京邮电大学信息与通信工程专业硕士毕业,鹏城实验室网络智能部开源所-AI大模型技术子课题成员,负责深度学习模型高效分布式训练方向的研发工作。邮箱:wangj05@pcl.ac.cn
内容介绍:
自动并行技术研究如何将深度学习算法在AI集群上实现高效的自动化分布式模型训练。本次分享从分布式深度学习综述出发,介绍包括算法逻辑、并行逻辑、通信模式、网络拓扑等在内的整体框架,分享现有自动并行框架的技术架构、性能对比,以及针对并行搜索空间建模、搜索性能提升等问题的分析思考。
视频地址
视频下载地址
讲座PPT下载地址

2021年8月11日-第七场技术讲座

讲座题目:OpenI启智社区活动策划
分享人:邓清
分享人介绍:哈尔滨工业大学硕士毕业,现在鹏城实验室网络智能部开源所-社区运营子课题,负责OpenI启智社区运营工作。联系邮箱:dengq@pcl.ac.cn
内容介绍:
本次主要介绍OpenI启智社区近年各类型开源活动的发展情况与开源成果,分享启智社区运营团队在探索创新性开源生态建设模式过程中的各种经验与感悟,就未来启智社区各项开源活动的策划与各位开发者进行讨论。
视频地址
视频下载地址
讲座PPT下载地址

讲座题目:CubeAI简介
分享人:联通智立方专家
内容介绍:
CubeAI智立方是中国联通研究院自主研发的集AI模型自动化服务封装、发布、共享、部署和能力开放等功能于一体的开源AI算能服务平台,其核心作用在于打通AI模型开发至实际生产应用之间的壁垒,加速AI创新和应用进程,促进AI应用从设计、开发直到部署、运营整个生命周期的自动化快速迭代和演进。
视频地址
视频下载地址
讲座PPT下载地址

2021年8月4日-第六场技术讲座

讲座题目:大数据处理平台实践
分享人:邓凌风
分享人介绍:武汉大学计算机软件与理论专业硕士毕业,现在鹏城实验室网络智能部开源所,负责大数据处理平台的研发工作。联系邮箱:denglf@pcl.ac.cn
内容介绍:
启智数据处理平台是启智社区面向AI开发者提供的大数据分析和处理平台,平台基于Spark、Hdfs、ElasticSearch等开源组件,结合人工智能领域的数据处理经验搭建,研发AI数据处理工具和数据自动处理系统,致力于解决AI训练的大规模训练数据分析和处理问题。平台为AI开发者提供分布式计算资源调度、分布式计算框架和AI相关的高效数据处理工具集,并抽象通用流程构建全流程数据处理架构,帮助AI开发者在不了解分布式编程架构的条件下也能利用平台进行大规模数据的高效处理和分析,为AI训练提供高质量的训练数据集。平台成功支持鹏程·盘古的多个TB级大数据处理任务,并在内部不断孵化发展中。
视频地址
视频下载地址
讲座PPT下载地址

2021年7月29日-第五场技术讲座

讲座题目:鹏程·盘古简介
分享人:颜达森
分享人介绍:深圳大学计算机科学与技术专业硕士毕业,现在鹏城实验室网络智能部开源所,负责大模型的开发和大模型算法库的研发工作。邮箱:yands@pcl.ac.cn
内容介绍:
鹏程·盘古是业界首个2000亿超大参数中文预训练模型。由鹏城实验室联合有关单位技术团队组建的「盘古α」联合攻关团队,首次基于“鹏城云脑Ⅱ”和MindSpore框架的自动混合并行模式实现在2048卡算力集群上的大规模分布式训练,训练出业界首个2000亿超大参数中文预训练模型“鹏程·盘古”。模型在16个下游任务中大部分指标优于SOTA模型,其中零样本学习任务11个任务领先,单样本学习任务12个任务领先,小样本学习任务13个任务领先。代码、模型以及在线体验服务已经在OpenI 启智社区全部开源开放。
视频地址
视频下载地址
讲座PPT下载地址

2021年7月27日-第四场技术讲座

讲座题目:OpenI启智章鱼简介
分享人:刘瑾
分享人介绍: 鹏城实验室开源所网络智能集群系统软件子课题成员,负责开源章鱼系统开发和维护,联系方式:liuj@pcl.ac.cn
内容介绍:  
启智章鱼项目是一款开源面向 AI 模型开发的集群管理平台,面向 AI 模型生产的生命周期,提供了数据集管理、镜像管理、算法管理、训练、部署等功能,方便用户一站式构建AI算法,另外平台还提出了“工作空间”概念,满足不同用户群体的资源使用与管理述求,方便平台管理者更好的管理资源集群。同时结合了一些在大规模生产环境中表现良好的成熟设计,主要为提升学术研究效率,复现学术研究成果而量身打造。
视频地址
视频下载地址
讲座PPT下载地址

2021年7月23日-第三场技术讲座

讲座题目:启智OpenI开发协作平台
分享人:徐春香博士
分享人介绍: 北京大学信息科学技术学院博士毕业,现在鹏城实验室开源所开源协同与生态技术研究室,负责启智OpenI协作开发平台的研发工作。联系邮箱:xuchx@pcl.ac.cn
内容介绍:  
OpenI开发协作平台是启智社区面向AI开发者提供的一站式AI开发协作平台,提供了代码托管、数据集管理、基于异构计算资源的模型开发等功能。
代码托管基于广泛使用的git技术,方便开发者进行代码版本管理;数据集管理提供了大文件的管理和共享;同时面向底层异构的计算资源,基于Web提供了统一的入口,支持GPU和华为ASCEND NPU芯片上的模型调试、训练、评测和推理任务。
视频地址
视频下载地址
讲座PPT下载地址

2021年7月20日-第二场技术讲座

讲座题目:联邦学习中间件HiStar简介
分享人:秦爽
分享人介绍: 清华大学电子与通信工程硕士毕业,现在鹏城实验室开源所云际联邦子课题工作,负责云际联邦学习框架开发和维护。联系邮箱:qinsh@pcl.ac.cn
分享内容介绍:
HiStar是由鹏城实验室联邦学习中间件研发团队自主研发的鹏城云脑联邦深度学习中间件,致力于解决人工智能领域面临的数据孤岛以及隐私安全问题,以安全聚合、多方安全计算等多种主流的隐私保护策略为技术手段,提供非侵入式、适用于端边云架构、性能-安全可综合调控、多场景适用的深度学习隐私保护方案。通过HiStar联邦学习中间件,开发人员只需要在原有深度学习代码中添加三行代码,便可以将其转换为可以实现支持多方协同训练且对训练数据进行有效保护的联邦学习训练模型代码。
视频地址
视频下载地址
讲座PPT下载地址

2021年7月16日-首场技术讲座

讲座题目:TensorLayer简介
分享人:赖铖
分享人介绍:鹏城实验室开源所统一编程框架子课题成员,负责兼容多种深度学习框架的深度学习统一编程库的开发和维护,联系方式:laich@pcl.ac.cn
分享内容介绍:
TensorLayer是一款兼容多种深度学习框架后端的深度学习库,支持TensorFlow、MindSpore、PaddlePaddle为计算引擎。TensorLayer提供了数据处理、模型构建、模型训练等深度学习全流程API,同一套代码可以通过一行代码设置后端从切换不同的计算引擎。在工程开发中,有效减少深度学习框架之间算法迁移需要重构代码的繁琐工作。
视频地址
视频下载地址
讲座PPT下载地址

如果这项工作对你有帮助,请引用以下论文

@inproceedings{tensorlayer2021,
  title={Tensorlayer 3.0: A Deep Learning Library Compatible With Multiple Backends},
  author={Lai, Cheng and Han, Jiarong and Dong, Hao},
  booktitle={2021 IEEE International Conference on Multimedia \& Expo Workshops (ICMEW)},
  pages={1--3},
  year={2021},
  organization={IEEE}
}

简介

启智社区开源技术讲座及分享

other