海星HiStar：联邦深度学习中间件 v0.1

HiStar是由鹏城实验室人工智能研究中心-联邦学习中间件研发团队自主研发的联邦深度学习中间件，致力于解决人工智能领域面临的数据孤岛以及隐私安全问题，以安全聚合、多方安全计算等多种主流的隐私保护策略为技术手段，提供非侵入式、适用于端边云架构、性能-安全可综合调控、多场景适用的深度学习隐私保护方案。

非侵入式： HiStar在 Pytorch深度学习框架上，提供API接口对已有函数或实体进行封装，实现机器学习中数据及模型的隐私保护策略以及联邦通信机制，而无需对算法内容进行侵入式的修改。

适用于端-边-云应用架构： HiStar以“预训练+微调”为应用范式，重点支持以鹏城云脑为核心的联邦学习应用场景：以“云”为主导进行大规模神经网络预训练；以“云”及“边”为参与方进行联邦微调；通过“端边云”协同进行联邦推理。

性能-安全综合调控： HiStar融合安全聚合、秘密分享等隐私保护策略，实现多种隐私保护手段，并对性能及安全综合考量与评测，可基于不同业务场景灵活选择合适的安全技术。

多场景适用： 针对多种不同的机器学习使用场景进行隐私保护方案设计，既能满足数据横向切分/纵向切分的训练与推理，也可满足集中式/分布式模型的训练与推理。

当前版本HiStar集成了安全聚合技术，提供了其在知识产权交易推荐和车辆重识别两个场景中的具体应用的介绍以及演示示例。同时还提供了以上两个场景下实现多方隐私保护协同训练的相关可测试指标，如模型性能、计算复杂度、通信复杂度，以使深度学习算法研发人员可以快速利用HiStar进行场景部署、模型使用以及指标评测。

通过使用HiStar，深度学习算法的开发人员只需要在原有深度学习代码中构建模型前添加

import HiStar
client = HiStar.ClientWorker(None, host, port, rank=rank, client_num=client_num, device=device)

在优化器后添加

opt = HiStar.FedOptim(opt, client)

三行代码，便可以将其转换为可以实现支持多方协同训练且对训练数据进行有效保护的代码，而不需要具有隐私和安全领域的专业知识。

目录

基于安全聚合的联邦学习

简单示例

基于图神经网络的知识产权交易联邦推荐

智慧交通中车辆重识别联邦学习算法

加入微信交流群

安装

环境依赖

• python>=3.7

• torch>=1.4.0

从源码安装

git clone https://git.openi.org.cn/PCL-Federated.Learning.Middleware/HiStar.git
cd HiStar 
python setup.py install

下一步工作计划

HiStar v0.1基于安全聚合技术实现数据横向切分场景下的联邦训练，基于噪声保护实现数据纵向切分场景下的联邦预测。下一步计划进行以下改进：

隐私保护深度学习算法的深化及多样化： 1）对当前已集成的安全聚合算法进行通信延迟优化，考虑联邦微调的参与方掉线场景下的算法优化；2）结合秘密分享、混淆电路等隐私保护技术手段研发新的隐私保护机器学习方案，提高多场景适用性；3）研究自动化的性能-安全设计空间探索算法。

大规模分布式联邦训练方法研究： 1）研究参与方具有多机多卡场景下的大规模联邦训练与微调算法；2）研究多参与方下的模型质量管理与控制算法，使模型准确率在联邦训练的过程中得到不断提高，避免无效数据或模型造成的负面影响。

微信交流群