Are you sure you want to delete this task? Once this task is deleted, it cannot be recovered.
You can not select more than 25 topics
Topics must start with a chinese character,a letter or number, can include dashes ('-') and can be up to 35 characters long.
jiaqi
3f2d4d7d3c
|
2 years ago | |
|---|---|---|
| .. | ||
| images | 2 years ago | |
| readme.md | 2 years ago | |
readme.md
车辆重识别(ReID)
现实生活存在以下场景，实验室对车辆数据集进行本地训练之后得到了车辆重识别的模型, 为了进一步优化模型性能, 基于多个路口摄像头采集的真实场景图片进行进一步模型调优。但由于车辆信息涉及到个人隐私, 需要严格保密, 因此不能将车辆数据直接发回实验室进行训练。
为了完成上述过程, 可以使用HiStar进行联邦微调，实验室将在本地预训练的模型参数发送给参与模型调优的服务器, 每台服务器存储一个路口摄像头拍摄的车辆数据, 调优服务器收到模型参数后利用自己的数据在本地进行训练, 并将训练后得到的梯度信息利用安全聚合技术添加掩码后发送给实验室,实验室收集到所有节点服务器发送的梯度信息后在本地完成安全聚合得到所有服务器的梯度信息的平均值，用梯度信息的平均值更新预训练模型，并将其发送给所有参与联邦微调的服务器，各服务器收到平均梯度后在各自在本地完成模型更新。
在聚合过程结束后实验室仅能得到所有节点服务器发送的梯度之和而得不到具体某一个调优服务器的梯度，因此每个参与联邦微调的服务器上的车辆数据信息可以得到有效地保护。
联邦微调示意图
测试指标
软件环境：pytorch1.3.0 python3.6 cuda10.1
资源环境：CPU Memory 1.5T, GPU Memory 32G
CPU型号: Intel(R) Xeon(R) Platinum 8168 CPU @ 2.70GHz
GPU型号为Tesla V100
数据集：车辆图片
针对联邦学习给服务器和用户所带来额外的计算开销、通信开销以及对模型性能的影响我们给出了相应的测试指标，其中测试所使用ReID模型的参数为2500多万个，每个参与联邦微调的服务器本地存储10221张不同的车辆图片, 对应1000个ID。
海星HiStar：联邦深度学习中间件
Python Shell
