#14 加速模型收敛探索

Open
created 1 year ago by qinsh · 3 comments
qinsh commented 1 year ago
数据集cifar10 模型resnet50 优化策略:sdg,svrg,sag 两种场景: 1. iid 正常集中式训练 2. non-iid cifar10按照类别分10份,每次迭代取其中一方参与 探索目的:通过改进优化策略,减少梯度方差,加快模型收敛,尤其non-iid场景下 实验结果:http://192.168.202.124:12434/ 分析: 1. svrg没有提升,猜测是bn层的影响。下一步实验将bn层去掉对比验证。 2. non-iid分布情况下,训练精度和测试精度差别很大,猜测是bn层影响,下一步实验 i 改进bn层,全局bn ii 去掉bn,用svrg,sag等优化策略 iii 联合运用改进bn和svrg,sag等策略
qinsh commented 1 year ago
Poster
继续上次实验 1. iid数据分布下,去掉bn层,改用vgg19模型,batch_size为100的情况下,svrg无明显提升。 2. 在non-iid分布下,去掉bn层,vgg19模型,测试精度正常提升。 3. 在non-iid分布下,去掉bn层,vgg19模型,svrg有提升。 分析: 1. bn层在non-iid分布下效果不好,通过去掉bn设置初始值可提升模型性能,下一步实验: i.bn改进group norm, instance norm, layer norm 2. iid分布下,svrg无明显提升,猜测是batch-size为100,梯度方差较batch-size为1已经很小,所以没提升。 在non-iid分布下,梯度方差较大。下一步实验: i.观察svrg和sgd梯度方差分布,验证方差减小。 3. 在non-iid分布下,修改模型更新策略,为每个参与方暂存梯度,(类似sag,但是不是针对每个样本,针对联邦参与方)对比sgd,svrg策略效果。 4. 狄利克雷分布,目前实验是两个极端,可验证一般性。
qinsh commented 1 year ago
Poster
继续上次实验: 1. non-iid分布下,bn可以改进为gn,提升模型效果。 2. 在non-iid场景下,优化更新策略,可以提升模型效果 下一步: 1. 利用狄利克雷分布,验证一般性。 2. 调整模型聚合更新频率,验证一般性。 3. 对比不同更新聚合算法,对比效果。
qinsh commented 1 year ago
Poster
继续上次实验,已经完成特例场景下,优化的更新策略可以加速模型收敛,继续一般性场景 一般性参数设置实验探索: 设置:共5个参与方,探索参数 1. A ->dirichlet_alpha: 正数,越大越趋近于iid分布,特例:0表示按类别每个参与方2类,-1表示iid分布 2. L ->local_iter: 表示参与方本地迭代次数 3. C ->clients_per_epoch: 每次聚合参与方个数 sgd的baseline结果 ![](https://git.openi.org.cn/attachments/1152f7ba-3e47-4e4a-a265-6f694f10bc44?type=0) 参数A分析: 1. 数据分布是模型收敛决定性因素,A越小,non-iid趋势越大,模型收敛越慢 2. 在non-iid分布下,可以通过L减小,C增大,加快收敛 3. iid分布下,L,C变化影响不大 ![](https://git.openi.org.cn/attachments/e776e7f6-82dc-46e3-af44-3bc29d30047c?type=0) 参数L分析: 1. 在non-iid分布下,L减小,加快收敛。 2. 如果non-iid趋势太大,且C很小,即使L减小模型很难收敛 ![](https://git.openi.org.cn/attachments/386b6714-064a-4a80-96c4-ef2641141d29?type=0) 餐数C分析: 1. 在non-iid分布下,C增大,加快收敛。 2. 如果non-iid趋势太大,且L很大,即使C增大模型很难收敛 *********************** 完成探索三个参数对于baseline模型收敛影响 并且已经验证在non-iid下,优化后的更新策略A=0, L=1的情况下加速收敛。 下一步实验验证优化更新策略在不同的A,L,C组合下的收敛效果,验证一般性。
Sign in to join this conversation.
No Milestone
No Assignees
1 Participants
Notifications
Due Date

No due date set.

Dependencies

This issue currently doesn't have any dependencies.

Loading…
There is no content yet.