学习资料
SCAFFOLD 论文学习笔记|理解联邦学习中的客户端漂移与控制变量
从联邦学习的客户端漂移出发,理解 SCAFFOLD 的控制变量及其作用。
联邦学习 / 优化
可以反复翻阅的学习材料。从基础概念开始,也把每一步推导讲清楚。
主题:联邦学习
11 篇内容
从联邦学习的客户端漂移出发,理解 SCAFFOLD 的控制变量及其作用。
梳理 FedSAM 与 MoFedSAM,理解局部损失平坦性与联邦优化的关系。
围绕 FedQ 学习联邦 Q-learning,梳理异质环境下的收敛与通信问题。
从矩阵维度、秩、特征值和 SVD 出发,逐步理解二次型、微分、梯度与反向传播,并应用于 FedNova 论文阅读。含 87 张公式卡片、5 个交互实验和 14 道自测题。
从通俗例子读懂 FedProx,并逐步推导原论文式(1)至(16)。第9章含74步代入与不等式解释,附22页英文原论文和24页中文译文,可按式号定位、翻页和放大查阅。
按 FedNova 原论文 arXiv v1 从式(1)推导到式(183),逐步说明公式代入与不等式,并配有可保存的推导图。
围绕 FedNova 论文中的本地更新、梯度归一化、有效权重与目标一致性,解释随机梯度、方差及客户端差异,并配有符号表和数值例子。
从 FedAvg 的目标偏差出发,逐步学习 FedNova 归一化与收敛证明;9 节基础、6 个扩展、70 条答疑,配有向量互动图解、七条核心公式速记和中英论文全文阅读。
先用两台设备亲手算清一轮训练,再理解权重、漂移、收敛和隐私。12 讲配白话解释、分步手算和自检,180 条名词可点击或搜索,完整推导、24 道练习及 5 个离线实验保留。
fedavg简单版本,更能看懂
从 FedAvg 更新方程出发,逐步推导下降引理、随机噪声与本地漂移界,结合交互实验理解联邦优化的收敛过程,并对照 FedNova 的适用边界。