随笔
fednova通信过程
服务器在客户端完成本轮的全部本地回合后,才接收更新并聚合一次。因此,一个客户端本地更新一步,并不意味着服务器通信、聚合一次。 图中还标出了 FedNova 的处理位置:在普通 SGD 的设置下,将客户端累计的模型变化按本地步数归一化,再按数据占比聚合,并统一缩放更新幅度。这里的 (E=2) 是教学示例,实际可以采用其他回合数或本地步数设置
联邦学习
把生活中的一些瞬间、想法和问题,慢慢写下来。
主题:联邦学习
1 篇内容
服务器在客户端完成本轮的全部本地回合后,才接收更新并聚合一次。因此,一个客户端本地更新一步,并不意味着服务器通信、聚合一次。 图中还标出了 FedNova 的处理位置:在普通 SGD 的设置下,将客户端累计的模型变化按本地步数归一化,再按数据占比聚合,并统一缩放更新幅度。这里的 (E=2) 是教学示例,实际可以采用其他回合数或本地步数设置