星的四种视角 ✧
随笔

fednova通信过程

服务器在客户端完成本轮的全部本地回合后,才接收更新并聚合一次。因此,一个客户端本地更新一步,并不意味着服务器通信、聚合一次。 图中还标出了 FedNova 的处理位置:在普通 SGD 的设置下,将客户端累计的模型变化按本地步数归一化,再按数据占比聚合,并统一缩放更新幅度。这里的 (E=2) 是教学示例,实际可以采用其他回合数或本地步数设置

服务器在客户端完成本轮的全部本地回合后,才接收更新并聚合一次。因此,一个客户端本地更新一步,并不意味着服务器通信、聚合一次。

图中还标出了 FedNova 的处理位置:在普通 SGD 的设置下,将客户端累计的模型变化按本地步数归一化,再按数据占比聚合,并统一缩放更新幅度。这里的 (E=2) 是教学示例,实际可以采用其他回合数或本地步数设置

123

一起聊聊

← 返回随笔回到顶部 ↑