(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210955496.2 (22)申请日 2022.08.10 (71)申请人 南京大学 地址 210023 江苏省南京市栖霞区仙林大 道163号 (72)发明人 李武军　王昆　杨亦锐　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06N 20/00(2019.01) G06F 21/62(2013.01) H04L 9/40(2022.01) (54)发明名称 一种通信高效、 保护隐私且抗攻击的联邦学 习方法 (57)摘要 本发明公开了一种通信高效、 保护隐私且抗 攻击的联邦学习方法， 步骤如下： 每个用户节点 从服务器获取最新的模型参数， 计算梯度， 将梯 度中绝对值最大的若干个分量的索引集合上传 至服务器节 点； 服务器接收所有用户节点发送的 索引集合， 计算所有用户节点索引集合的并集并 广播给用户节 点； 每个用户节 点根据服务器广播 的索引集合计算压缩梯度， 应用安全聚合技术对 压缩梯度进行隐私保护， 然后上传至服务器节 点； 服务器节点通过聚合函数， 根据各用户节点 发送的压缩梯度和索引集合计算出最终梯度并 发送给用户节点； 重复以上训练步骤， 直到满足 停止条件； 最后， 服务器通知各个用户节点停 止。 本发明具备通信高效性、 隐私保护性和对攻击的 鲁棒性， 广泛适用于各类联邦学习应用。 权利要求书2页 说明书5页 附图3页 CN 115329981 A 2022.11.11 CN 115329981 A 1.一种通信高效、 保护隐私且抗 攻击的联邦学习方法， 其特 征在于， 包括以下步骤： (1)每个用户节点从服务器获取最新的模型参数， 根据本地存储的训练数据计算梯度， 将梯度中绝对值 最大的若干个分量的索引集 合上传至服 务器节点； (2)服务器接收所有用户节点发送的索引集合， 计算所有用户节点索引集合的并集， 并 广播给用户节点； (3)每个用户节点再根据服务器广播的索引集合计算出压缩梯度， 应用安全聚合技术 对压缩梯度进行隐私保护， 然后上传至服 务器节点； (4)服务器节点通过聚合函数， 根据各用户节点发送 的压缩梯度和索引集合计算出最 终梯度， 再将最终梯度发送给用户节点； (5)不断重复以上训练步骤， 直到满足停止条件时， 服 务器通知各个用户节点停止 。 2.根据权利要求1所述的一种通信高效、 保护隐私且抗攻击的联邦学习方法， 其特征在 于， 所述方法在服 务器节点上训练流 程的具体步骤为： S101、 输入用户节点数目m、 迭代轮次T、 以及聚合 函数Aggr(·)； S102、 令t＝0， 初始化模型参数w0， 并发送给 所有用户节点； S103、 等待接收来自任意用户节点 k的索引集 合 S104、 判断接收到索引集合的数量是否等于m； 若否， 则回到步骤S103； 若是， 则计算 并向所有用户节点广播； S105、 协调各个用户间通信， 完成安全聚合； S106、 接收来自任意用户节点 k的本地压缩梯度 S107、 判断接收到稀疏梯度的数量是否等于m； 若否， 则回到步骤S106； 若是， 则使用St和 恢复所有稀疏梯度 S108、 计算 最终梯度更新 S109、 将压缩梯度更新 广播给所有用户节点； S110、 判断此时是否满足t＝T， 若否， 则令t＝t+1， 返回步骤S103继续训练； 若是， 则通 知各个用户节点停止 工作。 3.根据权利要求1所述的一种通信高效、 保护隐私且抗攻击的联邦学习方法， 其特征在 于， 所述方法在第k个用户节点训练流 程的具体步骤为： S201、 输入训练样本集合 的子集 和每次采样的批量大小l、 学习率ηt、 用户节点数目 m、 稀疏因子κ； S202、 令t＝0， 接收服务器节点发送的模型参数w0， 同时初始化本地误差累积向量 S203、 从本地数据集 中随机挑选样本 S204、 根据挑选出的样本 计算出随机梯度 则表示 所对应的损 失函数在当前模型参数wt下的梯度； S205、 计算 权　利　要　求　书 1/2 页 2 CN 115329981 A 2S206、 计算由 中绝对值 最大的 个分量的索引构成的集 合 S207、 将 发送给服 务器节点； S208、 从服 务器节点接收索引集 合St； S209、 根据St计算 对于每一个j∈St， 令 对其余的每一个维度j， 令 其中(·)j表示向量第j个分量上的值； S210、 通过安全聚合 技术， 对 进行隐私保护； S211、 将通过安全聚合保护后的压缩梯度发送给服 务器节点； S212、 从服 务器节点接收压缩梯度更新 S213、 使用 和St恢复 S214、 更新模型参数 更新 S215、 判断是否收到服务器节点发送的停止工作消息， 若否， 则返回步骤S203， 继续训 练； 若是， 则结束训练。 4.根据权利要求1所述的一种通信高效、 保护隐私且抗攻击的联邦学习方法， 其特征在 于， 所述步骤S103 ‑S104中， 服务器计算各用户节点发送的梯度索引的并集， 并向所有用户 节点广播， 从而在各用户节点上达成对索引信息的共识。 5.根据权利要求1所述的一种通信高效、 保护隐私且抗攻击的联邦学习方法， 其特征在 于， 所述步骤S204 ‑S211中， 用户节点通过计算随机梯度中绝对值最大的若干个分量的索 引， 将索引发送给服务器， 再根据服务器返回的共识索引信息计算稀疏梯度向量， 并通过安 全聚合技术进行隐私保护后发送给服 务器。 6.一种计算机存储介质， 其上存储有计算机程序， 其特征在于， 该计算机程序被处理器 执行时实现如权利要求1 ‑5中任一项所述的一种通信高效、 保护隐私且抗攻击的联邦学习 方法。 7.一种计算机设备， 包括储存器、 处理器及存储在存储器上并可在处理器上运行的计 算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求 1‑5中任一项 所 述的一种通信高效、 保护隐私且抗 攻击的联邦学习方法。权　利　要　求　书 2/2 页 3 CN 115329981 A 3