(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210955513.2 (22)申请日 2022.08.10 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 陈晋音　刘嘉威　郑海斌　陈铁明　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. H04L 9/40(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) (54)发明名称 针对联邦学习神经 元梯度攻击的防御方法 (57)摘要 本发明公开了一种针对联邦学习神经元梯 度攻击的防御方法， 基于强化学习的联邦系统偏 见中毒防御， 以保护模型免受梯度中毒攻击， 可 以应用于 水平联邦学习。 本发明方法在服务器端 记录5个回合的参与者上传的梯度信息， 统计神 经元参数的变化趋势， 计算每个用户每个神经元 参数变化趋势， 与其他用户该神经元参数变化趋 势的Jaccard相似度， 查找企图进行梯度攻击的 恶意用户， 一旦确定了恶意客户端， 服务器将从 记录的5个回合的梯度信息中剔除恶意用户， 重 新聚合生 成新的全局模型， 在保证联邦学习正常 进行的情况下， 提高学习系统的安全鲁棒性。 本 发明能够检测哪一个是攻击者操控的客户端， 并 且通过模型回档的方式避免整个联邦学习系统 遭到毒害。 权利要求书3页 说明书7页 附图2页 CN 115333825 A 2022.11.11 CN 115333825 A 1.一种针对联邦学习神经 元梯度攻击的防御方法， 其特 征在于， 包括： (1)服务器调用全局模型， 分发给 各个客户端； (2)客户端接收服务器下发的全局模型， 并使用本地数据对全局模型进行训练， 得到客 户端梯度更新； (3)客户端将梯度更新发送至服务器， 服务器接收梯度更新； 为每个客户端创建一个梯 度存储器， 存储设定轮数的客户端所上传的梯度信息， 同时创建神经元梯度变化向量 记录客户端i第a个神经元第b个参数的变化； i＝1～N， a＝1～A， b＝1～B； 每次当前联邦学 习回合数t达到设定轮数的倍数时， 根据客户端梯度向量之间的广义Jaccard相 似度， 判断 是否存在攻击者并找到攻击者客户端， 一旦发现攻击者的存在， 最近设定轮数 的联邦学习 将被作废， 并重新聚合 一个全局模型， 发放到客户端； (4)重复步骤(2)～(3)， 直至联邦学习结束。 2.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法， 其特征在于， 步骤(1) 包括： 联邦学习的训练目标： 其中， G(w)表示全局 模型， w表示模型参数， Rd表示所有模型参数集合； N代表存在N个参 与方， 分别处理N个本地模型Li(w)， 每一方基于私有数据集 进行 训练， 其中， 数据集i样本数量ai＝|Di|， 表示数据集i第j个数据样本以及相应的 标签； 联邦学习的目标是获得一个全局模型， 该模型对来自N方的分布式训练结果进行聚合； 具体来说， 在第t轮， 中央服务器将当前共享模型Gt发送给N个客户端， 客户端i通过使用自 己的数据集Di和学习率lr， 运行本地轮次的优化算法， 以获得新的局部模型 然后， 客户 端将模型更新 发送到中央服务器， 中央服务器将以其自身的学习率η对所有更新进 行平均， 以生成新的全局模型Gt+1： 3.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法， 其特征在于， 步骤(2) 包括： 对于良性客户端来说， 联邦学习参与者会在使用本地数据对服务器下发的全局模型进 行正常训练， 表示 为：权　利　要　求　书 1/3 页 2 CN 115333825 A 2其中， 为数据样本， 表示样本对应的样本标签； 函数P为对应的训练优化函数， 通过 对数据的学习， 可以得到当前轮t客户端i从数据中获得的模型梯度更新 wi； 对于攻击者客户端而言， 在正常训练本地模型之外， 在梯度 更新上传阶段， 攻击者会篡 改梯度更新， 具体为： 其中， 表示攻击者的恶意篡改梯度； 与wi具有相同的网络结构， 中非攻击目标的 神经元参数值 都为0， 目标神经元参数值随着攻击者的攻击目的变化， 得到中毒客户端梯度 4.如权利要求1所述针对联邦学习神经元梯度攻击的防御方法， 其特征在于， 步骤(3) 包括： (3.1)如果当前联邦学习回合数t为设定轮数的倍数， 将应用神经元参数中毒防御机制 进行聚合； 包括： (3.1.1)计算所有联邦学习参与者相同梯度变化向量间的广义Jaccard相似度 危险系数Dri、 攻击者可能性Atti； 代表客户端i与客户端i ’相 同梯度变化向量之间的相似度， i ＝1～N， i ’＝1～N， i≠i ’； (3.1.2)判断是否存在攻击者； 存在Atti大于攻击者可能性阈值时， 服务器将该客户端i标记为攻击者， 启动模型保护 策略， 并舍弃当前全局模型， 为安全起见， 从梯度存储器中调取最近 设定轮数的联邦学习第 一次接收到的客户端上传的梯度更新， 其中不包括被标记为恶意客户端的梯度， 重新聚合 一个全局模型， 并发放到客户端； Atti均小于等于攻击者可能性阈值时， 不存在攻击者， 直接执 行步骤(3.2.2)； (3.2)如果当前联邦学习回合数t不为设定轮数的倍数， 进行联邦平均聚合； 服务器聚 合所有客户端的梯度更新得到全局模型； (3.2.1)保存当前客户端梯度更新到梯度存 储器； (3.2.2)执 行联邦平均聚合， 获得新的全局模型， 并发放到客户端。 5.如权利要求4所述针对联邦学习神经元梯度攻击的防御方法， 其特征在于， 步骤 (3.1.1)中， 广义Jac card相似度的， 数 学表达为： 式中， 相似度JA是一个介于0到1之间的数， 越接近1， 说明相似度越高， 反之相似度越 低。 6.如权利要求4所述针对联邦学习神经元梯度攻击的防御方法， 其特征在于， 步骤 (3.1.1)中， 危险系数Dri越高， 代表该客户端越有可能是攻击者；权　利　要　求　书 2/3 页 3 CN 115333825 A 3