(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211153768.3 (22)申请日 2022.09.21 (71)申请人 哈尔滨工程大 学 地址 150000 黑龙江省哈尔滨市南岗区南 通大街145号 (72)发明人 吕继光　杨武　苘大鹏　王巍　 玄世昌　唐昊　边颖超　 (74)专利代理 机构 哈尔滨龙 科专利代理有限公 司 23206 专利代理师 王新雨 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种面向物联网设备异质 性的联邦学习优 化方法 (57)摘要 本发明公开了一种面向物联网设备异质性 的联邦学习优化方法， 所述方法包括如下步骤： 步骤一、 联邦学习参与设备数据增强方法设计； 步骤二、 联邦 学习参与者选 择方法设计； 步骤三、 联邦学习参与设备异质性优化方法设计。 本发明 在不侵犯用户隐私的前提下， 收集部分用户数据 以及用户模型训练相关信息。 利用收集的信息， 增强设备数据使其符合独立同分布， 缓解数据 异 质性带来的影响。 同时， 这部分信息还被用于筛 选每轮训练的参与者， 加快了每轮训练的完成时 间， 有效缓解了数据异质性带来的影响。 通过上 述两种优化， 提高了联邦学习联合建模的效率和 精度。 权利要求书2页 说明书6页 附图1页 CN 115496224 A 2022.12.20 CN 115496224 A 1.一种面向物联网设备异质性的联邦学习 优化方法， 其特征在于所述方法包括如下步 骤： 步骤一、 联邦学习参与设备 数据增强方法设计 步骤一一、 随机初始化阈值的初始值， 按照该初始阈值对本地数据进行 数据增强； 步骤一二、 使用步骤一一增强后的数据进行本地训练， 将训练后的模型参数和动量参 数上传到中介， 中介根据收到的参数聚合 一个全局模型和新的动量； 步骤一三、 服务器根据聚合的全局模型的性能对阈值进行重新计算， 将生成的全局模 型、 动量和计算出的新的阈值发送给客户端； 步骤一四、 重复步骤一 三， 直至到达终止机制的条件； 步骤二、 联邦学习参与者选择 方法设计 步骤二一、 将边缘设备i的统计效用与系统效用相关联， 制定出边 缘设备i的用户效用； 步骤二二、 按照边缘设备的用户效用值从大到小的顺序对边缘设备进行排序， 选取边 缘设备集合中前((1 ‑ε )×K)个参与者进行训练， 其中ε∈[0,1]是探索因子， K是参与者集合 大小； 步骤三、 联邦学习参与设备异质性优化方法设计 步骤三一、 通过联邦学习参与设备 数据增强方法对参与设备的本地数据进行增强； 步骤三二、 根据步骤三一增强后的数据计算每个参与者的用户效用， 并根据效用值选 择参与者 参与训练； 步骤三三、 根据步骤三 二的参与者计算全局模型并更新用户效用值； 步骤三四、 重复步骤三 二和步骤三 三， 直至达到设置的训练轮次， 训练结束。 2.根据权利要求1所述的面向物联网设备异质性的联邦学习优化方法， 其特征在于所 述步骤一二中， 中介根据收到的参数聚合 一个全局模型和新的动量的计算过程如下： 其中 ， d (t)是服务器聚合后的动量参数 ， 客户端在进行新一轮的训练时 ， 是边缘设备i的动量 参数； w(t)是全局模型参数。 3.根据权利要求1所述的面向物联网设备异质性的联邦学习优化方法， 其特征在于所 述步骤一三中， 阈值计算公式如下： 其中， θ是阈值， Losst代表在第t轮训练时损失函数的值， Losst‑Losst+1表示第t轮与下权　利　要　求　书 1/2 页 2 CN 115496224 A 2一轮损失函数的变化 值， μ是一个超参数。 4.根据权利要求1所述的面向物联网设备异质性的联邦学习优化方法， 其特征在于所 述步骤一四中， 终止 机制的条件为： 当损失函数的值变化 开始为0或者是负数。 5.根据权利要求1所述的面向物联网设备异质性的联邦学习优化方法， 其特征在于所 述步骤二一中， 边缘设备i的用户效用为： 其中， 边缘设备i的本地训练样本数据集合为Di， Loss(j)是样本数据j的训练损失； 统计 效用为 用来表征在保护用户隐私的前提下能够有效捕获边缘设备的 数据价值； 代表系统效用， Ti是联邦学习中参与者完成模型更新和上传的用时； 权重分散 度为 是边缘设备i在第t轮时的模型参数， W0(t)是在第t轮使用公共数 据集进行训练得到的模型参数， 用来表示 边缘设备i数据的不平衡程度。权　利　要　求　书 2/2 页 3 CN 115496224 A 3