(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211317152.5 (22)申请日 2022.10.26 (71)申请人 西南民族大 学 地址 610015 四川省成 都市双流区航空港 开发区大件路文 星段168号 (72)发明人 刘玲　陈曦　吴涛　周攀　陈飞　 曾锐　虞红芳　孙罡　 (74)专利代理 机构 北京元本知识产权代理事务 所(普通合伙) 11308 专利代理师 曹广生 (51)Int.Cl. H04L 41/12(2022.01) H04L 49/253(2022.01) G06N 20/00(2019.01) (54)发明名称 一种适用 于大规模分布式机器学习的新型 拓扑设计方法 (57)摘要 本发明提供了一种适用于大规模分布式机 器学习的新型拓扑设计方法， 属于拓扑设计技术 领域， 该方法包括： 步骤S1.分析Parameter   Server架构、 Tree  AllReduce架构和Ring   AllReduce架构的通信需求； 步骤S2.获取通用拓 扑需求； 步骤S3.使用电路交换机或光电交换机 和分组交换机， 基于所述Parameter  Server架 构、 Tree AllReduce架构和Ring  AllReduce架构 的通信需求， 以及所述通用拓扑需求， 构建由模 块内和模块间组成的拓扑。 本发 明可以同时满足 PS、 Tree和Ring这三种广泛使用的分布式机器 学 习训练通信架构的通信需求。 权利要求书1页 说明书9页 附图3页 CN 115378818 A 2022.11.22 CN 115378818 A 1.一种适用于大规模分布式机器学习的新型拓扑设计方法， 其特 征在于， 包括： 步骤S1.分析Par ameter Server架构、 Tree  AllReduce架构和Ring  AllReduce架构的 通信需求； 步骤S2.分析适用于分布式机器学习训练的通用拓扑需求； 步骤S3.使用电路交换机或光电交换机和分组交换机， 基于所述Parameter  Server架 构、 Tree AllReduc e架构和Ring  AllReduce架构的通信需求， 以及所述通用拓扑需求， 构建 由模块内和模块间组成的拓扑。 2.根据权利要求1所述的适用于大规模分布式机器学习的新型拓扑设计方法， 其特征 在于： 所述模块内包括上层和下层， 所述上层包括T个具有N*N端口的分组交换机和U个服务 器， 所述下层包括E个具有K*K个端口 的电路交换机或光电交换机和D个服 务器； 所述模块内的连接步骤如下： 步骤A1.为下层的D个服务器分别配置E个网卡， 分别连接到E个电路交换机或光电交换 机； 步骤A2.为上层的U个服 务器分别配置T个网卡， 分别连接 到T个分组 交换机； 步骤A3.每 个分组交换机使用E个端口分别连接 到E个电路交换机或光电交换机 。 3.根据权利要求1所述的适用于大规模分布式机器学习的新型拓扑设计方法， 其特征 在于： 所述模块间的连接步骤如下： 步骤B1.准备H个模块,编号 为[1,H]， 若H为偶数， 转至步骤B2， 否则转至步骤B3； 步骤B2.随机选择H/2个模块， 并为每个模块准备H/2个分组交换机预留端口和 （H ‑2） /2 个电路交换机预留端口或光电交换机预留端口， 且为剩余的每个模块准备 （H ‑2） /2个分组 交换机预留端口和H/2个电路交换机预留端口或光电交换机预留端口； 这些准备好的预留 端口称为备用端口； 令k=1， 转至步骤B4； 步骤B3.为每个模块准备 （H ‑1） /2个分组交换机预留端口和 （H ‑1） /2个电路交换机预留 端口或光电交换机预留端口； 这些准备好的预留端口称为备用端口， 令k=1， 转至步骤B4； 步骤B4.如果 k<H， 转至步骤B5， 否则转至步骤B6； 步骤B5.对于模块k， 随机选择H ‑k个备用端口， 分别连接到模块[k+1， H]的备用端口； 相 连接的两个备用端口需要分别为分组交换机预留端口和电路交换机预留端口或光电交换 机预留端口， 不能同时为分组交换机预留端口和电路交换机预留端口或光电交换机预留端 口； 令k=k+1， 转至步骤B4； 步骤B6.结束。权　利　要　求　书 1/1 页 2 CN 115378818 A 2一种适用于大规 模分布式机 器学习的新型拓扑 设计方法 技术领域 [0001]本发明涉及拓扑设计技术领域， 尤其是涉及一种适用于大规模分布式机器学习的 新型拓扑设计方法。 背景技术 [0002]近年来， 机器学习(Machine  Learning,ML)被广泛应用于各个领域， 如医疗、 计算 机视觉和语音识别。 随着模型和训练数据规模的不断增大， 分布 式机器学习(Distributed   Machine Learning,DML)训练已经成为一种必然趋势， 即多台机器协同并行地训练同一个 模型。 数据并行是一种常用的分布式训练方法， 其中训练数据集被划分为多个切片， 每个训 练节点需要根据分配的数据切片进行模型训练。 [0003]大多ML都是以迭代的方式进行训练的， 有时甚至需要迭代数百万次才能达到理想 的收敛精度。 每次迭代都要执行大量计算和通信。 训练过程一般使用能保证模型收敛和重 现的同步训练模式。 在同步模式下 的每一次迭代中， 每个训练节点需要等待其他节点的模 型更新， 然后才能继续下一 次迭代。 参数服务器(Parameter  Server,PS)和MPI  AllReduce (如Tree AllReduce和Ring  AllReduce)是两种广泛使用的同步模式通信架构。 在PS架构 中， 有两种服务器， 一种是负责基于本地数据集进行本地训练的计算节 点 （worker） ， 另一种 是负责模型同步的参数服务器节 点。 而在MPI  AllReduce架构中， 没有负责模 型聚合的中心 节点， 不同的MPI  AllReduce架构是以不同的规则同步模型参数。 [0004]为了支持计算密集型和通信密集型的DML任务， 许多IT公司如微软和谷歌， 利用 GPU等加速硬件在数据中心建立了专门用于ML训练的集群。 加速硬件的使用大大提高了D ML 的样本处理速度， 每个计算节点在单位时间内可以处理更多的样本， 这也意味着网络在单 位时间内需要传输更多的数据。 此时， 网络的通信能力已成为DML训练的性能瓶颈。 虽然已 有很多从通信角度加快DML训练的方案， 但它 们忽略了网络 拓扑对训练性能的影响。 [0005]不同的通信架构具有不 同的同步规则和流量特点， 对硬件和网络 的需求也不 同。 实际上， 现有的网络拓扑设计一般追求高吞吐、 高可扩展性等通用目标， 不针对某种特定应 用， 并不能很好地适应大规模D ML训练。 而网络拓扑与上层应用的不匹配会直接影响应用的 性能。 虽然已有文 献设计了针对D ML训练的专用拓扑， 但通常局限于DML的某种通信架构 。 比 如PSNet就是针对PS架构的专用拓扑， 并没有考虑不同通信架构共存的情况。  PSNet是为使 用PS架构进行训练的DML集群设计的新型网络拓扑， 其主要思想是把服务器分为参数服务 器和worker两类节点， 并结合可重构的光电交换机或电路交换机实现了拓扑的灵活变换。 虽然上述拓扑可以提升训练效率， 但只适合使用PS架构的DML训练， 不适合Tree架构、 Ring 架构等常用的MPI  AllReduce通信架构。 [0006]不同的通信架构具有不 同的流量模式， 对网络 的需求也不 同， 这对设计适用于多 种通信架构的拓扑提出了新的挑战。 因此， 为了解决这一挑战， 考虑到不同通信架构的不同 通信需求， 本发明提供了一种适用于大规模分布式机器学习的新型拓扑设计方法。说　明　书 1/9 页 3 CN 115378818 A 3