(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210971604.5 (22)申请日 2022.08.15 (71)申请人 广州粤芯 半导体技 术有限公司 地址 510000 广东省广州市黄埔区凤 凰五 路28号 (72)发明人 赵耀坤　 (74)专利代理 机构 上海思捷知识产权代理有限 公司 312 95 专利代理师 罗磊 (51)Int.Cl. G06F 9/48(2006.01) G06F 9/50(2006.01) G06F 11/30(2006.01) G06F 11/32(2006.01) G06F 11/20(2006.01)G06F 16/25(2019.01) G06F 21/41(2013.01) H04L 67/1001(2022.01) H04L 43/0817(2022.01) H04L 67/1034(2022.01) H04L 67/60(2022.01) H04L 9/40(2022.01) (54)发明名称 ETL调度平台及其部署方法、 计算机可读存 储介质 (57)摘要 本发明提供了ETL调度平台及其部署方法、 计算机可读存储介质， ETL调度平台具有至少两 个相互通信的调度节点， 每个调度节 点均作为任 意一个Carte集群的主节点， 并用于配置Carte集 群及配置Carte集群中的各个Carte节点， 每个 所 述调度节点均可管理部署的所有Carte节点； 其 中， 任一调度节点在接收到相应的待调度的任务 后会将任务自动负载均衡到各个调度节点。 ETL 调度平台直接调用各个Carte节点进行执行任 务， 实现了Kettle集群的高可用和负载均衡功 能， 在ETL调度平台还设计了一套高可用集群调 度任务的方法。 权利要求书3页 说明书11页 附图16页 CN 115048205 A 2022.09.13 CN 115048205 A 1.一种ETL调度平台， 其特征在于， 具有至少两个相互通信的调度节点， 每个调度节点 均作为任意一个Carte集群的主节点， 并用于配置Carte集群及配置Carte集群中的各个 Carte节点， 每 个所述调度节点均可 管理部署的所有Car te节点； 其中， 任一调度节点在接收到相应的待调度的任务后会将所述任务自动负载均衡到各 个调度节点， 以在所述任务指定的Carte节点可用时， 使得所述指定的Carte节点执行所述 任务， 并在所述任务指定的Carte节点不可用时， 在所有所述Carte集群中寻找一个新的 Carte节点来执行所述任务。 2.如权利要求1所述的ETL调度平台， 其特 征在于， 所述调度节点包括： Carte节点管理模块， 用以添加、 删除Carte集群服务器， 并设置SSH远程登录服务器、 管 理sftp文件， 以及， 通过数据接口在相应的Carte集群服务器上添加、 删除、 启动、 停止相应 的Carte节点， 以配置 Carte 集群及Car te集群中的各个Car te节点； 任务调度模块， 用以添加、 删除、 启动、 停止或立即执行待调度的任务， 并为所述待调度 的任务指定相应的Carte节 点执行， 以及， 在所述任务指定的Carte节 点不可用时， 在所有所 述Carte集群中寻找一个新的Car te节点来执行所述任务； 运行监控模块， 用以监控所述调度节点所在的服务器的基本状态和各个Carte集群服 务器的基本状态， 监控所有任务的执 行状态， 以及， 发送系统告警邮件。 3.如权利要求2所述的ETL调度平台， 其特征在于， 每一所述调度节点一一对应的布设 在相应的服务器上， 且具有任务管理界面， 用以显示各个任务、 各个Carte节点执行任务的 状况、 执行任务的日志、 任务的执 行流程图， 以批量管理任务和Car te节点。 4.如权利要求2所述的ETL调度平台， 其特 征在于， 所述调度节点还 包括： 资源库管理模块， 用以创建、 删除管理数据资源库和/或文件资源库， 且 同步位于不同 Carte集群服 务器上的文件资源库的数据； 转换和作业模块， 用以对资源库中的作业和转换进行 上传、 下载、 查询、 删除、 重命名； 系统设置模块， 用以进行用户管理， 添加或删除登录所述ETL调度平台用户。 5.如权利要求2所述的ETL调度平台， 其特征在于， 所述Carte节点管理模块包括Carte 节点管理单元， 所述Carte节点管 理单元用于添加Carte节点， 指定所述Carte节点所在的服 务器和在服务器中的部署位置， 以及所 处理的项目类型， 并对添加的Carte节 点设置至少一 个项目标签， 其中， 具有相同项目标签的Carte节 点形成一个Carte集群， 用以处理同一项目 类型下的任务， 所述Car te集群中的Car te节点无主从之分， 均是任务执 行节点。 6.如权利要求2所述的ETL调度平台， 其特征在于， 所述任务调度模块还用于将新添加 的待调度的任务设置为定时启动， 并为新添加的待调度的任务设置定时启动时间、 任务所 属项目类型 的名称、 任务执行失败后自动重启的次数、 任务执行 的日志级别以及任务启动 参数中的至少一项。 7.如权利要求2所述的ETL调度平台， 其特 征在于， 所述任务调度模块还用于： 获取添加的待调度的所述任务所属的项目类型， 将待调度的所述任务， 分配到具有对 应项目标签的项目Car te集群下， 并进一 步指定处 理待调度的所述任务的默认Car te节点； 查找所述任务上一次是否执 行完毕； 若未执行完毕， 则跳过 所述任务的调度， 即所述任务的调度直接结束； 若执行完毕， 则进一步判断所述默认Carte节点是否可用， 若可用， 则使用所述默认权　利　要　求　书 1/3 页 2 CN 115048205 A 2Carte节点作为待调度的所述任务的指定执 行节点， 用以执 行待调度的所述任务； 若所述默认Carte节点不可用， 则剔除不可用的所述默认Carte节点， 并与各个所述调 度节点通信， 使用一致性哈希算法获取所述任务的关键字值， 根据关键字值从各个Carte集 群中获取具有待调度的所述任务所对应的项目标签的Carte节点， 并、 作为新的Carte节点 来执行待调度的所述任务。 8.如权利要求6所述的ETL调度平台， 其特征在于， 所述任务调度模块采用集成Quartz 和Springboot框架实现任务的定时启动， 通过执行保存在所述任务调度模块的定时启动时 间完成对每 个任务的定时调度。 9.一种ETL调度平台的部署方法， 其特 征在于， 包括以下步骤： 部署基础组件， 所述基础组件 包括MySQ L数据库、 JA VA语言开发工具包； 部署至少一个调度节点； 登录任一个调度节点以部署Carte集群， 包括配置服务器 的SSH远程登录信息、 sftp文 件， 以及Car te集群下的各个Car te节点； 配置Ketttle资源库信息； 配置待调度的任务到相应的Car te集群； 启动相应的调度任务， 并等待任务执 行。 10.如权利要求9所述的ETL调度平台的部署方法， 其特征在于， 配置待调度的任务到相 应的Carte集群的步骤 包括： 新增相应的任务并指定其 为定时任务； 为新增的所述任务设置 定时启动时间； 为新增的所述任务设置启动参数； 为新增的所述任务设置项目名称及所述项目名称和相应的Carte节点的项目标签对应 关系； 为新增的所述任务设置任务执 行失败的自动重启次数； 为新增的所述任务设置任务执 行的日志级别。 11.如权利要求9 ‑10中任一所述的ETL调度平台的部署方法， 其特征在于， 在配置待调 度的任务到相应的Carte集群的步骤中， 还根据预设 的所述Carte节点处理的项目类型， 来 设置处理待调度的所述任务的默认Car te节点， 并检查所述默认Car te节点是否可用； 在启动相应的调度任务的步骤中， 根据预先设置的定时启动时间采用集成Quartz和 Springboot框架使对应的Carte节点定时执行所述任务， 并通过布设在每台服务器上的任 务管理界面显示各个任务、 各个Carte节 点的执行状况、 执行日志、 任务的执行流程图， 以批 量管理任务和Car te节点。 12.如权利要求9所述的ETL调度平台的部署方法， 其特征在于， 配置Ketttle资源库信 息的步骤包括： 创建、 删除数据资源库和/或文件资源库以进行作业和转换， 并同步位于不 同服务器上的文件资源库， 以及对作业和转换进行 上传、 下载、 查询、 删除、 重命名。 13.如权利要求9 ‑10中任一所述的ETL调度平台的部署方法， 其特征在于， 登录任一调 度节点以部署Car te集群的步骤 包括： 给每个所述Carte节点添加至少一个项目标签， 具有相同项目标签的Carte节点形成一 个Carte集群， 用以处理同一项目类型下的任务， 所述Carte集群中的Carte节点无主从之权　利　要　求　书 2/3 页 3 CN 115048205 A 3