(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211187731.2 (22)申请日 2022.09.27 (71)申请人 国家超级计算深圳中心 （深圳云计 算中心） 地址 518055 广东省深圳市南 山区桃源街 道大学城社区笃 学路9号 (72)发明人 田凯　黄典　冯圣中　 (74)专利代理 机构 深圳市顺天达专利商标代理 有限公司 4 4217 专利代理师 李琴 (51)Int.Cl. G06F 9/50(2006.01) G06N 20/00(2019.01) (54)发明名称 作业运行时间预测方法、 装置、 系统和计算 机可读存 储介质 (57)摘要 本申请涉及一种作业运行时间预测方法、 装 置、 系统和计算机可读存储介质。 所述作业运行 时间预测方法包括如下步骤： S1、 基于历史日志 数据搜索待预测作业的相似作业， 得到相似作业 集； S2、 根据所述相似作业集中相似作业的实际 运行时间获得待预测作业的运行时间。 本申请的 作业运行时间预测方法以历史日志为数据， 数据 易获取， 同时预测过程无需用户提供源码， 保护 用户隐私。 本申请的作业运行时间预测方法的算 法复杂度低， 实现简单、 效率高。 权利要求书1页 说明书5页 附图2页 CN 115454645 A 2022.12.09 CN 115454645 A 1.一种作业 运行时间预测方法， 其特 征在于， 所述方法包括如下步骤： S1、 基于历史日志数据搜索待预测作业的相似作业， 得到相似作业 集； S2、 根据所述相似作业 集中相似作业的实际运行时间获得待预测作业的运行时间。 2.根据权利要求1所述的作业运行时间预测方法， 其特征在于， 所述步骤S1进一步包 括： S11、 使用模板在历史日志中最近N个已完成的作业中搜索出与待预测作业相似的作业 形成第一相似搜索集 合， 所述模板是作业 参数的集 合； S12、 基于作业参数的数值属性计算作业间相似度， 从所述第 一相似搜索集合中筛选出 K个与待预测作业 最相似的作业形成第二相似搜索集 合， 其中， K≤N。 3.根据权利要求2所述的作业运行时间预测方法， 其特征在于， 所述步骤S11中使用用 户名、 分组名、 队列名和应用名构成模板来搜索待预测作业的相似作业。 4.根据权利要求2所述的作业运行时间预测方法， 其特征在于， 所述步骤S1进一步包 括： S13、 在所述步骤S12中筛选出的相似作 业的个数K小于预设的阈值时， 基于作 业参数的 数值属性计算作业间相似度， 直接从所述最近N个已完成的作业中筛选出K'个与待预测作 业最相似的作业形成所述第二相似搜索集 合。 5.根据权利要求2或4所述的作业运行时间预测方法， 其特征在于， 所述基于作业参数 的数值属 性计算作业间相似度进一步包括： 选择用户请求处理器数、 用户请求执行时间和 用户请求内存量 三个参数基于下式计算作业间相似度： 其中， c， r， m分别表示用户请求处理器数、 用户请求执行时间和用户请求内存量， J1,J2 分别表示两个 计算作业。 6.根据权利要求2或4所述的作业运行时间预测方法， 其特征在于， 所述步骤S2进一步 包括： 使用所述第二相似搜索集合中相似作业的实际运行时间预测所述待 预测作业的运行 时间。 7.根据权利要求6所述的作业运行时间预测方法， 其特征在于， 所述步骤S2中将所述第 二相似搜索集合中所有相似作业的实际运行时间的平均值作为所述待预测作业的运行时 间。 8.一种作业 运行时间预测装置， 其特 征在于， 包括： 相似作业搜索模块， 用于在历史日志中搜索待预测作业的相似作业， 得到相似作业 集； 预测模块， 用于根据 所述相似作业集中相似作业的实际运行时间获得待预测作业的运 行时间。 9.一种作业运行时间预测系统， 其特征在于， 包括处理器和存储器， 所述存储器存储有 计算机程序， 所述计算机程序被处理器执行时实现如权利要求1 ‑7中任一项所述的作业运 行时间预测方法的步骤。 10.一种计算机可读存储介质， 其特征在于， 存储有计算机程序， 所述计算机程序被处 理器执行时实现如权利要求1 ‑7中任一项所述的作业 运行时间预测方法的步骤。权　利　要　求　书 1/1 页 2 CN 115454645 A 2作业运行时间预测方 法、 装置、 系统和计算机可 读存储介质 技术领域 [0001]本申请涉及大规模计算系统， 更具体地说， 涉及一种作业运行时间预测方法、 装 置、 系统和计算机可读存 储介质。 背景技术 [0002]在超级计算系统上， 采用回填策略是在先到先服务策略的基础上将小作业回填到 空闲CPU以提高CPU利用率的一种有效手段， 它主要的思想是以队列作业所需要的CPU数量 为条件， 对于满足条件的作业又需要以待回填作业的运行时间为衡量标准， 同时满足这两 个条件的作业才能够回填。 回填算法是否有效依赖对作业时长的可靠预计。 在实际系统中， 以作业正常运行结束为前提， 用户提交作业的同时会提供预估作业时长， 然而用户往往不 能提供准确的估计， 或者提供远超实际运行时长的预期运行时长。 这使得不能直接使用用 户的预估时长作为回填算法的数据， 因此准确预测作业运行时间对调 度算法的性能提升举 足轻重。 [0003]现有技术中已经提出了通过对作业程序源代码的静态分析来对作业运行时长来 进行程序预测的方法， 和利用卷积神经网络对非结构化的作业脚本进 行建模以对其运行时 长进行预测的方法。 但在实际情况下， 作业程序的源代码是用户拥有的知识资产， 依赖于对 程序源代码或可执行脚本进行渗透的预测方法， 可能会涉及作业所属用户的隐私， 而且更 多时候程序的源代码及可执行脚本是不可获得的， 除了编译器或解释器， 超级计算中心或 者调度平台是没有权限要求作业程序源码的。 此外， 基于代码的预测方法对软硬件平台和 参数配置的稳定性有较高的要求， 目前只在MPI程序中有比较成功的应用。 因此， 不考虑作 业源码的黑盒模式作业 运行时间预测具有更广的应用场景。 [0004]现有的黑盒模式作业运行时间预测算法大体可分为两类： 基于时间序列的预测和 基于因果关系的预测。 基于时间序列的预测指的是， 利用历史运行作业的信息进行运行时 间预测。 利用作业之 间的相似性， 通过在历史任务数据中找到和当前最相似的任务， 然后再 利用这些相似的任务来构建数学模型预测当前任务的运行时间。 基于因果关系的预测是通 过利用作业内在特征进 行预测。 作业的运行时间主要依赖于作业的类型、 数据量大小、 节 点 的负载、 节点的内存和CPU频率等。 不同类型的任务主要依赖的因素不同， 因此利用作业内 在的特征作为输入， 然后利用如机器学习算法进 行作业运行时间预测。 但是， 现有的上述基 于黑盒模式的预测方法都存在算法复杂度高， 实现难度大、 准确性 不高的问题。 发明内容 [0005]本申请要解决的技术问题在于， 针对现有技术的上述缺陷， 提供一种数据易获取、 实现简单的作业 运行时间预测方法、 装置、 系统和计算机可读存 储介质。 [0006]本申请为解决其技术问题在第一方面提出一种作业运行时间预测方法， 所述方法 包括如下步骤： [0007]S1、 基于历史日志数据搜索待预测作业的相似作业， 得到相似作业 集；说　明　书 1/5 页 3 CN 115454645 A 3