(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211115837.1 (22)申请日 2022.09.14 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 (72)发明人 李骏　张新钰　王力　黄毅　谢涛　 杨淋淇　吴新刚　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 张建纲 (51)Int.Cl. G06N 20/00(2019.01) (54)发明名称 一种点云多任务模型的训练方法、 装置及电 子设备 (57)摘要 本申请提供了一种点云多任务模型的训练 方法、 装置及电子设备， 涉及智能驾驶技术领域， 该方法包括： 利用点云多任务模 型对每个多任务 训练样本组合进行处理,得到每个任务分支的损 失函数， 分别计算每个任务分支的主干网络参数 的梯度； 对每个任务分支的主干网络参数的梯度 进行更新以消除梯度冲突， 得到每个任务分支的 主干网络参数的最终梯度及当前多任务模型的 主干网络参数的梯度； 利用当前多任务模型的主 干网络参数的梯度更新主干网络参数； 基于更新 后的主干网络参数和所述多个多任务训练样本 组合， 继续进行主干网络的参数更新过程， 直至 达到预设的迭代结束条件。 本申请训练出的不同 任务分支间的共享参数， 能够减少各任务之间的 干扰。 权利要求书2页 说明书10页 附图3页 CN 115358413 A 2022.11.18 CN 115358413 A 1.一种点云多任务模型的训练方法， 所述点云多任务模型包括一个主干网络和多个任 务处理模型， 所述主干网络和每个任务处理模型连接构成多个任务分支； 其特征在于， 包 括： 获取多个多任务训练样本组合， 每个多任务训练样本组合包括多个标注不同任务结果 的点云数据样本； 利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个任务分支的损失 函数， 分别计算每 个任务分支的主干网络参数的梯度； 对于每个任务分支上的主干网络参数的梯度， 判断其与其它任务分支的主干网络参数 的梯度是否存在冲突， 若存在则对其它任务分支的主干网络参数 的梯度进行更新， 得到每 个任务分支的主干网络参数的最终梯度； 计算每个任务分支的主干网络参数的最终梯度的和， 作为当前多任务模型的主干网络 参数的梯度； 利用当前多任务模型的主干网络参数的梯度更新主干网络参数； 基于更新后的主干网络参数和所述多个多任务训练样本组合， 继续进行主干网络的参 数更新过程， 直至达到预设的迭代结束条件， 将得到的主干网络参数作为训练好的点云多 任务模型的模型参数。 2.根据权利要求1所述的点云多任务模型的训练方法， 其特征在于， 所述点云多任务模 型包括N个任务分支， 获取多个多任务训练样本组合； 包括： 获取N个任务训练数据集合， 每个任务训练数据集合包括多个标注一个任务结果的点 云数据样本； 分别从各任务训练数据集合中抽取一个点云数据样本， 将N个点云数据样本进行组合， 得到多任务训练样本组合。 3.根据权利要求2所述的点云多任务模型的训练方法， 其特征在于， 利用点云多任务模 型对每个多任务训练样本组合进行处理,得到每个任务分支的损失函数， 分别计算每个任 务分支的主干网络参数的梯度； 包括： 将每个多任务训练样本组合中的点云数据样本 输入对应的任务分支， 得到预测结果； 根据预测结果和点云数据样本的标注结果计算损失函数Li( θ )， i为任务分支的编号， 1 ≤i≤N； θ 为主干网络参数； 根据损失函数Li( θ )， 计算第i个任务分支的主干网络参数θ 的梯度gi： 其中， 为对Li( θ )中的参数θ 的梯度运 算。 4.根据权利要求3所述的点云多任务模型的训练方法， 其特征在于， 对于每个任务分支 上的主干网络参数 的梯度， 判断其与其它任务分支的主干网络参数 的梯度是否存在冲突， 若存在则将其它任务分支的主干网络参数的梯度进行更新， 得到每个任务分支的主干网络 参数的最终梯度； 包括： 从i＝1开始， 执 行下述步骤， 直至i ＝N‑1： 对于第i个任 务分支的主干网络参数θ 的梯度gi， 计算其与第j个任务 分支的主干网络参 数θ 的梯度gj的夹角为φij， 其中， i+1≤j≤N； 判断cosφij<0是否成立， 若成立， 则梯度gi和梯度gj存在梯度冲突， 否则， 不存在梯度冲权　利　要　求　书 1/2 页 2 CN 115358413 A 2突； 当梯度gi和梯度gj存在梯度冲突， 利用下式得到更新后的梯度 利用 更新gj； 由此得到第i个任务分支的主干网络参数θ 的最终梯度。 5.一种点云多任务模型的训练装置， 所述点云多任务模型包括一个主干网络和多个任 务处理模型， 所述主干网络和每 个任务处 理模型连接构成任务分支； 其特 征在于， 包括： 获取单元， 用于获取多个多任务训练样本组合， 每个多任务训练样本组合包括多个标 注不同任务结果的点云数据样本； 计算单元， 用于利用点云多任务模型对每个多任务训练样本组合进行处理,得到每个 任务分支的损失函数， 分别计算每 个任务分支的主干网络参数的梯度； 梯度冲突消除单元， 用于对于每个任务分支上的主干网络参数的梯度， 判断其与其它 任务分支的主干网络参数的梯度是否存在冲突， 若存在则对其它任务分支的主干网络参数 的梯度进行 更新， 得到每 个任务分支的主干网络参数的最终梯度； 主干网络参数更新单元， 用于计算每个任务分支 的主干网络参数的最终梯度的和， 作 为当前多任务模型的主干网络参数的梯度； 利用当前多任务模型的主干网络参数的梯度更 新主干网络参数； 迭代单元， 用于基于更新后的主干网络参数和所述多个多任务训练样本组合， 继续进 行主干网络的参数更新过程， 直至达到预设的迭代结束条件， 将得到的主干网络参数作为 训练好的点云多任务模型的模型参数。 6.一种电子设备， 其特征在于， 包括： 存储器、 处理器和存储在所述存储器上并可在所 述处理器上运行 的计算机程序， 所述处理器执行所述计算机程序时实现如权利要求1 ‑4任 一项所述的点云多任务模型的训练方法。 7.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令被处理器执行时实现如权利要求1 ‑4任一项所述的点云多任务模型 的 训练方法。权　利　要　求　书 2/2 页 3 CN 115358413 A 3