(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211142525.X (22)申请日 2022.09.20 (71)申请人 支付宝 （杭州） 信息技 术有限公司 地址 310000 浙江省杭州市西湖区西溪路 556号8层B段801-1 1 (72)发明人 郑丹丹　王昌宝　 (74)专利代理 机构 北京君慧知识产权代理事务 所(普通合伙) 11716 专利代理师 肖鹏 (51)Int.Cl. G06N 20/00(2019.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种端到端的模 型的量化训练方法、 装置以 及设备 (57)摘要 本说明书实施例公开了一种端到端的模型 的量化训练方法、 装置以及设备。 通过针对第i训 练层， 确定其所包含的训练参数的浮点真实值 Fi， 1≤i≤N， i为自然数； 采用预设的量化函数将 所述浮点值Fi转换为整型值Zi， 以及， 采用预设 的反量化函数将所述整型值Zi转换为浮点预测 值Fi’； 根据所述浮点真实值Fi和所述浮点预测 值Fi’确定所述第i训练层所对应的损失值ARi； 融合所述N个训练层所产生的N个损失值AR1至 ARN生成模型的损失值； 根据所述损失值对所述N 个训练层中所包含的训练参数进行训练， 从而实 现训练模型中所有层的权重量化参数和激活量 化参数的量 化训练。 权利要求书2页 说明书9页 附图3页 CN 115481751 A 2022.12.16 CN 115481751 A 1.一种端到端的模型的量化训练方法， 所述模型包括N个训练层， N为大于1的自然数， 所述方法包括： 针对第i训练层， 确定其所包 含的训练参数的浮 点真实值Fi， 1≤i≤N， i 为自然数； 采用预设的量化函数将所述浮点值Fi转换为整型值Zi， 以及， 采用预设的反量化函数将 所述整型值Zi 转换为浮点预测值Fi’； 根据所述 浮点真实值Fi和所述 浮点预测值Fi ’确定所述第i训练层所对应的损失值ARi； 融合所述 N个训练层所产生的N个损失值AR1至ARN生成模型的损失值； 根据所述损失值对所述 N个训练层中所包 含的训练参数进行训练。 2.如权利要求1所述的方法， 其中， 根据所述损 失值对所述N个训练层中所包含的训练 参数进行训练， 包括： 确定当前的训练轮次T， 根据所述训练轮次T确定在第T次训练中参与训练的训练参数 的数量K， 其中， 所述数量K与所述训练轮次T正相关； 根据所述损失值对所述K个训练参数进行训练。 3.如权利要求1所述的方法， 其中， 确定其所包 含的训练参数的浮 点真实值Fi， 包括： 采用与所述训练轮次T相关的激活函数将所述N个训练层中的训练参数进行激活转换， 生成第T次训练 时所得到的训练参数的浮点真实值； 其中， 当训练轮次T越大， 所述浮点真实 值越靠近0或者1。 4.如权利要求2或者3所述的方法， 其中， 根据 所述损失值对所述N个训练层中所包含的 训练参数进行训练， 包括： 当所述训练轮次T达到 预设值Tmax时， 将所述Tmax次训练得到的整型值ZTmax确定为所述模 型的目标 取值。 5.如权利要求1所述的方法， 其中， 融合所述N个训练层所产生的N个损失值AR1至ARN生 成模型的损失值， 包括： 根据预设的权 重分布， 加权求和所述 N个损失值AR1至ARN生成模型的损失值。 6.一种端到端的模型的量化训练装置， 所述模型包括N个训练层， N为大于1的自然数， 所述装置包括： 确定模块， 针对第i训练层， 确定其所包含的训练参数的浮点真实值Fi， 1≤i≤N， i为自 然数； 转换模块， 采用预设的量化函数将所述浮点值Fi转换为整型值Zi， 以及， 采用预设的反 量化函数将所述整型值Zi 转换为浮点预测值Fi’； 损失计算模块， 根据所述浮点真实值Fi和所述浮点预测值Fi ’确定所述第i训练层所对 应的损失值ARi； 融合模块， 融合所述 N个训练层所产生的N个损失值AR1至ARN生成模型的损失值； 训练模块， 根据所述损失值对所述 N个训练层中所包 含的训练参数进行训练。 7.如权利要求6所述的装置， 所述训练模块， 确定当前的训练轮次T， 根据 所述训练轮次 T确定在第T次训练中参与训练的训练参数的数量K， 其中， 所述数量K与所述训练轮次T正相 关； 根据所述损失值对所述K个训练参数进行训练。 8.如权利要求6所述的装置， 所述确定模块， 采用与所述训练轮次T相关的激活函数将 所述N个训练层中的训练参数进 行激活转换， 生成第T次训练时所得到的训练参数的浮点真权　利　要　求　书 1/2 页 2 CN 115481751 A 2实值； 其中， 当训练轮次T越大， 所述 浮点真实值越靠 近0或者1。 9.如权利 要求7或者8所述的装置， 所述训练模块， 当所述训练轮次T达到预设值Tmax时， 将所述Tmax次训练得到的整型值ZTmax确定为所述模型的目标 取值。 10.如权利要求6所述的装置， 所述融合模块， 根据预设的权重分布， 加权求和所述N个 损失值AR1至ARN生成模型的损失值。 11.一种电子设备， 包括： 至少一个处 理器； 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的指令， 所所述指令被所述至少一个 处理器执行， 以使所述至少一个处 理器能够执 行如权利要求1至 5任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115481751 A 3