(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211150073.X (22)申请日 2022.09.21 (71)申请人 荣耀终端 有限公司 地址 518040 广东省深圳市福田区香蜜湖 街道红荔西路8089 号深业中城6号楼A 单元3401 (72)发明人 杨建权　吴日辉　周茂森　杨永兴　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 王洪 (51)Int.Cl. G06T 3/00(2006.01) G06T 3/40(2006.01) G06N 20/00(2019.01) (54)发明名称 图像处理方法及电子设备 (57)摘要 本申请提供了一种图像处理方法及电子设 备。 该方法包括： 根据目标景物的主摄RGB图像， 对目标景物的原始多光谱图像进行图像仿射变 换， 得到与主摄RGB图像对齐的第一多光谱图像， 主摄RGB图像和原始多光谱图像是在相同时刻采 集的； 读取变换后的目标光源对应的目标光源类 型； 将主摄RGB图像、 第一多 光谱图像和目标光源 类型输入已训练好的重光照模型， 获得重光照模 型输出的目标光源照射下的目标主摄RGB图像， 目标主摄RGB图像是重光照模型根据目标光源的 光谱成分对主摄RGB图像进行重打光得到的。 这 样， 通过调节光源的光谱成分对图像进行重打 光， 可以对图像进行准确的重打光。 权利要求书3页 说明书12页 附图3页 CN 115546010 A 2022.12.30 CN 115546010 A 1.一种图像处 理方法， 其特 征在于， 应用于电子设备， 包括： 根据目标景物的主摄RGB图像， 对所述目标景物的原始多光谱图像进行图像仿射变换， 得到与所述主摄RGB图像对齐的第一多光谱图像， 所述主摄RGB图像和所述原始多光谱图像 是在相同时刻采集的； 读取变换后的目标光源 对应的目标光源类型； 将所述主摄RGB图像、 所述第一多光谱图像和所述目标光源类型输入已训练好的重光 照模型， 获得所述重光照模 型输出的所述目标光源照射下的目标主摄RGB图像， 所述目标主 摄RGB图像是所述重光照模型根据所述目标光源的光谱成分对所述主摄RGB图像进行重打 光得到的。 2.根据权利要求1所述的方法， 其特征在于， 所述重光照模型对所述主摄RGB图像的处 理过程包括： 根据所述目标光源类型和所述第 一多光谱图像， 确定所述第 一多光谱图像中的所述目 标景物在所述目标光源照射下的第二多光谱图像； 根据所述主摄RGB图像和所述第二多光谱图像， 得到目标主摄RGB图像。 3.根据权利要求2所述的方法， 其特征在于， 根据 所述目标光源类型和所述第 一多光谱 图像， 确定所述第一多光谱图像中的所述目标景物在所述目标光源照射下的第二多光谱图 像， 包括： 将所述第一多光谱图像分解 为反射率图和第一 光照图； 根据所述目标光源类型， 确定所述目标光源 对应的目标光谱分布信息； 根据所述目标光谱分布信息， 对所述第一 光照图的光谱进行调整， 得到第二 光照图； 基于所述第 二光照图对所述反射率图进行渲染， 得到所述第 一多光谱图像中的所述目 标景物在所述目标光源照射下的第二多光谱图像。 4.根据权利要求2所述的方法， 其特征在于， 将所述第 一多光谱图像分解为反射率图和 第一光照图， 包括： 将所述第一多光谱图像输入已训练好的分解模型， 由所述分解模型输出所述第 一多光 谱图像对应的反射 率图和第一 光照图。 5.根据权利要求1所述的方法， 其特 征在于， 所述重光照模型的生成方法包括： 构建深度学习网络模型， 并设置初始参数值， 所述深度学习网络模型包括分解网络、 渲 染网络和超分网络； 获得若干组样本数据， 每组样本数据包括针对 同一景物采集的第一样本多光谱图像、 第一样本RGB图像、 第二样 本多光谱图像、 第二样 本RGB图像， 所述第一样 本多光谱图像和第 一样本RGB图像是在第一时刻、 景物处于第一光源的情况下采集的， 所述第二样本多光谱图 像和第二样本RGB图像是在第二时刻、 景物处于第二 光源的情况 下采集的； 利用所述样本数据对所述深度 学习网络模型进行训练， 得到训练完毕的深度 学习网络 模型， 以所述训练完毕的深度学习网络模型作为重光照模型。 6.根据权利要求5所述的方法， 其特征在于， 利用所述样本数据对所述深度学习网络模 型进行训练， 得到训练完毕的深度学习网络模型， 包括： 利用所述样本数据中的第一样本多光谱图像对所述深度学习网络模型中的分解网络 进行训练， 得到训练完毕的分解网络；权　利　要　求　书 1/3 页 2 CN 115546010 A 2将所述深度学习网络模型中的分解网络的参数值设置为训练完毕的分解网络的参数 值， 得到第一深度学习网络模型； 利用所述样本数据对所述第 一深度学习网络模型中的渲染网络和超分网络进行训练， 得到训练完毕的渲染网络和训练完毕的超分网络； 将训练完毕的分解网络、 训练完毕的渲染网络和训练完毕的超分网络， 组成训练完毕 的深度学习网络模型。 7.根据权利要求6所述的方法， 其特征在于， 利用所述样本数据中的第 一样本多光谱图 像对所述深度学习网络模型中的分解网络进行训练， 得到训练完毕的分解网络， 包括： 在训练过程中， 第1组样本数据对应的深度学习 网络模型中分解网络的参数值为所述 初始参数值中属于分解网络的参数值， 第j组样本数据对应的深度学习网络模型中分解网 络的参数值为经第 j‑1组样本数据训练后调整的参数值， j为自然 数， 且j≥2； 对于每组样 本 数据， 执行如下操作： 将该组样本数据中的第一样本多光谱图像输入该组样本数据对应的深度学习 网络模 型中的分解网络， 得到 输出反射 率图和输出光照图； 根据该组样本数据中的第 一样本多光谱图像以及输出反射率图和输出光照图， 确定该 组样本数据对应的第一损失函数的函数值； 如果该组样本数据对应的第一损 失函数的函数值小于或等于第一阈值， 停止训练， 将 该组样本数据对应的分解网络作为训练完毕的分解网络； 否则， 根据所述第一损失函数 的 函数值调整所述分解网络的参数值， 执 行下一组样本数据的训练。 8.根据权利要求7所述的方法， 其特征在于， 利用所述样本数据对所述第 一深度学习网 络模型中的渲染网络和超分 网络进行训练， 得到训练完 毕的渲染网络和训练完 毕的超分 网 络， 包括： 在训练过程中， 深度 学习网络模型中分解网络的参数值为训练完毕的分解网络的参数 值； 第1组样本数据对应的深度学习网络模型中渲染网络和超分网络的参数值为所述初始 参数值中属于渲染网络和超分网络的参数值， 第j组样本数据对应的深度学习网络模型中 渲染网络和超分网络的参数值为经第 j‑1组样本数据训练后调整的参数值， j为自然 数， 且j ≥2； 对于每组样本数据， 执 行如下操作： 将该组样本数据中的第一样本多光谱图像、 第一样本RGB图像以及第一光源的光源类 型输入该组样本数据对应的深度学习网络模型， 得到渲 染网络输出的输出多光谱图像和超 分网络输出的输出RGB图像； 根据该组样本数据中的第二样本多光谱图像、 第二样本RGB图像以及所述输出多光谱 图像和所述输出RGB图像， 确定该组样本数据对应的第二损失函数的函数值； 如果该组样本数据对应的第二损 失函数的函数值小于或等于第二阈值， 停止训练， 将 该组样本数据对应的渲染网络和超分网络作为训练完毕的渲染网络和超分网络； 否则， 根 据所述第一损失函数的函数值调整深度学习网络模型中渲染网络和超分 网络的参数值， 执 行下一组样本数据的训练。 9.根据权利要求2所述的方法， 其特征在于， 根据所述主摄RGB图像和所述第二多光谱 图像， 得到目标主摄RGB图像， 包括： 以所述主摄RGB图像的信息作为细节引导， 对所述第 二多光谱图像进行超分处理， 得到权　利　要　求　书 2/3 页 3 CN 115546010 A 3