(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211224359.8 (22)申请日 2022.10.09 (65)同一申请的已公布的文献号 申请公布号 CN 115292722 A (43)申请公布日 2022.11.04 (73)专利权人 浙江君同智能科技有限责任公司 地址 310059 浙江省杭州市滨江区浦沿街 道东信大道6 6号二号楼314室 (72)发明人 韩蒙　周凯龙　张龙源　章燕　 林昶廷　洪榛　许海涛　俞伟平　 (74)专利代理 机构 杭州天勤知识产权代理有限 公司 33224 专利代理师 曹兆霞 (51)Int.Cl. G06F 21/57(2013.01) G06N 20/00(2019.01) G06T 3/00(2006.01) (56)对比文件 CN 111600835 A,2020.08.28 US 20210 35331 A1,2021.02.04CN 113674140 A,2021.1 1.19 CN 112215201 A,2021.01.12 CN 114758198 A,202 2.07.15 KR 10212715 3 B1,2020.0 6.26 CN 112215227 A,2021.01.12 李智敏等.基 于深度学习的灰度图像实际颜 色预测. 《计算机 应用》 .2019,全 文. 黎超超.面向深度学习模型的对抗 性样本生 成算法研究. 《中国优秀硕士学位 论文全文数据 库 （电子期刊） 》 .202 2,第2022年卷(第4期),全 文. 杨思燕.基 于双色彩空间相结合的WC E图像 出血检测. 《物联网技 术》 .2020,(第10期),全 文. 刘强春.图像对抗样本生成中的黑盒攻击方 法研究. 《中国优秀硕士学位 论文全文数据库 （电 子期刊） 》 .2021,第2021年卷(第2期),全 文. Chaochao Li et al.An improved adversarial Example Generati ng method with optimized spatial transform. 《IE EE》 .2021, 审查员 李思彤 (54)发明名称 基于不同色彩空间的模型安全检测方法和 装置 (57)摘要 本发明公开了一种基于不同色彩空间的模 型安全检测方法和装置， 包括： 针对不可知模型 结构和训练过程的待检测模型， 通过构建其在 RGB空间的替代模型来模拟待检测模型的映射过 程， 在此基础上， 将RGB空间的测试图像转换为其 他多类色彩 空间的色彩空间图像， 并构建对应的 多类色彩 空间模型， 基于替代模 型和多类色彩空 间模型在RGB以及其他 色彩空间构建扰动图像和 多类色彩扰动图像， 通过比较待检测模 型对扰动 图像和多类色彩扰动图像的预测结果来进行安 全性检测， 这样能够准确检测各种色彩空间图像 攻击模型导 致的不安全性。 权利要求书3页 说明书8页 附图1页 CN 115292722 B 2022.12.27 CN 115292722 B 1.一种基于不同色彩空间的模型安全检测方法， 其特 征在于， 包括以下步骤： 获取RGB空间的待检测模型； 利用RGB空间的测试图像及测试标签构建待检测模型的替代模型， 该替代模型同样在 RGB空间； 将RGB空间的测试图像转换为除RGB空间外的多类色彩空间的色彩空间图像， 利用每类 色彩空间图像对替代模型 再训练以构建每 类色彩空间对应的色彩空间模型； 利用测试图像在替代模型中相对于测试标签的损失梯度来构建测试扰动， 并将测试扰 动添加到 输入的测试图像以得到RGB空间的扰动图像； 利用每类色彩空间图像在对应色彩空间模型中相对于测试标签的损失梯度来构建色 彩扰动， 并将色彩扰动添加到 输入的色彩空间图像以得到每 类色彩空间的色彩扰动图像； 将每类色彩扰动图像转换到RGB空间， 得到RGB空间的每 类色彩扰动图像； 将RGB空间的扰动图像和RGB空间的每类色彩扰动图像输入至待检测模型， 得到待检测 模型的预测结果； 判断只要存在一类色彩扰动图像在待检测模型的预测结果优于扰动图像在待检测模 型的预测结果， 则认为待检测模型不 安全。 2.根据权利要求1所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 所述色 彩空间包括HSV空间、 Lab空间、 XYZ空间、 GRAY空间、 HLS空间。 3.根据权利要求1所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 针对测 试图像， 采用以下公式生成测试扰动 ： 其中， 表示调节权重， 表示将测试图像 x输入至参数为 的替代模型后预 测结果与测试标签 y之间的损 失函数， 表示对损失函数相对于 x的求导， 即 为损失梯度， 表示取传入值的符号。 4.根据权利要求2所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 当色彩 空间为HSV空间时， HSV空间的色彩扰动图像的生成方式包括： 首先， 将HSV空间的色彩空间图像输入至HSV空间对应的色彩空间模型中， 计算H通道的 预测结果相对于测试标签的第一损失梯度， 依据第一损失梯度来构建第一扰动， 计算S通道 的预测结果相对于测试 标签的第二损失梯度， 依据第二损失梯度来构建第二扰动； 然后， 根据第一扰动和第二扰动采用以下公式确定H、 S、 V三通道添加扰动后的值后， 结 合H、 S、 V三 通道的添加扰动 后的值得到 HSV空间的色彩扰动图像； 其中， 表示H通道对应的第一扰动， 表示H通道值， 表示添加扰动的H通道值， 表示模运算， 表示S通道对应的第二扰动， 表示S通道值， 表示添加扰动的S通权　利　要　求　书 1/3 页 2 CN 115292722 B 2道值， 表示将 中像素点值限制在0 ‑1之间， 表示V通道值， 表示添加 扰动的V通道值， 表示HSV空间的色彩空间图像， 表示HSV空间的色彩扰动图像， 表示输入图像的预测结果， s.t 表示条件。 5.根据权利要求2所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 当色彩 空间为Lab空间时， Lab空间的色彩扰动图像的生成方式包括： 首先， 将Lab空间的色彩空间图像输入至Lab空间对应的色彩空间模型中， 计算 a通道的 预测结果相对于测试标签的第三损失梯度， 依据第三损失梯度来构建第三扰动， 计算b通道 的预测结果相对于测试 标签的第四损失梯度， 依据第四损失梯度来构建第四扰动； 然后， 根据第三扰动和第四扰动采用以下公式确定L、 a、 b三通道添加扰动后的值后， 结 合L、 a、 b三通道的添加扰动 后的值得到Lab空间的色彩扰动图像； 其中， 表示a通道对应的第三扰动， 表示a通道值， 表示添加扰动的a通道值， 表 示 将 中 的 像 素 点 值 限 制 在 ‑1 2 8 和 1 2 7 之 间 ， 表示将 中的像素点值限制在 ‑128和127之间， 表示b通道对 应的第四扰动， 表示b通道值， 表示添加 扰动的b通道值， 表示L通道值， 表示添加 扰动的L通道值， 表示Lab空间的色彩空间图像， 表示Lab空间的色彩扰动图像， 表示输入图像的预测结果， s.t 表示条件。 6.根据权利要求1所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 所述利 用RGB空间的测试图像及测试 标签构建待检测模型的替代模型， 包括： 准备一个深度 学习模型， 将RGB空间的测试图像输入至深度 学习模型中， 依据测试标签 对深度学习模型进行监督学习， 当监督学习后的深度学习模型在测试图像的测试准确性与 待检测模 型在测试图像的测试准确性相差小于5%时， 则认 为监督学习后的深度学习模型为 待检测模型的替代模型。 7.根据权利要求1所述的基于不同色彩空间的模型安全检测方法， 其特征在于， 在获得 待检测模型对扰动图像和每类色彩扰动图像的预测结果， 记录正确分类和错误分类的比 例， 以确定待检测模型对扰动图像和每 类色彩扰动图像的预测准确率； 然后， 判断当存在一类色彩扰动图像在待检测模型的预测准确率高于扰动图像在待检 测模型的预测准确率时， 则认为待检测模型不 安全， 否则认为待检测模型安全。 8.根据权利要求1 ‑7任一项所述的基于不同色彩空间的模型安全检测方法， 其特征在 于， 还包括： 将RGB空间的扰动图像和RGB空间的每类 色彩扰动图像输出打印得到 打印图像， 采集置于物理环境中的打印图像得到采样图像， 利用 待检测模型预测采样图像的预测结 果； 判断只要存在一类色彩扰动图像对应的采样图像在待检测模型的预测结果优于扰动权　利　要　求　书 2/3 页 3 CN 115292722 B 3