(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210963398.3 (22)申请日 2022.08.11 (71)申请人 中国工商银行股份有限公司 地址 100140 北京市西城区复兴门内大街 55号 (72)发明人 江文乐　杨洁琼　张楚熠　罗亚明　 (74)专利代理 机构 北京康信知识产权代理有限 责任公司 1 1240 专利代理师 周春枚 (51)Int.Cl. G06Q 20/40(2012.01) G06V 40/16(2022.01) G06V 40/40(2022.01) G06V 40/70(2022.01) G10L 17/02(2013.01)G10L 17/06(2013.01) H04L 9/40(2022.01) H04L 67/1097(2022.01) (54)发明名称 用户身份信息的校验方法及系统、 存储介 质、 电子设备 (57)摘要 本发明公开了一种用户身份信息的校验方 法及系统、 存储介质、 电子设备， 涉及生物识别领 域， 其中， 该方法包括： 获取待校验用户在当前业 务流程的身份标识、 生物特征分片数据和视频帧 数据； 在身份标识通过校验的情况下， 采用动作 检测模型识别视频帧数据中的人体动作， 并将人 体动作与当前业务流程中的动作要求指令进行 比对； 采用将生物特征分片数据与预先录入的生 物特征集合进行比对； 在待 校验用户的人体动作 和生物特征都通过比对的情况下， 确认待校验用 户的身份信息通过校验， 生成用户校验报告。 本 发明解决了相关技术中， 由于金融机构线上业务 系统不成熟、 生物识别手段单一造成的用户信息 泄露的技术问题。 权利要求书4页 说明书18页 附图6页 CN 115330392 A 2022.11.11 CN 115330392 A 1.一种用户身份信息的校验方法， 其特 征在于， 应用于服 务器， 包括： 获取待校验用户在 当前业务流程的身份标识、 生物特征分片数据和视频帧数据， 其中， 所述生物特征分片数据是对采集的所述待校验用户的生物特征进 行分片处理得到的数据， 所述视频帧数据是对所述待校验用户进行视频面审时采集到的数据； 在所述身份标识通过校验的情况下， 采用动作检测模型识别所述视频帧数据中的人体 动作， 并将所述人体动作 与所述当前业 务流程中的动作要求指令进行比对； 采用生物特征识别模型将所述生物特征分片数据与预先录入的生物特征集合进行比 对； 在所述待校验用户的人体动作和生物特征都通过比对的情况下， 确 认所述待校验用户 的身份信息通过 校验， 生成用户校验报告。 2.根据权利要求1所述的校验方法， 其特征在于， 获取待校验用户在 当前业务流程的身 份标识、 生物特 征分片数据和视频帧数据的步骤， 包括： 通过校验终端获取所述待校验用户的身份证件， 并识别出所述身份证件上的所述身份 标识， 其中， 所述校验终端为所述待校验用户所使用的终端； 通过所述校验终端采集所述待校验用户的人脸图像和声音数据， 并提取所述人脸图像 中的人脸特 征向量以及提取 所述声音数据中的声纹数据； 通过所述校验终端对所述人脸特征向量和所述声纹数据进行分片处理， 生成所述生物 特征分片数据； 在视频面审时， 通过所述校验终端采集所述待校验用户的面审视频， 并提取所述面审 视频中的所述视频帧数据。 3.根据权利要求2所述的校验方法， 其特征在于， 在采集所述待校验用户的人脸图像和 声音数据之前， 还 包括： 随机生成动作指令和炫彩光信号， 其中， 所述动作指令用于指示所述待校验用户面对 显示屏幕， 在反射 光下完成指定检测动作， 所述炫彩光信号是基于三维成像原理生成的； 发送所述动作指令 至所述校验终端； 接收所述校验终端传输的样本检测数据， 其中， 所述样本检测数据用于对所述待校验 用户进行活体 检测； 在所述样本检测数据指示所述待校验用户通过活体检测的情况下， 通过所述校验终端 开始采集所述待校验用户的人脸图像和声 音数据。 4.根据权利要求2所述的校验方法， 其特征在于， 提取所述人脸图像中的人脸特征向量 以及提取 所述声音数据中的声纹数据的步骤， 包括： 通过所述校验终端采用多任务卷积神经网络提取每张所述人脸图像中的人脸框； 通过所述校验终端通过人脸识别模型提取所述人脸框 中的人脸信 息， 并将所述人脸信 息映射至多维空间向量， 得到所述人脸特 征向量； 通过所述校验终端对所述声 音数据进行 预处理； 通过所述校验终端对完成预处理后的所述声音数据进行快速傅里叶变换处理、 卷积运 算处理和离散余弦变换， 得到梅尔倒谱系 数， 并将所述梅尔倒谱系 数作为所述声音数据中 的声纹数据。 5.根据权利要求2所述的校验方法， 其特征在于， 在对所述人脸特征向量和所述声纹数权　利　要　求　书 1/4 页 2 CN 115330392 A 2据进行分片处 理， 生成所述 生物特征分片数据之后， 还 包括： 通过所述校验终端采用预设对称加密算法， 对所述生物特征分片数据进行加密， 得到 加密密文； 通过所述校验终端将所述加密 密文传输 至所述服务器。 6.根据权利要求5所述的校验方法， 其特征在于， 在获取待校验用户在当前业务流程的 身份标识、 生物特 征分片数据和视频帧数据之后， 包括： 接收涉及所述生物特征分片数据的加密密文， 其中， 所述加密密文按照所述人脸特征 向量和所述声纹数据分类为第一密文数据和第二密文数据； 将所述第一密文数据分配至第 一缓存空间， 并将所述第 二密文数据分配至第 二缓存空 间， 其中， 所述第一缓存空间对应有第一解密计算节点， 所述第二缓存空间对应有第二解密 计算节点； 采用所述第 一解密计算节点将所述第 一密文数据还原为人脸特征分片数据， 并采用所 述第二解密计算节点将所述第二密文数据还原为声纹分片数据； 采用所述预设对称加密算法， 对所述人脸特征分片数据和所述声纹分片数据进行解 密， 得到所述 生物特征分片数据。 7.根据权利要求1所述的校验方法， 其特征在于， 在获取待校验用户在当前业务流程的 身份标识、 生物特 征分片数据和视频帧数据之后， 包括： 在所述生物特征分片数据和所述视频帧数据中生成预设对抗扰动信息， 其中， 所述对 抗扰动信息用于防御外 部设备的对抗样本 。 8.一种用户身份信 息的校验方法， 其特征在于， 应用于金融机构的审核终端， 所述审核 终端分别连接校验终端与服 务器， 所述校验终端为待校验用户使用的终端， 包括： 接收所述校验终端传输的身份标识、 生物特征分片数据和视频帧数据， 其中， 所述生物 特征分片数据是对采集的所述待校验用户的生物特征进行分片处理得到的数据， 所述视频 帧数据是对所述待校验用户进行视频面审时采集到的数据； 将所述身份标识、 所述 生物特征分片数据和所述视频帧数据传输 至所述服务器； 接收所述服务器传输的用户校验报告， 其中， 所述用户校验报告中至少包括： 人体动作 比对结果和生物特征比对结果， 所述人体动作比对结果是指在所述身份标识 通过校验的情 况下， 采用动作检测模型识别所述视频帧数据中的人体动作， 并将所述人体动作与当前业 务流程中的动作要求指 令进行比对后得到的结果， 所述生物特征比对结果是指采用生物特 征识别模型将所述 生物特征分片数据与预 先录入的生物特 征集合进行比对后得到的结果； 基于所述用户校验报告， 输出对所述待校验用户在所述当前业务流程的流程审核结 果。 9.一种用户身份信息的校验方法， 其特 征在于， 应用于云服 务器， 包括： 接收身份校验指令， 其中， 所述身份校验指令中携带有待校验用户的身份标识、 生物特 征分片数据和视频帧数据， 所述生物特征分片数据是对采集的所述待校验用户的生物特征 进行分片处理得到的数据， 所述视频帧数据是对所述待校验用户进行视频面审时采集到的 数据； 响应所述身份校验指令， 对所述身份标识进行校验， 并在所述身份标识通过校验的情 况下， 采用动作检测模型识别所述视频帧数据中的人体动作， 并将所述人体动作与当前业权　利　要　求　书 2/4 页 3 CN 115330392 A 3