(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210906930.8 (22)申请日 2022.07.29 (71)申请人 青岛海信 智慧生活科技股份有限公 司 地址 266100 山东省青岛市崂山区松岭路 399号 (72)发明人 李广琴　朱琳清　胡雁　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 刘醒晗 (51)Int.Cl. G06V 40/16(2022.01) G06T 7/90(2017.01) G06T 7/73(2017.01) G06T 7/11(2017.01) (54)发明名称 基于人脸关键点的肤色识别方法及电子设 备 (57)摘要 本申请涉及图像处理技术领域， 提供一种基 于人脸关键点的肤色识别方法及电子设备， 根据 人脸图像中提取的稠 密关键点集合， 检测目标对 象的头部是否正视摄像头， 当未正视时指导目标 对象正视摄像头， 以保证摄像头可以采集到包含 完整人脸数据的正面人脸图像， 提高肤色识别的 准确性； 同时， 考虑面部肤色是不均匀的， 因此， 根据多个预设语义信息， 从正面人脸图像中选择 出了部分目标关键点， 用于裁剪出不同部位的人 脸肤色关键区域， 并对各人脸肤 色关键区域进行 颜色空间变换后， 得到肤色特征明显的亮度信 息， 从而根据各人脸肤色关键区域的亮度均值， 综合识别目标对象的肤色类型， 以减小了面部肤 色分布不均对识别结果的影 响， 进一步提高肤色 识别的准确性。 权利要求书3页 说明书13页 附图10页 CN 115273196 A 2022.11.01 CN 115273196 A 1.一种基于人脸关键点的肤色识别方法， 其特 征在于， 包括： 获取摄像头采集的人脸图像， 并从所述人脸图像中提取稠密关键点 集合； 根据所述稠密关键点集合， 检测目标对象的头部是否正视所述摄像头， 并在检测到未 正视所述摄像头时， 显示所述稠密关键点集合中的各关键点以指导所述目标对象正视所述 摄像头； 根据所述目标对象正视所述摄像头的正面人脸图像， 获取所述正面人脸图像中的各目 标关键点； 根据多个预设语义信 息对应的目标关键点， 从所述正面人脸图像中裁剪出多个人脸肤 色关键区域； 根据多个所述人脸 肤色关键区域， 识别所述目标对象的肤色。 2.如权利要求1所述的方法， 其特征在于， 所述根据所述稠密关键点集合， 检测目标对 象是否正视所述摄 像头， 包括： 根据所述稠密关键点集合中每个关键点的语义信息， 选取多个检测关键点， 并根据多 个所述检测关键点的位置坐标， 确定所述目标对象的头部在水平方向和竖直方向的多段距 离； 根据确定的多段距离， 分别检测所述目标头像的头部在三维空间的三个方向上是否存 在偏转； 根据偏转情况， 检测所述目标对象的头 部是否正视所述摄 像头。 3.如权利要求2所述的方法， 其特征在于， 选取的检测关键点包括： 鼻梁关键点、 左脸眼 眶外轮廓关键点、 右脸眼眶外轮廓关键点、 嘴部中间关键点、 左脸腮部外轮廓关键点、 右脸 腮部外轮廓关键点、 额头上轮廓关键点、 下巴尖关键点； 所述根据多个所述检测关键点的位置坐标， 确定所述目标对象的头部在水平方向和竖 直方向的多段距离， 包括： 根据所述鼻梁关键点和所述左脸眼眶外轮廓关键点的位置坐标， 确定水平方向上鼻梁 到左脸轮廓的第一距离； 根据所述鼻梁关键点和所述右脸眼眶外轮廓关键点的位置坐标， 确定水平方向上鼻梁 到右脸轮廓的第二距离； 根据所述嘴部 中间关键点和所述左脸腮部外轮廓关键点的位置坐标， 确定水平方向上 嘴部到左脸轮廓的第三距离； 根据所述嘴部 中间关键点和所述右脸腮部外轮廓关键点的位置坐标， 确定水平方向上 嘴部到右脸轮廓的第四距离； 根据所述鼻梁关键点和所述额头上轮廓关键点的位置坐标， 确定竖直方向上眼部到额 头的第五距离； 根据所述鼻梁关键点和所述嘴部 中间关键点的位置坐标， 确定竖直方向上眼部到嘴部 的第六距离； 根据所述嘴部 中间关键点和所述下巴尖关键点的位置坐标， 确定竖直方向上嘴部到下 巴尖的第七距离 。 4.如权利要求3所述的方法， 其特征在于， 所述根据确定的多段距离， 分别检测所述目 标头像的头 部在三维空间的三个方向上 是否存在偏转， 包括：权　利　要　求　书 1/3 页 2 CN 115273196 A 2分别确定所述第 一距离和所述第 二距离的第 一比值、 所述第 三距离和所述第四距离的 第二比值、 所述第 五距离和所述第一距离的第三比值、 所述第三距离和所述第七距离的第 四比值； 根据所述第 一比值和所述第 二比值是否在第 一预设区间， 检测所述目标对象的头部是 否在Yaw方向上存在偏转； 根据所述第五距离、 所述第六距离和所述第七距离分别与第二预设阈值的比较结果， 检测所述目标对象的头 部是否在Ro ll方向上存在偏转； 根据所述第 三比值和所述第四比值是否在第 三预设区间， 检测所述目标对象的头部是 否在Pitc h方向上存在偏转。 5.如权利要求1所述的方法， 其特征在于， 所述根据多个预设语义信 息对应的目标关键 点， 从所述 正面人脸图像中裁 剪出多个人脸 肤色关键区域， 包括： 选取额头中间关键点、 左脸颊中心关键点、 右脸颊中心关键点和下巴中心关键点多个 目标关键点； 针对选取的每个目标关键点， 根据所述目标关键点所在的人脸部位包含的关键点， 确 定以所述目标关键点 为中心的正方 形的边长； 从所述正面人脸图像中裁剪出选取的各目标关键点对应的正方形区域， 得到多个人脸 肤色关键区域。 6.如权利要求1所述的方法， 其特征在于， 所述根据多个所述人脸肤色关键区域， 识别 所述目标对象的肤色， 包括： 将多个所述人脸 肤色关键区域从RGB颜色空间转换为YUV颜色空间； 分别确定每 个人脸肤色关键区域内各像素点的Y通道的亮度均值； 根据多个所述人脸 肤色关键区域的亮度均值， 确定目标亮度均值； 根据所述目标亮度均值， 识别所述目标对象的肤色类型。 7.如权利要求6所述的方法， 其特征在于， 所述根据所述目标亮度均值， 识别所述目标 对象的肤色类型， 包括： 当所述目标亮度均值大于等于第 一预设肤色阈值 时， 确定所述目标对象的肤色类型为 冷白色皮肤； 当所述目标亮度均值小于所述第 一预设肤色阈值且大于等于第 二预设肤色阈值时， 确 定所述目标对象的肤色类型为粉白色 皮肤； 当所述目标亮度均值小于所述第 二预设肤色阈值且大于等于第 三预设肤色阈值时， 确 定所述目标对象的肤色类型为黄色 皮肤； 当所述目标亮度均值小于所述第 三预设肤色阈值 时， 确定所述目标对象的肤色类型为 小麦色皮肤。 8.如权利要求1 ‑6中任一项所述的方法， 其特征在于， 获取摄像头采集的人脸图像之 前， 所述方法还 包括： 获取所述目标对象当前 所在环境的光照强度； 当所述光照强度小于预设光照阈值 时， 自动开启补光灯以将所述光照强度调整到目标 光照强度。 9.一种电子设备， 其特征在于， 包括处理器、 存储器、 摄像头和显示屏， 所述显示屏、 所权　利　要　求　书 2/3 页 3 CN 115273196 A 3