(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211277456.3 (22)申请日 2022.10.19 (71)申请人 深圳海星智驾科技有限公司 地址 518110 广东省深圳市龙华区观湖街 道鹭湖社区澜清一路6号1号研发楼 801 (72)发明人 王发平　张翔　 (74)专利代理 机构 北京三聚阳光知识产权代理 有限公司 1 1250 专利代理师 李静玉 (51)Int.Cl. G06V 40/16(2022.01) G06V 40/18(2022.01) G06V 10/22(2022.01) G06V 10/70(2022.01)G06N 20/00(2019.01) (54)发明名称 一种工作人员疲劳检测方法、 装置、 电子设 备及存储介质 (57)摘要 本申请提供一种工作人员疲劳检测方法、 装 置、 电子设备及存储介质， 该方法包括： 获取待测 工作人员在工作过程中的图像采集数据； 根据图 像采集数据所表征的面部特征， 确定待测工作人 员的表情识别结果和眼部位置信息； 当待测工作 人员的表情识别结果为异常时， 根据眼部位置信 息， 确定待测工作人员的眼动轨迹信息； 根据待 测工作人员的眼动轨迹信息， 确定待测工作人员 的疲劳检测结果。 上述方案提供的方法， 通过在 确定待测工作人员的表情识别结果异常后， 进一 步根据待测工作人员的眼动轨迹信息确定其疲 劳检测结果， 实现了对监控室内工作人员疲劳状 态的精确检测。 权利要求书2页 说明书13页 附图4页 CN 115359545 A 2022.11.18 CN 115359545 A 1.一种工作人员疲劳检测方法， 其特 征在于， 包括： 获取待测工作人员在工作过程中的图像采集数据； 根据所述图像采集数据 所表征的面部特征， 确定所述待测工作 人员的表情识别结果和 眼部位置信息； 当所述待测工作人员的表情识别结果为异常时， 根据所述眼部位置信息， 确定所述待 测工作人员的眼动轨 迹信息； 根据所述待测工作人员的眼动轨 迹信息， 确定所述待测工作人员的疲劳检测结果。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述图像采集数据 所表征的面部 特征， 确定所述待测工作人员的表情识别结果和眼部位置信息， 包括： 基于预设的机器学习模型， 根据所述图像采集数据所表征的面部特征， 确定所述图像 采集数据中的每帧图像上的表情特 征； 根据所述图像采集数据中的每帧图像上的表情特征， 确定所述待测工作人员的表情识 别结果； 其中， 所述表情特征至少包括眼部位置信息， 所述眼部位置信息包括双眼瞳孔坐标和 眼睛边界坐标。 3.根据权利要求1所述的方法， 其特征在于， 所述根据所述眼部位置信息， 确定所述待 测工作人员的眼动轨 迹信息， 包括： 根据所述图像采集数据中的每帧图像的眼部位置信 息所表征的双眼瞳孔位置坐标， 确 定所述待测工作人员在所述图像采集数据采集期间的眼动轨 迹信息。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述图像采集数据中的每帧图像 的眼部位置信息所表征的双眼瞳孔位置坐标， 确定所述待测工作人员在所述图像采集数据 采集期间的眼动轨 迹信息， 包括： 对所述图像采集数据中的每帧图像进行分层处理， 以将各所述图像转换为不同像素分 辨率的金字塔分层图像； 其中， 金字塔最高层图像的像素分辨 率最低； 针对所述图像采集数据中相邻 两帧图像， 从金字塔的最高层向下逐层计算所述双眼瞳 孔位置坐标在所述相 邻两帧图像中前一帧图像的各层图像上对应的图像位置， 以及各层图 像在水平方向上的梯度值和垂直方向上的梯度值； 针对所述相邻 两帧图像的任一层图像， 根据 所述双眼瞳孔位置坐标在所述相邻 两帧图 像中前一帧图像的该层图像上对应的图像位置、 该层图像在水平方向上的梯度值和垂直方 向上的梯度值， 确定双眼瞳孔特征点在该层图像上的光流变化值及在下一层图像的初始 光 流值； 根据所述双眼瞳孔特征点在最后 一层图像上的光流变化值和初始光流值， 以及所述双 眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置， 确定所述双眼瞳孔特征点 在所述相邻两帧图像中后一帧图像上的图像位置； 根据所述双眼瞳孔特征点在所述前一帧图像的最后一层图像上的图像位置及在所述 后一帧图像上的图像位置， 确定待测工作人员在所述相邻两帧图像采集期间的眼动轨迹信 息； 根据所述待测工作 人员在所有所述相邻 两帧图像采集期间的眼动轨迹信 息， 确定所述 待测工作人员在所述图像采集数据采集期间的眼动轨 迹信息。权　利　要　求　书 1/2 页 2 CN 115359545 A 25.根据权利要求1所述的方法， 其特征在于， 所述根据所述待测工作 人员的眼动轨迹信 息， 确定所述待测工作人员的疲劳检测结果， 包括： 获取采集所述图像采集数据的目标摄 像头在水平方向像素当量和垂直方向像素当量； 根据所述待测工作人员的眼动轨迹信息表征的瞳孔的水平方向运动范围和垂直方向 运动范围， 以及所述 目标摄像头在水平方向像素当量和垂直方向像素当量， 确定所述待测 工作人员的眼跳范围信息； 其中， 所述眼跳范围信息包括双眼瞳孔在水平方向上 的眼跳幅 值和垂直方向上的眼跳幅值； 根据所述待测工作人员的眼跳范围信息， 确定所述待测工作人员的疲劳检测结果。 6.根据权利要求1所述的方法， 其特征在于， 所述根据所述待测工作 人员的眼动轨迹信 息， 确定所述待测工作人员的疲劳检测结果， 包括： 获取采集所述图像采集数据的目标摄 像头的帧频； 根据所述待测工作人员的眼动轨迹信息表征的各轨迹坐标上瞳孔停留点的数量和所 述帧频， 确定所述待测工作人员的注视时长； 根据所述待测工作人员的注视时长， 确定所述待测工作人员的疲劳检测结果。 7.根据权利要求5或6所述的方法， 其特征在于， 在获取待测工作人员在工作过程中的 图像采集数据之前， 所述方法还 包括： 获取若干个 摄像头采集的待测工作人员的面部图像； 根据各所述摄像头采集的面部图像表征的面部特征点分布情况， 在所述若干个摄像头 中挑选目标摄 像头。 8.一种工作人员疲劳检测装置， 其特 征在于， 包括： 获取模块， 用于获取待测工作人员在工作过程中的图像采集数据； 第一确定模块， 用于根据所述图像采集数据所表征的面部特征， 确定所述待测工作人 员的表情识别结果和眼部位置信息； 第二确定模块， 用于当所述待测工作人员的表情识别结果为异常时， 根据所述眼部位 置信息， 确定所述待测工作人员的眼动轨 迹信息； 检测模块， 用于根据所述待测工作人员的眼动轨迹信息， 确定所述待测工作人员的疲 劳检测结果。 9.一种电子设备， 其特 征在于， 包括： 至少一个处 理器和存 储器； 所述存储器存储计算机执 行指令； 所述至少一个处理器执行所述存储器存储的计算机执行指令， 使得所述至少一个处理 器执行如权利要求1至7任一项所述的方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质中存储有计算机 执行指令， 当处 理器执行所述计算机执 行指令时， 实现如权利要求1至7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115359545 A 3