(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211021851.5 (22)申请日 2022.08.24 (71)申请人 清华大学 地址 100084 北京市海淀区清华园1号 申请人 武汉大学中南医院 (72)发明人 席子昂　袁玉峰　刘荔　王莹　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 于腾昊 (51)Int.Cl. G16H 50/80(2018.01) G06V 20/40(2022.01) G06V 40/20(2022.01) G06V 10/25(2022.01) G06V 10/82(2022.01)G06T 7/73(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 识别医院内医护手部触摸行为的方法、 装 置、 设备及 介质 (57)摘要 本申请公开了一种识别医院内医护手部触 摸行为的方法、 装置、 设备及介质， 其中， 方法包 括： 采集医院内病房中每张病床不同角度的多个 视频信息； 将多个视频信息中每个视频信息在第 一视频流和第二视频流中分别计算每个医护或 者患者的追踪位置及其行为与手消毒液、 病床、 固定医疗设备的ROI及ROI内属于该物体的Mask 坐标； 根据每个医护或者患者的追踪位置及其行 为与手消毒液、 病床、 固定医疗设备的ROI及ROI 内属于该物体的Mask坐标识别每个医护或者患 者在病房的手部触摸行为。 本申请实施例能够通 过图像准确观察、 追踪、 评估医护手部触摸行为 情况， 有效降低医院感染， 在发生病毒传染事件 时能有效溯源， 由此， 解决了医院内无法实时监 测统计医院内 医护手部接触状况等问题。 权利要求书2页 说明书9页 附图3页 CN 115376702 A 2022.11.22 CN 115376702 A 1.一种识别医院内 医护手部触摸行为的方法， 其特 征在于， 包括以下步骤： 采集医院内病房中每张病床不同角度的多个视频信息； 将所述多个视频信息中每个视频信息在第一视频流和第二视频流中分别计算每个医 护或者患者的追踪位置及其行为与手消毒液、 病床、 固定医疗设备的ROI及所述ROI内属于 该物体的Mask 坐标； 以及 根据所述每个医护或者患者的追踪位置及其行为与所述手消毒液、 所述病床、 所述固 定医疗设备的ROI及所述ROI内属 于该物体的Mask坐标识别所述每个医护或者患者在所述 病房的手部触摸行为。 2.根据权利要求1所述的方法， 其特征在于， 所述将所述多个视频信 息中每个视频信 息 在第一视频流和第二视频流中分别计算每个医护或者患者的追踪位置及其行为与手消毒 液、 病床、 固定医疗设备的ROI及所述ROI内属于该物体的Mask 坐标， 包括： 对于每个摄像头， 基于所述第一视频流调用预设YOLO目标检测模型区分所述医护和所 述患者； 对所述医护调用预设 OpenPose框架， 提取 人体骨骼点 坐标； 对每个进入所述病区的医护人员赋予唯一身份标识， 并统一每个视频信 息中同一个人 员的身份标识， 将所述人体骨骼点坐标与所述唯一身份标识绑定， 以在摄像头视野场景下 进行单人位置追踪， 并记录每 个唯一身份标识的行为。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述多个视频信 息中每个视频信 息 在第一视频流和第二视频流中分别计算每个医护或者患者的追踪位置及其行为与手消毒 液、 病床、 固定医疗设备的ROI及所述ROI内属于该物体的Mask 坐标， 包括： 对于每个摄像头， 基于所述第二视频流， 通过预设Detectron2目标检测模型识别所述 手消毒液、 所述病床、 所述固定医疗设备； 对所述手消毒液、 所述病床、 所述固定医疗设备进行实例分割， 标记出所述手消毒液、 所述病床、 所述固定医疗设备的ROI及ROI内属于该物体的Mask 坐标。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述每个医护或者患 者的追踪位 置及其行为与所述手消毒液、 所述病床、 所述固定医疗设备的ROI及所述ROI内属于该物体 的Mask坐标识别所述每 个医护或者患者在所述病房的手部触摸行为， 包括： 判断每帧图像中手腕点 坐标与所述ROI内属于该物体的Mask 坐标是否重合； 如果与所述手消毒液重合， 则标记洗手/手消毒动作； 如果与所述病床重合， 则标记医患接触行为动作； 如果与所述固定医疗设备重合， 则标记为设备接触动作。 5.根据权利要求4所述的方法， 其特征在于， 所述根据所述每个医护或者患 者的追踪位 置及其行为与所述手消毒液、 所述病床、 所述固定医疗设备的ROI及所述ROI内属于该物体 的Mask坐标识别所述每 个医护或者患者在所述病房的手部触摸行为， 还 包括： 统计所述洗手/手消毒动作、 所述医患接触行为动作和所述设备接触动作的标记累计 次数； 在所述标记累计次数 大于预设阈值时， 记录 至对应的唯一身份标识中。 6.一种识别医院内 医护手部触摸行为的装置， 其特 征在于， 包括： 采集模块， 用于采集医院内病房中每张病床不同角度的多个视频信息；权　利　要　求　书 1/2 页 2 CN 115376702 A 2计算模块， 用于将所述多个视频信 息中每个视频信 息在第一视频流和第 二视频流中分 别计算每个医护或者患者的追踪位置及其行为与手消毒 液、 病床、 固定医疗设备的ROI及所 述ROI内属于该物体的Mask 坐标； 以及 识别模块， 用于根据所述每个医护或者患者的追踪位置及其行为与所述手消毒液、 所 述病床、 所述固定医疗设备的ROI及所述ROI内属于该物体的Mask坐标识别所述每个医护或 者患者在所述病房的手部触摸行为。 7.根据权利要求6所述的装置， 其特 征在于， 所述计算模块包括： 区分单元， 用于对于每个摄像头， 基于所述第一视频流调用预设YOLO目标检测模型区 分所述医护和所述患者； 提取单元， 用于对所述医护调用预设 OpenPose框架， 提取 人体骨骼点 坐标； 追踪单元， 用于对每个进入所述病区的医护人员赋予唯一身份标识， 并统一每个视频 信息中同一个人员的身份标识， 将所述人体骨骼点坐标与所述唯一身份标识绑定， 以在摄 像头视野场景 下进行单人位置追踪， 并记录每 个唯一身份标识的行为。 8.根据权利要求7 所述的装置， 其特 征在于， 所述计算模块还 包括： 检测单元， 用于对于每个摄像头， 基于所述第二视频流， 通过预设Detectron2目标检测 模型识别所述手消毒液、 所述病床、 所述固定医疗设备； 分割单元， 用于对所述手消毒液、 所述病床、 所述固定医疗设备进行实例分割， 标记出 所述手消毒液、 所述病床、 所述固定医疗设备的ROI及ROI内属于该物体的Mask 坐标。 9.根据权利要求8所述的装置， 其特 征在于， 所述识别模块包括： 判断单元， 用于判断每帧图像中手腕点坐标与所述ROI内属于该物体的Mask坐标是否 重合； 第一标记单 元， 用于当与所述手消毒液重合时， 标记洗手/手消毒动作； 第二标记单 元， 用于当与所述病床重合时， 标记医患接触行为动作； 第三标记单 元， 用于当与所述固定医疗设备重合时， 标记为设备接触动作。 10.根据权利要求9所述的装置， 其特 征在于， 所述识别模块还 包括： 统计单元， 用于统计所述洗手/手消毒动作、 所述医患接触行为动作和所述设备接触动 作的标记累计次数； 记录单元， 用于在所述标记累计次数 大于预设阈值时， 记录 至对应的唯一身份标识中。 11.一种电子设备， 其特征在于， 包括： 存储器、 处理器及存储在所述存储器上并可在所 述处理器上运行的计算机程序， 所述处理器执行所述程序， 以实现如权利要求 1‑5任一项所 述的识别医院内 医护手部触摸行为的方法。 12.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 该程序被处理器 执行， 以用于实现如权利要求1 ‑5任一项所述的识别医院内 医护手部触摸行为的方法。权　利　要　求　书 2/2 页 3 CN 115376702 A 3