(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210815080.0 (22)申请日 2022.07.12 (71)申请人 北京交通大 学 地址 100044 北京市海淀区西直门外上园 村3号 (72)发明人 金一　王佳艺　冯松鹤　郎丛妍　 王涛　李浥东　 (74)专利代理 机构 北京市商 泰律师事务所 11255 专利代理师 邹芳德 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/774(2022.01)G06V 10/82(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 任务自适应的小样本行为识别方法及系统 (57)摘要 本发明提供一种任务自适应的小样本行为 识别方法及系统， 属于计算机视觉技术领域， 获 取待识别的视频数据； 利用预先训练好的识别模 型， 对获取的所述待识别的视频数据进行处理， 得到动作类别结果加入注意力层， 提取行为主体 在图片帧中的位置信息以及图像内容信息， 通过 注意力机制对提取的特征特征进行调制， 获取同 一类动作的类内特征共性 以及不同类动作的类 间的差异性。 本发明提取特征时加入注意力层， 产生更具分辨性的特征表示； 对同类行为中不同 样本进行随机多模态融合， 扩充了支持集数据， 使得模型对行为主体所在环境的变换鲁棒性更 强； 通过task级的特征调制， 使特征更符合当前 任务的需求并聚焦于行为主体， 有助于提高分类 准确率。 权利要求书2页 说明书9页 附图2页 CN 115240106 A 2022.10.25 CN 115240106 A 1.一种任务自适应的小样本行为识别方法， 其特 征在于， 包括： 获取待识别的视频 数据； 利用预先训练好的识别模型， 对获取的所述待识别的视频数据进行处理， 得到动作类 别结果； 其中， 所述预先训练好的识别模型中， 加入注意力层， 提取行为主体在图片帧中的 位置信息以及图像内容信息， 将RGB特征和Depth特征进行融合， 通过注意力机制对提取的 特征特征进行调制， 获取同一类动作的类内特 征共性以及不同类动作的类间的差异性。 2.根据权利要求1所述的任务自适应的小样本行为识别方法， 其特征在于， 训练所述识 别模型包括： 将准备好的视频 数据集做分帧处 理， 得到RGB图像集和深度图像集； 将RGB图像集和深度图像集送入ResNet ‑50中提取特征， 并去除ResNet ‑50最后的平均 池化层和全连接层， 送入注意力层生成注意力图； 将一对RGB特 征和深度特 征进行多模态融合， 得到加强后的特 征表示； 利用支持集类特 征对支持集类特 征和查询集特 征做特征加强； 采用欧几里得距离作为距离度量计算配对的支持集类原型表示和查询集特征之间的 相似度， 以得到待查询视频的预测动作类别标签。 3.根据权利要求2所述的任务自适应的小样本行为识别方法， 其特征在于， 送入注意力 层生成注意力图， 包括： 去除ResNet ‑50最后的平均池化层和全连接层； 将ResNet ‑50的 layer4输出的特征图送入CAM模块生 成通道注 意力图； 将空间注 意力图与特征图相乘， 得到 通道注意力加权后的特征图； 将加权后的特征图送入SAM模块生成空间注意力图； 将空间注 意力图与特 征图相乘， 得到空间注意力加权后的特 征图。 4.根据权利要求2所述的任务自适应的小样本行为识别方法， 其特征在于， 多模态融合 包括： 每对来自 同一个样 本， 加入一组随机配对的RGB特征和Depth特征对， 共同作为样 本特 征送入DGAdaIN模块； 在DGAdaIN模块中， 输入为一对RGB特征和深度特征， 输出为融合后的 特征。 5.根据权利要求2所述的任务自适应的小样本行为识别方法， 其特征在于， 任务自适应 的过程如下： 将支持集样本特征按类整合； 计算每类的通道注意力map； 对支持集每类样本 乘map做特征增强， 强化类内共同特征； 对查询集样本乘map做特征类区分， 得到N个查询特 征， 强化类间差异， 使特 征更具有判别性。 6.根据权利要求2所述的任务自适应的小样本行为识别方法， 其特征在于， 获取调制后 的N个类原型表示和N个查询样本特征， 按类匹配分别做相似度计算； 对于每对类原型表示 和查询特征表示， 采用欧几里得距离作为距离度量计算待查询视频的特征向量与所有类的 原型表示之间的相似度， 以得到待查询视频的预测动作类别标签。 7.一种任务自适应的小样本行为识别系统， 其特 征在于， 包括： 获取模块， 用于获取待识别的视频 数据； 识别模块， 用于利用预先训练好的识别模型， 对获取的所述待识别的视频数据进行处 理， 得到动作类别结果； 其中， 所述预先训练好的识别模型中， 加入注意力 层， 提取行为主体 在图片帧中的位置信息以及图像内容信息， 将RGB特征和Depth特征进行融合， 通过注意力 机制对提取的特征特征进 行调制， 获取同一类动作的类内特征共性以及不同类动作的类间 的差异性。权　利　要　求　书 1/2 页 2 CN 115240106 A 28.一种非暂态计算机可读存储介质， 其特征在于， 所述非暂态计算机可读存储介质用 于存储计算机指 令， 所述计算机指 令被处理器执行时， 实现如权利要求 1‑6任一项所述的任 务自适应的小样本行为识别方法。 9.一种计算机程序产品， 其特征在于， 包括计算机程序， 所述计算机程序当在一个或多 个处理器上运行时， 用于实现如权利要求1 ‑6任一项所述的任务自适应的小样本行为识别 方法。 10.一种电子设备， 其特征在于， 包括： 处理器、 存储器以及计算机程序； 其中， 处理器与 存储器连接， 计算机程序被存储在 存储器中， 当电子 设备运行时， 所述处理器执行所述存储 器存储的计算机程序， 以使电子设备执行实现如权利要求1 ‑6任一项所述的任务自适应的 小样本行为识别方法的指令 。权　利　要　求　书 2/2 页 3 CN 115240106 A 3