(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210838515.3 (22)申请日 2022.07.18 (71)申请人 南京邮电大 学 地址 210012 江苏省南京市栖霞区文苑路9 号 (72)发明人 杨浩　张海睿　 (74)专利代理 机构 南京纵横知识产权代理有限 公司 32224 专利代理师 刘艳艳 (51)Int.Cl. G06V 20/40(2022.01) G06V 40/10(2022.01) G06T 7/73(2017.01) G06V 10/764(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种行人检测与重识别方法、 装置和系统 (57)摘要 本发明公开一种行人检测与重识别方法、 装 置和系统。 方法包括： 1)获取行人数据集的数据 处理模块； 2)设置行人检测和行人重识别的网络 结构及训练网络参数的预测模块； 3)触发行人检 测和行人重识别网络模型的训练和对训练后的 网络模型的权重值和激活值进行压缩处理的网 络压缩模块； 4)将训练后的网络模型转换为嵌入 式平台支持的模型格式并构建检测与重识别系 统的部署模块。 通过本发明的技术方案， 实现了 在计算资源有 限的嵌入式平台上实时对行人目 标的整体识别， 在确保模型预测精度的前提下， 通过多种手段压缩模型体积， 有效提高了目标检 测与重识别的速度。 权利要求书3页 说明书11页 附图4页 CN 115187906 A 2022.10.14 CN 115187906 A 1.一种行 人检测与重识别方法， 其特 征在于， 包括： 获取视频图像； 对视频图像进行 预处理， 得到预处 理后的视频图像； 将所述预处理后的视频图像输入预训练好的行人检测模型， 根据 所述行人检测模型的 输出确定行 人目标及坐标信息； 根据确定的行 人目标及坐标信息， 在预处 理后的视频图像上裁 剪出行人目标图像； 利用预训练好的行 人重识别模型对所述行 人目标图像提取 得到行人目标特征； 获取行人数据库中的行人特征， 其中所述行人数据库中包含有多个带有行人ID标签的 行人特征； 计算所述行人目标特征与 行人数据库中的行人特征间的欧式距离， 选取与 行人目标特 征欧氏距离最小且符合识别阈值条件的行 人ID， 作为行 人重识别结果； 根据行人目标及坐标信 息和行人重识别结果， 在原始视频图像上行人目标所在的区域 画出矩形框并标识行 人ID。 2.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 对视频图像进行预处 理， 包括： 对视频流解码， 获取并保存原始视频图像， 并对原始视频图像进行缩放至符合行人检 测模型输入尺寸。 3.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 所述行人检测模型的构 建方法， 包括： 所述行人检测模型基于YOLO网络模型框架构建， 包括主干特征提取网络、 加 强特征提 取网络和预测网络； 其中所述主干特征提取网络采用CSPNet和MobileNetV3替换原有的CSPDarkNet， 被配 置为抽象提取图片的特 征， 生成三个深层特 征图； 加强特征提取网络采用FPN网络构建三阶金字塔， 被配置为对三个深层特征图进行上 采样实现特 征融合， 再进行 下采样实现特 征融合， 获取到三个不同尺度的特 征信息； 预测网络采用预测分支行解耦头替换原有的耦合头， 预测分支解耦头由三个不同作用 的检测头构成， 分别是分类头， 回归头和锚点预测头； 被配置为对三个不同尺度的特征信息 进行分类、 边界回归和锚点预测， 得到预测结果。 4.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 所述人重识别模型的构 建方法， 包括： 所述行人重识别模型选取ResNet18作为主干特征提取网络， 从输入图像的提取512维 行人特征； 在训练时， 行人重识别模型在主干特征提取网络后增加一个Neck网络， 对主干特征提 取网络输出的特征进行BatchNorm1d操作， 最后将输出特征升维到751维， 用以对751个行人 ID进行预测。 5.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 所述行人检测模型的训 练方法， 包括： 获取带标签的行 人检测图像数据集， 按照比例划分为训练数据集和验证数据集； 对训练数据集中样本进行数据增强处理， 其中所述数据增强包括： 随机水平反转、 改变权　利　要　求　书 1/3 页 2 CN 115187906 A 2图像的属性和马赛克 数据增强； 以最小化复合损失函数为目标， 利用数据增强处理后的训练数据集对行人检测模型进 行迭代优化训练直至满足迭代 停止条件， 得到训练好的行 人检测模型； 和/或， 所述行 人重识别模型的训练方法， 包括： 获取带标签的行 人重识别数据集， 按照比例划分为训练数据集和验证数据集； 对训练数据集中样本进行数据增强处理， 其中所述数据增强包括： 随机水平反转、 改变 图像的属性和马赛克 数据增强； 以最小化损失函数Identityloss为目标， 利用数据增强处理后的训练数据集对行人重识 别模型进行迭代优化训练直至满足迭代 停止条件， 得到训练好的行 人重识别模型。 6.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 所述的行人检测模型采 用复合损失函数， 为类别预测损失、 置信度预测损失和边界框回归损失三部 分之和， 其中边 界框回归损失函数采用GI oUloss； 和/或， 所述行 人重识别模型采用的损失函数为 Identityloss， 公式为： 其中， ID代表 行人类别标签， n代表 行人重识别训练集中行人类别总数， p(yi|xi)表示输 入图像xi经softmax分类后被预测为行 人标签yi的概率。 7.根据权利要求1所述的行人检测与重识别方法， 其特征在于， 训练好的行人检测模型 和行人重识别模型 经过网络压缩模块进行量 化， 包括： 对训练后模型的权重值和激活值进行量化压缩， 量化过程为将32bit位宽浮点数的权 重值和激活值替换为8bit位宽的定点数， 从原本有符号的连续值量化压缩到只有28个定点 数组成的离 散值域， 量化过程为： 其中， x代表量化前的权重值或激活值， xQ代表量化后的权重值或激活值， Xmax和Xmin表示 32bit位宽浮点数的最大值和最小值， clamp函数是将 权重值和激活值数值限制在一个给定 的区间， 其公式如下： Δ函数表示从32bit位宽浮 点数压缩到8bit位宽的定点数的缩放因子， 其公式为： 其中， a,b为给定的限制数值。 8.一种行 人检测与重识别装置， 其特 征在于， 包括处 理器及存 储介质； 所述存储介质用于存 储指令； 所述处理器用于根据所述指令进行操作以执行根据权利要求1至7任一项所述方法的权　利　要　求　书 2/3 页 3 CN 115187906 A 3