(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210667653.X (22)申请日 2022.06.13 (66)本国优先权数据 202110653762.1 2021.0 6.11 CN (71)申请人 首都师范大学 地址 100048 北京市海淀区西三环北路10 5 号 (72)发明人 李俊　 (74)专利代理 机构 北京汲智翼成知识产权代理 事务所(普通 合伙) 11381 专利代理师 陈曦　贾兴昌 (51)Int.Cl. G06V 10/74(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01)G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种提取整合图像内部与图像之间特征关 系的方法和装置 (57)摘要 本发明公开了一种提取整合图像内部与图 像之间特征关系的方法及装置。 该方法包括如下 步骤： 使用内部关系网络表征图像内部的特征关 系， 使用交叉关系网络表征图像之间的特征关 系； 其中， 将内部关系网络划分为空间关系模块 和通道关系模块； 将图像序列分别输入空间关系 模块、 通道关系模块和交叉关系网络； 在空间关 系模块、 通道关系模块和交叉关系网络中， 图像 序列依次经过压缩层、 基于注意力的关系模块层 和恢复层的处理之后， 进入批量规范化层以加速 卷积神经网络的收敛速度； 使用卷积融合函数， 将空间关系模块、 通道关系模块和交叉关系网络 的输出融合在一起， 作为输 出结果。 利用本发明， 可以增强卷积神经网络在抽象视觉推理任务中 的推理能力。 权利要求书2页 说明书8页 附图3页 CN 115272716 A 2022.11.01 CN 115272716 A 1.一种提取整合图像内部与图像之间特 征关系的方法， 其特 征在于包括如下步骤： 使用内部关系网络表征图像 内部的特征关系， 使用交叉关系网络表征图像之间的特征 关系； 其中， 将所述内部关系网络划分为空间关系模块和通道关系模块； 将图像序列分别输入所述空间关系模块、 所述通道关系模块和所述交叉关系 网络； 在 所述空间关系模块、 所述通道关系模块和所述交叉关系网络中， 所述图像序列依 次经过压 缩层、 基于注意力的关系模块层和恢复层的处理之后， 进入批量规范化层以加速卷积神经 网络的收敛速度； 使用卷积融合函数， 将所述空间关系模块、 所述通道关系模块和所述交叉关系 网络的 输出融合在一 起， 作为输出 结果。 2.如权利要求1所述的方法， 其特 征在于： 所述空间关系模块中， 将每个图像视为构建图形的节点， 根据任意两个节点的视觉相 似度构建图神经网络， 完成行/列像素关系的建模。 3.如权利要求1所述的方法， 其特 征在于： 所述通道关系模块中， 将每 个通道视为构建图形的节点。 4.如权利要求1所述的方法， 其特 征在于： 将所有输入图像压缩为一个， 然后使用嵌入了全局信 息的特征图来学习节点的特征相 似度； 利用所述特 征相似度， 可以通过图神经网络更新节点。 5.如权利要求1所述的方法， 其特 征在于： 所述压缩层由通道维数压缩函数实现。 6.如权利要求1所述的方法， 其特 征在于： 所述恢复层由通道维数恢复函数实现。 7.如权利要求1所述的方法， 其特 征在于： 所述基于注意力的关系模块层通过如下函数实现： 其中， wi是一个可学习的参数， 用于增强节点 的自权重， Ni是 的相邻节点， 作为 边， 作为 和 的连接关系， 是可学习的参数矩阵， 用来降低计算复杂度与提高 的 学习能力。 8.如权利要求1所述的方法， 其特 征在于： 所述卷积融合 函数是使用1*1的2D卷积的融合 函数。 9.如权利要求1～8中任意 一项所述的方法， 其特 征在于： 所述方法构建的内部和交叉关系网络模型嵌入到卷积神经网络中， 用于完成视觉推理 融合的部分。权　利　要　求　书 1/2 页 2 CN 115272716 A 210.一种提取整合图像内部与图像之间特征关系的装置， 其特征在于包括处理器和存 储器， 所述处 理器读取 所述存储器中的计算机程序， 用于执 行以下操作： 使用内部关系网络表征图像 内部的特征关系， 使用交叉关系网络表征图像之间的特征 关系； 其中， 将所述内部关系网络划分为空间关系模块和通道关系模块； 将图像序列分别输入所述空间关系模块、 所述通道关系模块和所述交叉关系 网络； 在 所述空间关系模块、 所述通道关系模块和所述交叉关系网络中， 所述图像序列依 次经过压 缩层、 基于注意力的关系模块层和恢复层的处理之后， 进入批量规范化层以加速卷积神经 网络的收敛速度； 使用卷积融合函数， 将所述空间关系模块、 所述通道关系模块和所述交叉关系 网络的 输出融合在一 起， 作为输出 结果。权　利　要　求　书 2/2 页 3 CN 115272716 A 3