(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210818382.3 (22)申请日 2022.07.13 (71)申请人 哈尔滨理工大 学 地址 150080 黑龙江省哈尔滨市南岗区学 府路52号 (72)发明人 王庆岩　钱加栋　梁欣涛　王玉静　 (74)专利代理 机构 黑龙江立超同创知识产权代 理有限责任公司 23217 专利代理师 张妍飞 (51)Int.Cl. G06V 20/10(2022.01) G06V 20/13(2022.01) G06V 10/82(2022.01) G06V 10/74(2022.01) G06V 10/77(2022.01)G06V 10/80(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于深度孪生网络的高光谱图像变化 检测方法及系统 (57)摘要 一种基于深度孪生网络的高光谱图像变化 检测方法及系统， 涉及高光谱图像变化检测技术 领域， 用以解决现有技术在高光谱 数据特征提取 后数据的关联性低且分类效果不理想的问题。 本 发明的技术要点包括： 构建孪生网络模型用于处 理双时相高光谱数据； 利用注意力机制生成空 间‑光谱联合的注意力特征； 利用语义分割网络 提取多尺度特征； 利用改进的特征度量方法来计 算损失； 利用阈值分割方法实现分类。 本发明充 分考虑了高光谱 数据间的相互联系， 并且兼顾高 光谱数据的谱域信息和空域信息， 能够有效 区分 对由于成像条件和噪声造成的虚假变化像素和 由于地物类型变化造成的真实变化像素。 权利要求书3页 说明书10页 附图3页 CN 115187861 A 2022.10.14 CN 115187861 A 1.一种基于深度孪生网络的高光谱图像 变化检测方法， 其特 征在于， 包括以下步骤： 步骤1、 获取双时相高光谱图像； 所述双时相高光谱图像中像素 带有类别标签； 步骤2、 对所述双时相高光谱图像进行 预处理； 步骤3、 构建基于孪生卷积神经网络的高光谱图像变化检测模型， 并利用预处理后的双 时相高光谱图像进行训练， 获取训练好的高光谱图像 变化检测模型； 步骤4、 将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化检 测模型中， 获取检测结果。 2.根据权利要求1所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤2所述预处理包括降维处理、 归一化处理和切片处理； 所述切片处理将 高光谱图 像转换为高光谱数据块， 高光谱数据块是指中心像素与邻域像素构成的局部小图像。 3.根据权利要求2所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤3构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程包括： 所述孪生 卷积神经网络包含一组权重值共享的注意力模块和特征提取模块， 所述注意力模块包括通 道注意力子模块和空间注意力子模块。 4.根据权利要求3所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤3中利用预处 理后的双时相高光谱图像进行训练的过程包括： 步骤31、 对双时相高光谱图像进行特征提取， 获取对应双时相高光谱图像的两个高光 谱特征图； 步骤32、 计算两个高光谱特 征图的欧氏距离； 步骤33、 计算双时相高光谱图像的欧氏距离和所述类别标签之间的损失值； 步骤34、 利用所述损失值更新高光谱图像变化检测模型参数， 迭代循环步骤31～步骤 34， 直至模型收敛， 获取训练好的高光谱图像 变化检测模型。 5.根据权利要求4所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤31中对于双时相高光谱图像中的单个时相高光谱图像， 其特征提取的具体过程 包括： 所述高光谱数据块经过通道注意力 子模块中全局最大池化、 全局平均池化、 全连接层、 sigmoid激活函数激活， 生成通道 注意力特 征图； 将所述通道注意力特征图和输入的高光谱数据块相乘， 并将相乘得到的特征图输入空 间注意力子模块； 所述相乘得到的特征图经过空间注意力 子模块中全局最大池化、 全局平均池化、 降维、 sigmoid激活函数激活， 生成空间注意力特 征图； 将所述空间注意力特 征图和所述相乘得到的特 征图相乘， 获取最终生成的特 征图； 将所述最终生成的特征图输入特征提取模块， 所述特征提取模块为基于Resnet ‑34的 语义分割网络， 包括一个卷积池化层和四个跳层连接的残差块， 孪生卷积神经网络单个分 支输出的特 征为四个残差块输出 特征的堆叠 。 6.根据权利要求5所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤3 3中所述损失值的计算公式为：权　利　要　求　书 1/3 页 2 CN 115187861 A 2其中， D表示一个训练批次双时相高光谱图像的欧氏距离所组成的距离图； M表示一个 训练批次双时相高光谱图像的类别标签所组成的标签图； 表示距离图D中的元素； 表示标签图M中的元素； b表示训练批次； i、 j表示像素横坐标和像素纵坐标 的索引； m 表示阈值； nμ、 nc分别表示每个训练批次中没有变化的像素数和有变化的像素数； m表示阈 值。 7.根据权利要求6所述的一种基于深度孪生网络的高光谱图像变化检测方法， 其特征 在于， 步骤4中将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱图像变化 检测模型中， 获取两个高光谱特征图， 并计算其欧氏距离后， 利用阈值划分方法， 将待检测 双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱， 即： 预设固定阈值， 当所述 距离图中的欧氏距离大于预设固定阈值时， 所述欧氏距离所对应的像素点被识别为变化像 素， 否则被识别为 不变像素， 从而获取图像 变化检测结果。 8.一种基于深度孪生网络的高光谱图像 变化检测系统， 其特 征在于， 包括： 图像获取模块， 其配置成获取双时相高光谱图像； 所述双时相高光谱图像中像素带有 类别标签； 预处理模块， 其配置成对所述双时相高光谱图像进行 预处理； 模型训练模块， 其配置成构建基于孪生卷积神经网络的高光谱图像变化检测模型， 并 利用预处 理后的双时相高光谱图像进行训练， 获取训练好的高光谱图像 变化检测模型； 检测模块， 其配置成将经过预处理后的待检测双时相高光谱图像输入训练好的高光谱 图像变化检测模型中， 获取两个高光谱特征图， 并计算其欧氏距离后， 利用阈值划分方法， 将待检测双时相高光谱图像的欧氏距离所组成的距离图划分为变化图谱， 即： 预设固定阈 值， 当所述距离图中的欧氏距离大于预设固定阈值时， 所述欧氏距离所对应的像素点被识 别为变化像素， 否则被识别为 不变像素， 从而获取图像 变化检测结果。 9.根据权利要求8所述的一种基于深度孪生网络的高光谱图像变化检测系统， 其特征 在于， 所述预 处理包括降维处理、 归一化处理和切片处理； 所述切片处理将高光谱图像转换 为高光谱数据块， 高光谱数据块是指中心像素与邻域像素构成的局部小图像。 10.根据权利要求9所述的一种基于深度孪生网络的高光谱图像变化检测系统， 其特征 在于， 所述模型训练模块中构建基于孪生卷积神经网络的高光谱图像变化检测模型的过程 包括： 所述孪生卷积神经网络包含一组权重值共享的注意力模块和特征提取模块， 所述注 意力模块包括 通道注意力子模块和空间注意力子模块； 利用预处 理后的双时相高光谱图像进行训练的过程包括： 步骤31、 对双时相高光谱图像进行特征提取， 获取对应双时相高光谱图像的两个高光 谱特征图； 对于双时相高光谱图像中的单个时相高光谱图像， 其特 征提取的具体过程包括： 所述高光谱数据块经过通道注意力 子模块中全局最大池化、 全局平均池化、 全连接层、 sigmoid激活函数激活， 生成通道 注意力特 征图； 将所述通道注意力特征图和输入的高光谱数据块相乘， 并将相乘得到的特征图输入空 间注意力子模块；权　利　要　求　书 2/3 页 3 CN 115187861 A 3