(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210971904.3 (22)申请日 2022.08.15 (65)同一申请的已公布的文献号 申请公布号 CN 115049660 A (43)申请公布日 2022.09.13 (73)专利权人 安徽鲲隆康鑫医疗科技有限公司 地址 230000 安徽省合肥市经济技 术开发 区紫云路与莲花路交口天门湖锦城4 幢E3号 (72)发明人 段和平　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 吕小丽 (51)Int.Cl. G06T 7/00(2017.01) G06N 3/04(2006.01)G06N 3/08(2006.01) G06T 7/73(2017.01) (56)对比文件 CN 114010227 A,202 2.02.08 CN 111652054 A,2020.09.1 1 CN 110675406 A,2020.01.10 CN 113284136 A,2021.08.20 CN 111353978 A,2020.0 6.30 陶攀等.基 于深度学习的超 声心动图切面识 别方法. 《计算机 应用》 .2017,(第0 5期), Fatemeh Taheri Dezak i等.“Cardiac Phase Detecti on in Echocardiograms With Densely Gated Recur rent Neural Netw orks and Global Extrema L oss”. 《IEEE Transacti ons on Medical Ima ging》 .2019,第 38卷(第8 期),第1821-1832页. 审查员 王垚 (54)发明名称 心脏解剖学结构特征点的定位方法、 定位装 置 (57)摘要 本发明提供一种心脏解剖学结构特征点的 定位方法、 定位装置， 方法包括： 获取心脏解剖学 结构的超声心动图； 将超声心动图进行数据增强 处理以形成增强图像； 根据增强图像生成对应的 真实热图； 将增强图像输入残差神经网络模型中 进行训练， 残差神经网络模型根据增强图像输出 预测热图， 并根据预测热图和真实热图计算残差 神经网络模 型的损失函数误差值， 以进行梯度下 降； 重复以上步骤以训练残差神经网络模型； 采 用训练后的残差神经网络模型进行心脏解剖学 结构特征点的定位。 本发明利用热图回归法定位 心脏解剖学结构特征点， 减少了对庞大训练数据 集的依赖， 减轻了标注医师的负担， 使用残差神 经网络提取热图语义信息， 提高了特征点定位的 准确性。 权利要求书3页 说明书8页 附图3页 CN 115049660 B 2022.11.29 CN 115049660 B 1.一种心脏解剖学 结构特征点的定位方法， 其特 征在于， 包括以下步骤： 获取心脏解剖学结构的超声心动图， 所述超声心动图包括： 特征点和特征点对应的语 义信息； 将超声心动图进行 数据增强处 理以形成增强图像； 根据所述增强图像生成对应的真实热图， 所述真实热图为与 所述增强图像大小相同的 多维矩阵， 针对所述增强图像的每个特征点在所述真实热图中都设计一个基于二 维高斯分 布、 以所述特 征点为中心点且半径为r的高亮区域， r为 正整数； 将所述增强图像输入残差神经网络模型中进行训练， 所述残差神经网络模型根据 所述 增强图像输出预测热图， 并根据所述预测热图和所述真实热图计算所述残差神经网络模型 的损失函数误差值， 根据所述损失函数误差值进行梯度下降； 重复以上步骤以训练所述残差神经网络模型， 直至所述损失函数误差值达到设定要 求； 采用训练后的残差神经网络模型进行心脏解剖学 结构特征点的定位； 不同语义信息的解剖学结构特征点对应不同的真实热图， 其中， 所述超声心动图为心 尖四腔视图时， 生成所述真实热图时采用第一高亮线将两个右心室心内膜连接起来， 所述 第一高亮线上的所有位置均被定义为右心室心内膜点， 采用第二高亮线将两个右心室隔膜 点连接起 来， 所述第二高亮线上的所有位置均被定义 为右心室隔膜点。 2.根据权利要求1所述的心脏解剖学结构特征点的定位方法， 其特征在于， 所述残差神 经网络模型包括： 7×7的卷积核， 所述7 ×7的卷积核用于将所述增强图像进行卷积操作并进行Batch   Norm和Relu操作， 以得到 64维图像数据； Max Pooling模块， 所述Max  Pooling模块与所述7 ×7的卷积核相连， 所述Max  Pooling 模块用于对所述64维图像数据进行Max  Pooling操作； 串联的第一至第四残差学习模块， 所述第一至第四残差模块分别用于将Max  Pooling 操作后的64维图像数据依次进行残差处理， 以分别得到第一至第四图像， 所述第一至第四 图像分别为64维、 128维、 25 6维、 512维的图像数据； 串联的第一至第 三上采样模块， 所述第 一上采样模块用于对所述第四图像进行上采样 操作后与所述第三图像进行连接操作， 再使用1 ×1的卷积核进 行降维操作， 生成256维64 × 32的第五图像； 所述第二上采样模块用于对所述第五图像进 行上采样操作后与所述第二图 像进行连接操作， 再使用1 ×1的卷积核进行降维操作， 生 成128维64 ×128的第六图像； 所述 第三上采样模块用于对所述第六图像进行上采样操作后与所述第一图像进 行连接操作， 再 使用1×1的卷积核 进行降维操作， 生成64维25 6×128的第七图像； Sigmoid模块， 所述Sigmoid模块用于对所述第 七图像进行Sigmoid处理， 以生成所述预 测热图。 3.根据权利要求2所述的心脏解剖学结构特征点的定位方法， 其特征在于， 所述残差神 经网络模型的损失函数采用Focal  Loss损失函数。 4.根据权利要求1所述的心脏解剖学结构特征点的定位方法， 其特征在于， 所述特征点 的语义信息包括心尖标注点， 在训练所述残差神经网络模型时， 心尖标注点设计3倍 ‑10倍 的Loss权重。权　利　要　求　书 1/3 页 2 CN 115049660 B 25.一种心脏解剖学 结构特征点的定位装置， 其特 征在于， 包括： 获取模块， 所述获取模块用于获取心脏解剖学结构的超声心动图， 所述超声心动图包 括： 特征点和特 征点对应的语义信息； 增强模块， 所述增强模块用于将超声心动图进行 数据增强处 理以形成增强图像； 生成模块， 所生成模块用于根据所述增强图像生成对应的真实热图， 所述真实热图为 与所述增强图像大小相同的多维矩阵， 针对所述增强图像的每个特征点在所述真实热图中 都设计一个 基于二维高斯分布、 以所述特 征点为中心点且半径为r的高亮区域， r为 正整数； 训练模块， 所述训练模块用于将所述增强图像输入残差神经网络模型中进行训练， 所 述残差神经网络模型根据所述增强图像输出预测热图， 并根据所述预测热图和所述真实热 图计算所述残差神经网络模型的损失函数误差值， 根据所述损失函数误差值进行梯度下 降， 直至所述损失函数误差值达 到设定要求； 定位模块， 所述定位模块用于采用训练后的残差神经网络模型进行心脏解剖学结构特 征点的定位； 同语义信息的解剖学 结构特征点对应不同的真实热图， 其中， 所述超声心动图为心尖四腔视图时， 生成模块生成所述真实热图时采用第 一高亮线将 两个右心室心内膜连接起来， 所述第一高亮线上 的所有位置均被定义为右心室心内膜点， 采用第二高亮线将两个右心室隔膜点连接起来， 所述第二高亮线 上的所有位置均被定义为 右心室隔膜点。 6.根据权利要求5所述的心脏解剖学结构特征点的定位装置， 其特征在于， 所述残差神 经网络模型包括： 7×7的卷积核， 所述7 ×7的卷积核用于将所述增强图像进行卷积操作并进行Batch   Norm和Relu操作， 以得到 64维图像数据； Max Pooling模块， 所述Max  Pooling模块与所述7 ×7的卷积核相连， 所述Max  Pooling 模块用于对所述64维图像数据进行Max  Pooling操作； 串联的第一至第四残差学习模块， 所述第一至第四残差模块分别用于将Max  Pooling 操作后的64维图像数据依次进行残差处理， 以分别得到第一至第四图像， 所述第一至第四 图像分别为64维、 128维、 25 6维、 512维的图像数据； 串联的第一至第 三上采样模块， 所述第 一上采样模块用于对所述第四图像进行上采样 操作后与所述第三图像进行连接操作， 再使用1 ×1的卷积核进 行降维操作， 生成256维64 × 32的第五图像； 所述第二上采样模块用于对所述第五图像进 行上采样操作后与所述第二图 像进行连接操作， 再使用1 ×1的卷积核进行降维操作， 生 成128维64 ×128的第六图像； 所述 第三上采样模块用于对所述第六图像进行上采样操作后与所述第一图像进 行连接操作， 再 使用1×1的卷积核 进行降维操作， 生成64维25 6×128的第七图像； Sigmoid模块， 所述Sigmoid模块用于对所述第 七图像进行Sigmoid处理， 以生成所述预 测热图。 7.根据权利要求6所述的心脏解剖学结构特征点的定位装置， 其特征在于， 所述残差神 经网络模型的损失函数采用Foc