(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210934386.8 (22)申请日 2022.08.04 (65)同一申请的已公布的文献号 申请公布号 CN 115018918 A (43)申请公布日 2022.09.06 (73)专利权人 南昌虚拟现实研究院股份有限公 司 地址 330000 江西省南昌市红谷滩新区会 展路545号红谷城投大厦1408室 (72)发明人 曾良军　孙其民　陈小波　 (74)专利代理 机构 深圳市智圈知识产权代理事 务所(普通 合伙) 44351 专利代理师 林炮勤 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/80(2017.01) G06T 7/00(2017.01)G06T 5/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (56)对比文件 CN 114066986 A,202 2.02.18 CN 114550203 A,2022.05.27 WO 20212 27694 A1,2021.1 1.18 US 2021197384 A1,2021.07.01 CN 111931869 A,2020.1 1.13 CN 113470112 A,2021.10.01 林逸非等. “基于矢状面图像的人体姿态检 测与运动分析技 术研究”. 《机电产品开发与创 新》 .2022,第35卷(第4期),第120 -123页. Chengying Gao等.“3D interacti ng hand pose and shape estimati on from a si ngle RGB image”. 《Neurocomputi ng》 .2022,第474卷 第25-36页. 审查员 张博 (54)发明名称 三维坐标的确定方法、 装置、 电子设备及存 储介质 (57)摘要 本申请提供了一种三维坐标的确定方法、 装 置、 电子设备及存储介质， 包括： 获取关节的关节 图像； 根据关节关键点在所述关节图像中的二维 坐标和所述 关节图像所来源相机的相机内参， 得 到所述关节关键点的单位矢量； 根据所述单位矢 量、 所述关节的关节长度和所述 关节关键点在所 述关节图像的相对深度， 确定输入信息； 将所述 输入信息输入至自注意力模型进行长度值预测， 得到所述关节关键点的预测长度值； 根据所述单 位矢量和所述预测长度值， 确定所述关节关键点 的三维坐标。 本申请通过利用自注 意力模型基于 关节图像及关节长度来确定关节关键点的三维 坐标， 能够减小预测长度值的误差， 进而， 提高关 节关键点的三维坐标的准确性。 权利要求书2页 说明书17页 附图6页 CN 115018918 B 2022.11.04 CN 115018918 B 1.一种三维坐标的确定方法， 其特 征在于， 所述方法包括： 获取关节的关节图像； 根据关节关键点在所述关节图像中的二维坐标和所述关节图像所来源相机的相机内 参， 得到所述关节关键点的单位矢量； 根据所述单位矢量、 所述关节的关节长度和所述关节关键点在所述关节图像的相对深 度， 确定输入信息； 将所述输入信息输入至自注意力模型进行自注意力计算， 得到自注意力特征， 并根据 所述自注意力特征进行长度值预测， 得到所述关节关键点的预测长度值， 所述预测长度值 是指所述关节关键点的三维坐标与原点之间的长度值； 根据所述单位矢量和所述预测长度值， 确定所述关节关键点的三维坐标。 2.根据权利要求1所述的方法， 其特征在于， 所述自注意力模型包括第一自注意力模 块、 第二自注意力模块和预测模块； 所述将所述输入信息输入至自注意力模型进行长度值 预测， 得到所述关节关键点的预测长度值， 包括： 将所述输入信息输入至所述第一自注意力模块进行第一自注意力计算， 得到第一特 征； 将所述第一特征输入至所述第二自注意力模块进行第二自注意力计算， 得到第二特 征； 将所述第二特征输入至所述预测模块进行长度值预测， 得到所述关节关键点的预测长 度值。 3.根据权利要求2所述的方法， 其特征在于， 所述将所述第 一特征输入至所述第 二自注 意力模块进行第二自注意力计算， 得到第二特 征， 包括： 确定第一权重， 并将所述第一特征与所述第一权重进行加权计算， 得到第一自注意力 特征； 确定第二权重， 并将所述第一特征与所述第二权重进行加权计算， 得到第二自注意力 特征； 确定第三权重， 并将所述第一特征与所述第三权重进行加权计算， 得到第三自注意力 特征； 将所述第一自注意力特征、 所述第 二自注意力特征和所述第 三自注意力特征输入至所 述第二自注意力模块进行第二自注意力计算， 得到所述第二特 征。 4.根据权利要求2所述的方法， 其特征在于， 所述自注意力模型还包括第 一多层感知器 和第二多层感知器； 所述将所述第一特征输入至所述第二自注意力模块进 行第二自注意力 计算， 得到第二特 征， 包括： 将所述第一特征输入至所述第一多层感知器进行有效特征提取， 得到第一有效特征， 并将所述第一有效特 征输入至第二自注意力模块进行第二自注意力计算， 得到第二特 征； 所述将所述第 二特征输入至所述预测模块进行长度值预测， 得到所述关节关键点的预 测长度值， 包括： 将所述第二特征输入至所述第二多层感知器进行有效特征提取， 得到第二有效特征， 并将所述第二有效特征输入至预测模块进 行长度值预测， 得到所述关节关键点的预测长度 值。权　利　要　求　书 1/2 页 2 CN 115018918 B 25.根据权利要求1 ‑4任一项所述的方法， 其特征在于， 根据所述单位矢量、 所述关节 的 关节长度和所述关节关键点在所述关节图像的相对深度， 确定 输入信息， 包括： 对所述单位矢量进行预处理得到目标单位矢量特征， 对所述关节长度进行预处理得到 目标关节长度特 征， 以及对所述相对深度进行 预处理得到目标相对深度特 征； 根据所述目标单位矢量特征、 所述目标关节长度特征和所述目标相对深度特征， 确定 所述输入信息 。 6.根据权利要求5所述的方法， 其特征在于， 所述对所述单位矢量进行预处理得到所述 目标单位矢量特征， 对所述关节长度进行预处理得到所述 目标关节长度特征， 以及对所述 相对深度进行 预处理得到所述目标相对深度特 征， 包括： 将所述单位矢量输入第 一预处理网络得到单位矢量特征， 并将第 一信息添加至所述单 位矢量特 征中， 得到所述目标 单位矢量特 征； 将所述关节长度输入第 二预处理网络得到关节长度 特征， 并将第 二信息添加至所述关 节长度特 征中， 得到所述目标关节长度特 征； 将所述相对深度输入第 三预处理网络得到相对深度 特征， 并将第 三信息添加至所述相 对深度特 征中， 得到所述目标相对深度特 征。 7.根据权利要求6所述方法， 其特征在于， 所述第 一信息包括第 一编码信 息和第一先验 信息， 所述第二信息包括第二编码信息和第二先验信息， 所述第三信息包括第三编码信息 和第三先验信息 。 8.一种三维坐标的确定装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取关节的关节图像； 单位矢量确定模块， 用于根据关节关键点在所述关节图像中的二维坐标和所述关节图 像所来源相机的相机内参， 得到所述关节关键点的单位矢量； 输入信息确定模块， 用于根据所述单位矢量、 所述关节的关节长度和所述关节关键点 在所述关节图像的相对深度， 确定 输入信息； 长度值预测模块， 用于将所述输入信息输入至自注意力模型进行自注意力计算， 得到 自注意力特征， 并根据所述自注意力特征进行长度值预测， 得到所述关节关键点的预测长 度值， 所述预测长度值是指所述关节关键点的三维坐标与原点之间的长度值； 三维坐标确定模块， 用于根据所述单位矢量和所述预测长度值， 确定所述关节关键点 的三维坐标。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 一个或多个处 理器； 存储器， 与所述 一个或多个处 理器电连接； 一个或多个应用程序， 其中所述一个或多个应用程序被存储在所述存储器中并被配置 为由所述一个或多个处理器执行， 所述一个或多个应用程序配置用于执行如权利要求1 ‑7 任一项所述的方法。 10.一种计算机可读取存储介质， 其特征在于， 所述计算机可读取存储介质中存储有程 序代码， 所述 程序代码可被处 理器调用执 行如权利要求1 ‑7任一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115018918 B 3