(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210805194.7 (22)申请日 2022.07.08 (71)申请人 同济大学 地址 200092 上海市杨 浦区四平路1239号 (72)发明人 董延超　李昀　周昕　 (74)专利代理 机构 上海科盛知识产权代理有限 公司 312 25 专利代理师 宣慧兰 (51)Int.Cl. G06T 7/223(2017.01) G06T 7/292(2017.01) G06T 7/80(2017.01) G06T 7/73(2017.01) G06V 10/62(2022.01) G06V 20/40(2022.01)G06V 10/764(2022.01) (54)发明名称 一种篮球跟踪与主球标记方法、 装置及存储 介质 (57)摘要 本发明涉及一种篮球跟踪与主球标记方法、 装置及存储介质， 其中方法包括： 相机标定； 获取 篮球视频帧； 建立单相机跟踪队列； 建立单相机 的篮球跟踪； 对持续跟踪的篮球对象， 计算时间 窗口内篮球对象距离信息变化的平均值， 判断是 否超过阈值， 若是， 标记为运动状态； 确定 所有标 记为运动状态的篮球对象在不同相机视角中的 投影误差和， 得到误差矩阵； 基于最大二分匹配 原则对误差矩 阵进行处理得到多相机的篮球匹 配结果， 若匹配成功则基于双目视差法对篮球的 图像坐标进行深度估计； 将深度估计结果转换到 真实坐标系中， 得到三维坐标； 判断篮球是否在 目标场地中， 若是， 标记为主球。 与现有技术相 比， 本发明具有检测稳定、 检测精度高等优点。 权利要求书2页 说明书6页 附图1页 CN 115272397 A 2022.11.01 CN 115272397 A 1.一种篮球跟踪与主球标记方法， 其特 征在于， 包括以下步骤： 对相机的内参和外参进行标定， 得到相机内参参数和相机外参参数， 其中， 所述相机外 参参数基于真实坐标系和相机 视角下的球场坐标系标定得到； 获取多台相机在同一时刻同步拍摄得到的多个篮球视频帧， 其中， 一台相机对应一个 篮球视频帧； 建立多个单相机跟踪队列， 所述单相机跟踪队列用于存储一台相机中跟踪的篮球对 象， 单相机跟踪队列的数量与相机数量相同； 基于单相机跟踪队列对每一个篮球视频帧建立单相机的篮球跟踪， 所述基于单相机跟 踪队列对每一个篮球视频帧建立单相 机的篮球跟踪包括以下步骤： 对一个篮球视频帧， 利 用篮球检测模型检测篮球视频帧中最新一帧的篮球对象； 基于最新一帧的篮球对象和对应 的单相机跟踪队列中存储的篮球对 象之间的距离信息， 确定邻接矩阵； 判断邻接矩阵中的 元素是否超过第一距离阈值， 若是， 则丢弃最新一帧的篮球对象， 若否， 则基于最大二分匹 配原则对邻接矩阵进行处理， 得到单相 机的篮球匹配结果； 若单相 机的篮球匹配结果为匹 配成功， 则将单相 机跟踪队列中存储的篮球对 象更新为最新一帧的篮球对 象； 若单相 机的 篮球匹配结果为匹配失败， 则判断匹配失败是未匹配到跟踪队列中存储的篮球对象的匹配 结果还是未匹配到最新一帧的篮球对象的匹配结果， 若为未匹配到跟踪队列中存储的篮球 对象的匹配结果， 则删除跟踪队列中存储的篮球对 象， 若为未匹配到最新一帧的篮球对 象 的匹配结果， 则将最 新一帧的篮球对象作为 新识别的跟踪对象加入跟踪队列； 对于单相机的篮球跟踪中持续跟踪的篮球对象， 计算预配置时间窗口内所述篮球对象 距离信息变化的平均值， 判断所述平均值是否超过第二距离阈值， 若 是， 则将所述持续跟踪 的篮球对象标记为运动状态， 若否， 则将所述持续跟踪的篮球对 象标记为静止状态， 其中， 所述持续跟踪的篮球对象是指单相机的篮球匹配结果 为匹配成功的篮球对象； 基于相机的内参参数和外参参数， 确定所有标记为运动状态的篮球对象在不同相机视 角中的投影误差和， 得到误差矩阵， 其中， 每两台相机确定一个误差矩阵； 基于最大二分匹配原则对误差矩阵进行处理， 得到多相机的篮球匹配结果， 若匹配成 功则基于双目视差法对篮球在相机视角下的球场坐标系中的图像坐标进 行深度估计， 若匹 配失败， 则丢弃对象； 基于相机外参参数将深度估计结果转换到真实坐标系中， 确定篮球对象在 真实坐标系 中的三维坐标； 基于篮球对象在真实坐标系下的三维坐标判断所述篮球对象是否在目标场地中， 若 是， 标记为主球， 若否， 标注为非主球。 2.根据权利要求1所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述相机内参参 数包括畸变系数、 内参矩阵； 所述相机外参参数包括旋转向量、 位移向量、 投影矩阵、 单应变 化矩阵。 3.根据权利要求2所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述相机外参参 数基于以下步骤获得： 建立篮球场的真实坐标系； 基于篮球场中的划线确定参 考点； 基于RANSAC算法和PnP算法确定相机位姿初始值；权　利　要　求　书 1/2 页 2 CN 115272397 A 2基于非线性最小二乘法， 利用参考点和相机位姿初始值， 求解相机相对真实坐标系的 位姿， 得到相机 外参参数中的旋转向量、 位移向量、 投影矩阵； 计算参考点在相机视角下的球场坐标系 中的图像坐标转换为真实坐标系中坐标的变 换参数， 得到相机 外参参数中的单应 变化矩阵。 4.根据权利要求1所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述距离信 息包 括检测框长宽、 位置变化信息， 其中， 所述检测框基于篮球检测模型得到， 一个检测框对应 一个篮球对象。 5.根据权利要求1所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述最大二分匹 配原则为基于匹配值最小原理， 对矩阵中的每行或每列元素进行匹配， 匹配结果为每行或 每列至多存在一个匹配值， 使得矩阵中所有匹配值的相加之和最小。 6.根据权利要求1所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述第 二距离阈 值为篮球半径的五分之一。 7.根据权利要求1所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述投影误差和 基于极线矫正原理得到， 具体为： 基于三点平面和经过矫正的相机平面的交线确定 极线， 其 中， 所述三点平面为篮球中心 点、 两台相机中心 点确定的平 面， 所述相机平面的矫正过程为 通过旋转矩阵矫正初始相机平面， 使得两台相机的相机平面平行且极线 水平； 第a台相机视 角中的第i个篮球对象中心点与第b台相机极线的投影的距离为投影误差 第a台相机的 极线与第b台相机视角中的第j 个篮球对象中心点的投影的距离为投影误差 则第a台相 机视角中的第i个篮球对象与第b台相机视角中的第j个篮球对象的投影误差和 8.根据权利要求7所述的一种篮球跟踪与主球标记方法， 其特征在于， 所述误差矩阵 为： 其中， 为在第a台相机视角中的第i个篮球对象和第b台相机视角中的第j个篮球对 象的投影误差和， adjab为第a台相机和第b台相机的误差矩阵。 9.一种篮球跟踪与主球标记装置， 包括存储器、 处理器， 以及存储于所述存储器中的程 序， 其特征在于， 所述处 理器执行所述程序时实现如权利要求1 ‑8中任一所述的方法。 10.一种存储介质， 其上存储有程序， 其特征在于， 所述程序被执行时实现如权利要求 1‑8中任一所述的方法。权　利　要　求　书 2/2 页 3 CN 115272397 A 3