(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211019880.8 (22)申请日 2022.08.24 (65)同一申请的已公布的文献号 申请公布号 CN 115070781 A (43)申请公布日 2022.09.20 (73)专利权人 绿盛环保材 料 （集团） 有限公司 地址 518000 广东省深圳市宝安区新 安一 路3005号中怡名苑C 栋1202 (72)发明人 夏可夫　王勃然　汪洪丽　张航　 夏邦宇　罗清元　 (74)专利代理 机构 北京隆源天恒知识产权代理 有限公司 1 1473 专利代理师 林安堂 (51)Int.Cl. G06T 7/73(2017.01)(56)对比文件 CN 113327295 A,2021.08.31 CN 112989881 A,2021.0 6.18 CN 109934864 A,2019.0 6.25 CN 111738261 A,2020.10.02 US 10089575 B1,2018.10.02 CN 113888631 A,202 2.01.04 审查员 潘玉芬 (54)发明名称 一种物体抓取方法及 双机械臂协作系统 (57)摘要 本发明提供了一种物体抓取方法及双机械 臂协作系统， 方法包括： 获取机器人的视觉系统 拍摄的待处理图像； 检测所述待处理图像中是否 存在目标物体， 若是， 对所述待处理图像中的所 述目标物体进行标注， 获得带标注的图像； 采用 训练好的GGCNN模型对所述带标注的图像进行处 理， 输出抓取角度图、 抓取宽度图和抓取置信度 图， 其中， 所述 GGCNN模型包括多个卷积层和反卷 积层； 基于 预设规则， 根据所述抓取角度图、 所述 抓取宽度图和所述抓取置信度图确定平面抓取 表示， 并根据所述平面抓取表示确定抓取位姿； 根据所述抓取位姿控制所述机器人的机械臂动 作， 抓取目标物体。 本发 明降低了算法复杂度， 节 省了计算资源， 降低了对设备数据处理能力的要 求。 权利要求书2页 说明书10页 附图5页 CN 115070781 B 2022.12.13 CN 115070781 B 1.一种物体抓取 方法， 其特 征在于， 包括： 获取机器人的视 觉系统拍摄的待处 理图像； 检测所述待处理图像中是否存在目标物体， 若是， 则对所述待处理图像中的所述目标 物体进行 标注， 获得 带标注的图像； 采用训练好的GGCNN模型对所述带标注的图像进行处理， 输出抓取角度图、 抓取宽度图 和抓取置信度图， 包括： 采用训练好的所述GGCNN模型对所述带标注的图像依次进 行卷积处 理和反卷积处理， 提取所述带标注的图像中标注 区域的部分区域， 生成新标注 区域， 其中， 所述部分区域与所述目标物体的重心相对应； 将所述新标注区域内各个像素点的置信度设 为1， 按照正态分布确定所述带标注的图像中除所述新标注 区域以外的区域内各个像素点 的置信度， 根据所有像素点的置信度生成所述抓取置信度图； 根据所述 目标物体上不同位 置对应的宽度确定所述带标注的图像中各个像素点对应的抓取宽度， 根据各个像素点对应 的所述抓取宽度生成所述抓取宽度图； 根据所述目标物体上各个位置相对于参考坐标轴的 夹角确定所述带标注的图像中各个像素点的抓取角度， 根据各个像素点的所述抓取角度生 成所述抓取角度图， 其中， 所述G GCNN模型包括多个卷积层和反卷积层； 基于预设规则， 根据所述抓取角度图、 所述抓取宽度图和所述抓取置信度图确定平面 抓取表示， 并根据所述平面 抓取表示确定抓取位姿； 根据所述 抓取位姿控制所述机器人的机 械臂动作， 以抓取 所述目标物体。 2.根据权利要求1所述的物体抓取方法， 其特征在于， 所述获取机器人的视觉系统拍摄 的待处理图像之前， 还包括： 对所述视觉系统进行相机标定， 并对所述机械臂进行手眼标 定； 和/或， 所述检测所述待处 理图像中是否存在目标物体包括： 采用SSD‑mobilenet目标检测算法检测所述待处 理图像中是否存在所述目标物体。 3.根据权利要求1所述的物体抓取方法， 其特征在于， 所述采用训练好的GGCNN模型对 所述带标注的图像进行处 理之前， 还 包括： 获取康奈尔数据集； 对所述康奈尔数据集中的图像进行图像处理， 获得处理后的康奈尔数据集， 所述图像 处理包括随机 剪裁、 缩放和旋转； 采用所述处理后的康奈尔数据集训 练预先建立的GGCNN模型， 获得训练好的GGCNN模 型。 4.根据权利要求1至3任一项所述的物体抓取方法， 其特征在于， 基于预设规则， 根据 所 述抓取角度图、 所述 抓取宽度图和所述 抓取置信度图确定平面 抓取表示包括： 在所述抓取置信度图中确定置信度最高的像素点所在的目标位置， 并确定所述目标位 置在图像平面 坐标系中的像素坐标； 在所述抓取宽度图中确定所述目标位置对应的抓取宽度， 并在所述抓取角度图中确定 所述目标位置对应的抓取角度； 根据所述像素坐标、 所述置信度、 所述抓取宽度和所述抓取角度确定所述平面抓取表 示。 5.根据权利要求1至3任一项所述的物体抓取方法， 其特征在于， 所述根据所述平面抓 取表示确定抓取位姿包括：权　利　要　求　书 1/2 页 2 CN 115070781 B 2基于图像平面坐标系到相机坐标系的第 一转换矩阵， 和相机坐标系到世界坐标系的第 二转换矩阵， 将所述平面 抓取表示 转换为所述 抓取位姿。 6.根据权利要求1至3任一项所述的物体抓取方法， 其特征在于， 所述抓取位姿包括所 述机械臂末端夹爪的抓取位置， 所述根据所述抓取位姿控制所述机器人的机械臂动作包 括： 实时获取 所述末端夹爪的当前位置； 确定所述当前位置与 所述抓取位置之间的空间距离， 并根据所述空间距离确定所述末 端夹爪的运动速度； 根据所述 运动速度实时控制所述机 械臂动作。 7.根据权利要求6所述的物体抓取方法， 其特征在于， 所述根据 所述空间距离确定所述 末端夹爪的运动速度包括： 将所述空间距离与预设的速度尺度相乘， 获得 所述运动速度； 采用预先确定的速度干扰矩阵对所述运动速度进行修正， 获得修正后的运动速度， 其 中， 所述速度干扰矩阵与不同方向上速度信号之间的相似性相关。 8.一种双机械臂协作系统， 其特征在于， 包括控制装置， 所述控制装置包括存储器和处 理器； 所述存储器， 用于存 储计算机程序； 所述处理器， 用于当执行所述计算机程序时， 实现如权利要求1至7任一项所述的物体 抓取方法。 9.根据权利要求8所述的双机械臂协作系统， 其特征在于， 还包括动作装置和感知装 置； 所述动作装置包括机械臂模块和末端夹爪模块， 所述末端夹爪模块与 所述机械臂模块 的末端可拆卸连接， 所述机 械臂模块和所述末端夹爪模块分别与所述控制装置电连接； 所述感知装置包括视觉模块和传感器模块， 所述视觉模块和所述传感器模块分别安装 在所述机械臂模块和/或所述末端夹爪模块上， 所述视觉模块和所述传感器模块分别与所 述控制装置电连接 。权　利　要　求　书 2/2 页 3 CN 115070781 B 3