一种基于视觉引导的工业机器人工件定位抓取方法及系统[发明专利]

(12)发明专利申请

(10)申请公布号(10)申请公布号 CN 1035042 A(43)申请公布日 2014.07.02

(21)申请号 201410073766.2(22)申请日 2014.02.28

(71)申请人华南理工大学

地址5100 广东省广州市天河区五山路

381号(72)发明人翟敬梅 董鹏飞 张铁

(74)专利代理机构广州市华学知识产权代理有

限公司 44245

代理人蔡茂略(51)Int.Cl.

B25J 19/04(2006.01)B25J 13/08(2006.01)

权利要求书3页 说明书5页 附图2页权利要求书3页 说明书5页 附图2页

(54)发明名称

一种基于视觉引导的工业机器人工件定位抓取方法及系统(57)摘要

本发明公开了一种基于视觉引导的工业机器人工件定位抓取方法，包括如下步骤:步骤S1、建立系统参数化模型并摄像机定标；步骤S2、确定工件特征模板；步骤S3、搜索工件模板实例，根据实例的坐标信息确定工件的位置；步骤S4、计算目标工件的速度；步骤S5、预测工件处于待抓取工位时在机器人基础坐标系下的位姿；步骤S6、机器人按照规划轨迹运动接近并抓取工件，放置到目标点位置。本发明还公开了一种实现权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法的系统，包括：传送带、光电开关、摄像机、工业控制计算机、机器人和目标工件。具有定位精度高、工作效率高和自动化程度高等优点。CN 1035042 ACN 1035042 A

权 利 要 求 书

1/3页

1.一种基于视觉引导的工业机器人工件定位抓取方法，其特征在于，包括以下步骤：步骤S1：根据摄像机和机器人的位置关系建立系统的参数化模型并标定摄像机内外参数，通过摄像机为中间媒介建立起目标工件与机器人之间的相对位姿关系；

步骤S2：当工件通过时，光电开关触发摄像机采集经传送带送入摄像机视野的工件图像并传送到工业控制计算机进行图像滤波预处理和图像增强预处理，降低噪声的影响，同时确定目标工件的特征模板，作为用于识别算法的依据；

步骤S3：采用模板匹配识别算法在工件图像中搜索工件特征模板实例，得到工件在拍照时刻的位置(X,Y,Z)和偏转角度θ，根据步骤S1的标定结果将(X,Y,Z)和θ映射到机器人基础坐标系中；

步骤S4：对步骤S2采集的工件图像进行步骤S3的灰度模板匹配后，根据经过模板匹配后的5-10帧工件图像，计算目标工件中心在运动方向的位移S，除以拍摄这5-10帧图像的时间T，即得到目标工件速度V的计算式：

V=S/T，其中，S表示位移，T表示时间；步骤S5：跟踪算法采用卡尔曼滤波模型预测工件处于待抓取工位时的位置与偏转角度；

步骤S6：根据待抓取工位和目标点的位置规划机器人的运动轨迹，机器人控制器发出指令控制机器人按照规划的运动轨迹接近并抓取工件，并放置到目标点位置。

2.根据权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法，其特征在于，所述步骤S1包括以下步骤：

步骤11、对所述摄像机用平面标靶标定法进行标定，并通过标定板图像在传送带上建立一个参考坐标系（OrefXrefYrefZref)，得到参考坐标系和摄像机坐标系之间的相对位姿cam

Href；

步骤12、通过离线测量的方式，得到参考坐标系和机器人基础坐标系(OwXwYwZw)之间的相对位姿baseHref，以参考坐标系（OrefXrefYrefZref)为中间媒介可得到摄像机坐标系和机器人基础坐标系之间的位姿关系：

base

Hcam=baseHref·(camHref)-1，

cam

通过目标定位得到：Hobj，则目标工件与机器人之间的相对位姿关系baseHobj的表达式为：

base

Hobj=baseHcam·camHobj，

basecam

其中，Hcam表示摄像机坐标系和机器人基础坐标系之间的位姿关系，Hobj表示摄像机坐标系和工件坐标系之间的位姿关系。

3.根据权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法，其特征在于，所述步骤S2包括以下步骤：

步骤21、当工件通过时，光电开关触发摄像机采集经传送带送入摄像机视野的5-10帧工件的图像，并记录每帧图像的拍照时刻；

步骤22、将图像传送到工业控制计算机，工业计算机对图像进行平滑滤波操作，所述平滑滤波操作采用均值滤波方法，所述均值滤波方法的表达式为：

2

CN 1035042 A

权 利 要 求 书

2/3页

其中，f(x,y)表示(x,y)像素处的灰度值，g(x,y)表示经过均值滤波处理后(x,y)处的像素值，M表示为该模板中包含当前像素在内的像素总个数；

所述均值滤波方法是将原图中一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后求得的平均值，经过均值滤波后，图像噪声得到平滑，在预处理后的图像中提取工件灰度特征模板，用于作为步骤S3中的模板匹配识别算法的依据。

4.根据权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法，其特征在于，所述步骤S3包括以下步骤：

步骤31、采用基于灰度特征的模板匹配识别算法，将工件特征模板从工件图像的左上角开始遍历图像，搜索工件特征模板实例，在工件图像(i,j)点处的匹配结果可以用归一化相关系数NCC(i,j)表示，其中NCC(i,j)的数学表达式为：

其中，T(m,n)为模板在坐标(m,n)处的像素值，S(i+m,j+n)表示被搜索图像在(i+m,j+n)坐标处的像素值，(i,j)表示像素的位置；

当工件特征模板与待匹配的子图完全相同时，NCC(i,j)=1，当被搜索图像完成全部搜索后，NCC(i,j)最大值处对应的子图即为工件实例，且得到实例在图像中的位置(X,Y,Z)和偏转角度θ；

步骤32、根据步骤S1中的标定结果将(X,Y,Z)和θ映射到机器人基础坐标系中，得到工件位姿在机器人基础坐标系，所述基础坐标系用(Xb,Yb,Zb)和θb表示。

5.根据权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法，其特征在于，所述步骤S5包括以下步骤：

步骤51、所述卡尔曼滤波模型对传送带上的工件建立匀速直线运动的运动模型，卡尔曼滤波模型通过时间更新方程和状态更新方程预测并修正目标的状态，目标工件的运动模型可用数学表达式表示为：

其中，xk,yk表示k时刻目标工件的位置坐标，xk-1,yk-1表示k-1时刻目标工件的位置坐标，vx,vy表示目标工件在x和y方向的速度，dt为采样时间间隔；

化成卡尔曼滤波的矩阵形式得到：

其中，xk,yk表示k时刻目标工件的位置坐标，xk-1,yk-1表示k-1时刻目标工件的位置坐

3

CN 1035042 A

权 利 要 求 书

3/3页

标，vx,vy表示目标工件在x和y方向的速度，dt为采样时间间隔，w为过程激励噪声；

在图像中只能观测到工件的位置，因此观测模型zk为：

其中，zk为观测模型，xk,yk表示k时刻目标工件的位置坐标，xk-1,yk-1表示k-1时刻目标工件的位置坐标，vx,vy表示目标工件在x和y方向的速度，dt为采样时间间隔，v为测量噪声；

步骤52、将第一帧工件图像通过识别算法检测出的工件在机器人基础坐标系下的定位信息(X0,Y0,Z0)和θ0，结合步骤S4计算出的工件运动速度V初始化卡尔曼滤波模型，预测工件在dt时间后处于待抓取工位时在机器人基础坐标系下的位置(X1,Y1,Z1)和偏转角度θ1，因工件做平面运动，固工件的z方向坐标为常数。

6.一种实现权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法的系统，其特征在于，包括：传送带、光电开关、摄像机、工业控制计算机、机器人和目标工件；摄像机安装于传送带的一端的相机支架上，机器人安装于传送带的另一端，光电开关安装于传送带相机支架的下方，光电开关、摄像机、工业控制计算机和机器人依次电气连接。

4

CN 1035042 A

说 明 书

1/5页

一种基于视觉引导的工业机器人工件定位抓取方法及系统

技术领域

本发明涉及一种机器人工件抓取技术，特别涉及一种基于视觉引导的工业机器人

工件定位抓取方法及系统。

[0001]

背景技术

工件抓取是生产线上工业机器人的一项重要技术，目前，生产线上大部分的工业

机器人仅能在严格定义的结构化环境中执行预定的指令，一旦工件的状态发生改变，机器人往往不能做出正确的应变，近年来，视觉引导与定位技术已经成为工业机器人获得作业周围环境信息的主要手段，它可以使工业机器人在实际作业中具有自主判断能力，从而使机器人应用灵活性和工作质量大大提高。当前基于视觉引导的工业机器人抓取系统已有的研究主要有两种：[0003] （1）基于单目视觉的工业机器人抓取方法：该类方法一般采用将摄像机安装在工业机器人工作空间的上方，目标工件和机械手末端同时出现在摄像机视野中，通过摄像机的媒介作用建立起目标与机器人手之间的关系。[0004] （2）基于立体视觉的工业机器人抓取方法：该类方法一般是使用两台摄像机对目标工件同时进行拍摄，利用视差和立体匹配技术获取目标的空间位姿，从而引导机器人实现抓取动作

[0005] 第一种方法要求摄像机能够同时观察到目标工件和机器人手部末端，当机器人向目标移动及操作时，会对目标造成遮挡，导致抓取失败。第二种方法采用双摄像机拍摄，成本提高的同时增加了计算量，标定过程复杂。实时性不能准确保证。

[0002]

发明内容

本发明的首要目的在于克服现有技术的缺点与不足，提供一种基于视觉引导的工业机器人工件定位抓取方法，该方法将摄像机和工业机器人分别固定安装在传送带两端，通过识别算法和跟踪算法定位和抓取工件，该方法的工件定位精度高、实时性好。[0007] 本发明的另一目的在于克服现有技术的缺点与不足，提供一种实现基于视觉引导的工业机器人工件定位抓取方法的系统，该系统适用于生产线上工业机器人工件抓取作业，提高了机器人的工作效率和工作质量，适合普遍推广使用。[0008] 本发明的首要目的通过下述技术方案实现：一种基于视觉引导的工业机器人工件定位抓取方法，包括以下步骤：[0009] 步骤S1：根据摄像机和机器人的位置关系建立系统的参数化模型并标定摄像机内外参数，通过摄像机为中间媒介建立起目标工件与机器人之间的相对位姿关系；[0010] 步骤S2：当工件通过时，光电开关触发摄像机采集经传送带送入摄像机视野的工件图像并传送到工业控制计算机进行图像滤波预处理和图像增强预处理，降低噪声的影响，同时确定目标工件的特征模板，作为用于识别算法的依据。[0011] 步骤S3：采用模板匹配识别算法在工件图像中搜索工件特征模板实例，得到工件

[0006]

5

CN 1035042 A

说 明 书

2/5页

在拍照时刻的位置(X,Y,Z)和偏转角度θ，根据步骤S1的标定结果将(X,Y,Z)和θ映射到机器人基础坐标系中；[0012] 步骤S4：对步骤S2采集的工件图像进行步骤S3的灰度模板匹配后，根据经过模板匹配后的5-10帧工件图像，计算目标工件中心在运动方向的位移S，除以拍摄这5-10帧图像的时间T，即得到目标工件速度V的计算式：V=S/T，[0014] 其中，S表示位移，T表示时间；[0015] 步骤S5：跟踪算法采用卡尔曼滤波模型预测工件处于待抓取工位时的位置与偏转角度，卡尔曼滤波模型能准确估计某一时刻目标工件在传送带上的位置；[0016] 步骤S6：根据待抓取工位和目标点的位置规划机器人的运动轨迹，机器人控制器发出指令控制机器人按照规划的运动轨迹接近并抓取工件，并放置到目标点位置。[0017] 所述步骤S1包括以下步骤：[0018] 步骤11、对所述摄像机用平面标靶标定法进行标定，并通过标定板图像在传送带上建立一个参考坐标系（OrefXrefYrefZref)，得到参考坐标系和摄像机坐标系之间的相对位姿cam

Href；

[0019] 步骤12、通过离线测量的方式，得到参考坐标系和机器人基础坐标系(OwXwYwZw)之间的相对位姿baseHref，以参考坐标系（OrefXrefYrefZref)为中间媒介可得到摄像机坐标系和机器人基础坐标系之间的位姿关系baseHcam=baseHref·(camHref)-1，通过目标定位得到

cam

[0020] Hobj，则目标工件与机器人之间的相对位姿关系baseHobj的表达式为：

base

[0021] Hobj=baseHcam·camHobj，

base

[0022] 其中，Hcam表示摄像机坐标系和机器人基础坐标系之间的位姿关系。[0023] 所述步骤S2包括以下步骤：[0024] 步骤21、当工件通过时，光电开关触发摄像机采集经传送带送入摄像机视野的5-10帧工件的图像，并记录每帧图像的拍照时刻，将第一帧图像的拍照时刻定为计时起点t0；

[0025] 步骤22、将图像传送到工业控制计算机，工业计算机对图像进行平滑滤波操作，所述平滑滤波操作采用均值滤波方法，所述均值滤波方法的表达式为：

[0013] [0026]

所述均值滤波方法是将原图中一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后求得的平均值，经过均值滤波后，图像噪声得到平滑，在预处理后的图像中提取工件灰度特征模板，用于作为步骤S3中的模板匹配识别算法的依据。[0028] 所述步骤S3包括以下步骤：[0029] 步骤31、采用基于灰度特征的模板匹配识别算法，将工件特征模板从工件图像的左上角开始遍历图像，搜索工件特征模板实例，在工件图像(i,j)点处的匹配结果可以用归一化相关系数NCC(i,j)表示，其中NCC(i,j)的数学表达式为：

[0027]

6

CN 1035042 A

说 明 书

3/5页

[0030]

[0031] 当工件特征模板与待匹配的子图完全相同时，NCC(i,j)=1，当被搜索图像完成

全部搜索后，NCC(i,j)最大值处对应的子图即为工件实例，且得到实例在图像中的位置

(X,Y,Z)和偏转角度θ；[0032] 步骤32、根据步骤S1中的标定结果将(X,Y,Z)和θ映射到机器人基础坐标系中，得到工件位姿在机器人基础坐标系中的表示(Xb,Yb,Zb)和θb。[0033] 所述步骤S5包括以下步骤：[0034] 步骤51、所述卡尔曼滤波模型对传送带上的工件建立匀速直线运动的运动模型，卡尔曼滤波模型通过时间更新方程和状态更新方程预测并修正目标的状态，目标工件的运动模型可用数学表达式表示为：

[0035] [0036]

化成卡尔曼滤波的矩阵形式得：

[0037]

[0038]

在图像中只能观测到工件的位置，因此观测模型zk为：

[0039]

步骤52、将第一帧工件图像通过识别算法检测出的工件在机器人基础坐标系下的定

位信息(X0,Y0,Z0)和θ0，结合步骤S4计算出的工件运动速度V初始化卡尔曼滤波模型，预测工件在Δt时间后处于待抓取工位时在机器人基础坐标系下的位置(X1,Y1,Z1)和偏转角度θ1。[0041] 本发明的另一目的通过以下技术方案实现：一种实现权利要求1所述的基于视觉引导的工业机器人工件定位抓取方法的系统，包括：传送带、光电开关、摄像机、工业控制计算机、机器人和目标工件，摄像机安装于传送带的一端，机器人安装于传送带的另一端，光电开关安装于传送带上，光电开关、摄像机、工业控制计算机和机器人依次电气连接。[0042] 本发明的原理：本发明的机器人工件定位抓取方法包括工件识别算法和工件跟踪算法，以完成传送带上运动工件的识别检测和跟踪抓取作业任务。[0043] 本发明相对于现有技术具有如下的优点及效果：[0044] 1、本发明的识别算法能够准确计算工件中心，偏转角度等参数，定位精度高。[0045] 2、本发明的跟踪算法能够有效解决工件的跟踪和定位问题，且满足工业生产线实

[0040]

7

CN 1035042 A

说 明 书

4/5页

时性的要求，提高了机器人的工作效率和工作质量，适合普遍推广使用。[0046] 3、本发明中的模板匹配识别算法采用基于灰度特征的模板匹配算法，该算法原理简单，实现容易，精度和实时性好。附图说明

附图1是本发明结构主视图。

[0048] 附图2是本发明的基于视觉引导机器人抓取动态工件的流程示意图。[0049] 附图3是本发明的坐标系转换原理图。

[0050] 附图4是本发明所采用的卡尔曼滤波算法流程图。

[0047]

具体实施方式

[0051] 下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

[0052] 实施例

[0053] 如图1所示，一种基于视觉引导的工业机器人工件定位抓取系统，包括：传送带1、光电开关2、摄像机3、工业控制计算机4、机器人5和目标工件6，摄像机3安装于传送带1的一端，机器人5安装于传送带1的另一端，光电开关2安装于传送带1上，光电开关2、摄像机3、工业控制计算机4和机器人5依次电气连接。[0054] 如图2所示，一种基于视觉引导的工业机器人工件定位抓取方法，包括以下步骤：[0055] 步骤S1：如图3所示，对所述摄像机3用平面标靶标定法进行标定，并通过其中一副标定板图像在传送带1上建立一个参考坐标系（OrefXrefYrefZref)，得到参考坐标系和摄像机坐标系之间的相对位姿camHref，同时通过离线测量的方式得到参考坐标系和机器人5基础坐标系(OwXwYwZw)之间的相对位姿baseHref，以参考坐标系（OrefXrefYrefZref)为中间媒介可得到摄像机坐标系和机器人基础坐标系之间的位姿关系：

base

[0056] Hcam=baseHref·(camHref)-1，

cam

[0057] 通过目标定位得到Hobj，则目标工件6与机器人5的相对位姿关系为：

base

[0058] Hobj=baseHcam·camHobj，

[0059] 以建立目标工件和机器人之间的联系；[0060] 步骤S2：工件通过时，所述光电开关2触发摄像机3采集经传送带送入摄像机视野的5-10帧工件图像并记录每帧图像的拍照时刻，将图像传送到所述工业控制计算机4进行图像平滑滤波操作，系统噪声主要是由传送带反光、CCD电路和工业现场环境引起的随机噪声。图像滤波采用均值滤波方法，降低噪声的影响，均值滤波方法的数学公式是：

[0061]

均值滤波方法是将原图中一个像素的灰度值和它周围邻近8个像素的灰度值相加，然后求得的平均值。经过均值滤波后，图像噪声得到平滑。在预处理后的图像中提取工件灰度特征模板，用于步骤S3中的识别算法的依据；[0063] 步骤S3：采用基于灰度特征的模板匹配识别算法，将工件特征模板从工件图像的左上角开始遍历图像，搜索工件特征模板实例，在工件图像(i,j)点处的匹配结果可以用

[0062]

8

CN 1035042 A

说 明 书

5/5页

归一化相关系数NCC(i,j)表示，其中NCC(i,j)的数学表达式为：

[00]

当工件特征模板与待匹配的子图完全相同时，NCC(i,j)=1，当被搜索图像完成全部搜索后，NCC(i,j)最大值处对应的子图即为工件实例。且得到实例在图像中的位置(X,Y,Z)和偏转角度θ,根据步骤S1的标定结果将(X,Y,Z)和θ映射到机器人基础坐标系中。得到工件位姿在机器人基础坐标系表示为(Xb,Yb,Zb)和θb。[0066] 步骤S4：对步骤S2采集的5-10帧工件图像都进行步骤S3的灰度模板匹配后，计算目标工件中心在运动方向的位移S，除以拍摄这5-10帧图像的时间T，即可得到目标工件的速度V=S/T。[0067] 步骤S5：跟踪算法采用卡尔曼滤波模型对传送带上的工件建立匀速直线运动的运动模型，如图4所示，卡尔曼滤波模型通过时间更新方程和状态更新方程预测并修正目标的状态。目标工件6的运动模型可用数学表达式表示为：

[0065] [0068] [0069]

化成卡尔曼滤波的矩阵形式得：

[0070]

[0071]

在图像中只能观测到工件的位置，因此观测模型zk为：

[0072]

将第一帧工件图像通过识别算法检测出的工件在机器人基础坐标系下的定位信

息(X0,Y0,Z0)和偏转角度θ0结合步骤S4计算出的工件运动速度V初始化卡尔曼滤波模型，预测工件在Δt时间后处于待抓取工位时在机器人基础坐标系下的位置(X1,Y1,Z1)和偏转角度θ1。[0074] 步骤S6：根据待抓取工位(Xe,Ye,Ze)和目标点(Xtar,Ytar,Ztar)的位置规划机器人的运动轨迹，机器人控制器发出指令控制机器人按照规划的运动轨迹运动，接近并调整机器人的末端执行器位姿，以准确抓取工件放置到目标点位置。[0075] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

[0073]

9

CN 1035042 A

说 明 书 附 图

1/2页

图1

图2

10

CN 1035042 A

说 明 书 附 图

2/2页

图3

图4

11