Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
LINE LASER RANGING METHOD USED FOR SELF-MOVING ROBOT
Document Type and Number:
WIPO Patent Application WO/2014/198227
Kind Code:
A1
Abstract:
A line laser ranging method used for a self-moving robot, comprising: step 100: arranging a line laser (A) on a self-moving robot as an emission source, the emitted line laser being projected onto a target object (C), and an image sensor (B) shooting an image containing a laser stripe, which is projected onto the target object (C); step 200: determining a local image processing region on the image containing the line laser stripe; step 300: conducting distortion correction on the local image processing region, and determining the true position of the line laser stripe on the image; step 400: searching for an energy centre line in the line laser stripe after the distortion correction, and determining the position of the energy centre line on the image; and step 500: according to a pixel coordinate of the energy centre line on the image, obtaining the real distance (q) from the self-moving robot to the target object (C). The method only processes a local region of the image, which reduces the amount of data which needs to be processed, thereby improving the processing efficiency and saving working time on the premise that the accuracy rate is not affected.

Inventors:
TANG JINJU (CN)
Application Number:
PCT/CN2014/079742
Publication Date:
December 18, 2014
Filing Date:
June 12, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ECOVACS ROBOTICS CO LTD (CN)
International Classes:
G01B11/03; B25J11/00; G01S17/48
Domestic Patent References:
WO2005098476A12005-10-20
Foreign References:
CN1354073A2002-06-19
CN103134469A2013-06-05
CN102980528A2013-03-20
JP2009063379A2009-03-26
US20060237634A12006-10-26
Attorney, Agent or Firm:
BEIJING SUNHOPE INTELLECTUAL PROPERTY LTD. (CN)
北京信慧永光知识产权代理有限责任公司 (CN)
Download PDF:
Claims:
权利要求书

1、 一种用于自移动机器人的线激光测距方法, 该方法包括如下步骤:

步骤 100: 以设置在自移动机器人上的线激光器为光源, 发射线激光投射在目标 物体上, 通过自移动机器人上的图像传感器拍摄投射在目标物体上的含线激光条纹的 图像;

步骤 200: 在含线激光条纹的图像上确定图像处理局部区域;

步骤 300: 对图像处理局部区域进行畸变校正, 确定线激光条纹在图像上的真实 位置;

步骤 400: 在畸变校正后的线激光条纹中寻找能量中心线, 并确定该能量中心线 在图像上的位置;

步骤 500: 根据能量中心线在图像上的像素坐标, 得到自移动机器人距离目标物 体的实际距离 (q)。

2、 如权利要求 1所述的用于自移动机器人的线激光测距方法, 其特征在于, 所述 步骤 200具体包括:

步骤 201 : 在拍摄到的含线激光条纹的图像中遍历每一行, 寻找该行中激光灰度 值最大的一点;

步骤 202: 在每一行找到的灰度值最大的一点的两侧分别各取 N1个像素, 形成图 像处理局部区域, 其中 10 N1 30。

3、 如权利要求 1所述的用于自移动机器人的线激光测距方法, 其特征在于, 所述 步骤 400中采用质心算法寻找线激光条纹的能量中心线, 具体包括:

步骤 401 : 在畸变校正后的线激光条纹的图像中, 遍历每一行, 寻找该行中激光 灰度值最大的一点;

步骤 402:在寻找到的激光灰度值最大的一点的两侧分别再各取 N2个像素,其中,

5^N2^20;

步骤 403 : 对这些像素做质心法获得线激光条纹的图像的能量中心线;

质心算法公式为:

yi i=∑ (f (χ, yi) *yi) / ∑ f ( , yi)

其中: yi i是经过质心算法之后的像素列坐标位置, (x,yi)是原像素坐标 (经过 畸变矫正后得到的坐标), f (x,yi)是(x,yi)位置处的灰度值; 上式中所得到的 yi i 即是每一行的线激光条纹图像的能量中心点所在的位置; 所有行的能量中心点组成能 量中心线。

4、 如权利要求 1所述的用于自移动器人的线激光测距传感方法, 其特征在于, 所 述步骤 400中采用曲线拟合法寻找线激光条纹的能量中心线。

5、 如权利要求 1所述的用于自移动机器人的线激光测距方法, 其特征在于, 所述 步骤 500具体包括: 根据三角测距原理, 建立三角关系公式, 求得自移动机器人距离 目标物体的实际距离 (q)。

6、 如权利要求 1所述的用于自移动机器人的线激光测距方法, 其特征在于, 所述 步骤 500具体包括:

步骤 501 :测量 n个实际距离(q)对应的线激光条纹的图像的能量中心列坐标 yi i, 建立实际距离 (q) 与能量中心列坐标的对照表;

步骤 502: 根据实际的线激光条纹的图像的能量中心列坐标 yi i, 通过插值算法 得到实际距离 (q)。

7、 如权利要求 6所述的用于自移动机器人的线激光测距方法, 其特征在于, 所述 步骤 501中的 n大于或等于 20。

Description:
用于自移动机器人的线激光测距方法 技术领域

本发明涉及一种线激光测距方法, 尤其是一种用于自移动机器人的线激光测距方 法, 属于小家电制造技术领域。 背景技术

自移动机器人的核心技术, 就是感知周围的环境, 然后规划行走的路线, 有效的 遍历各个区域, 完成各个区域的作业。 在这一技术中, 最基本也是最关键的是 "感知" 模块, 即激光测距传感器。

现有的扫地机器人其中一种是不使用测距传感 器的, 通过撞板隔离障碍物, 然后 随机清扫地面。 这样会造成多次的无效清扫, 比如: 某些角落没有清扫到或某些区域 被多次清扫, 作业目的盲目且智能水平低, 费时费力。 现在一些类似的应用中使用了 激光测距传感器作为其智能化的前端, 但在这些应用中, 其原理是使用单点激光作为 光源, 与接收装置构成发射 -接收系统, 通过时间、 空间等方法计算空间物体的距离。 通常在测量剖面距离时, 以单点激光测距为基础, 再结合旋转装置就构成了二维剖面 测距装置。 这种测距装置和方法的缺陷在于: 旋转陀机会引入噪声, 系统不够稳定, 使用寿命较短且成本较高。

现有的扫地机器人还有一种是利用距离探测器 来探测机器人与障碍物之间的距 离, 扫地机器人根据探测器探测出的距离远近实时 规避地面障碍物从而避免碰撞的发 生。 或者, 扫地机器人也可以根据距离信息进行自身位置 定位, 还可以利用该距离信 息建立室内地图, 方便后续行走路径的规划和设置。

目前, 市面上的扫地机器人大都利用超声波传感器或 红外传感器进行障碍物距离 的探测, 但超声波信号或红外信号易受到外界干扰且探 测距离较小、 精度不高。 为了 进一步提高距离测量的范围和精度, 现有的扫地机器人开始采用激光测距传感器来 探 测障碍物的距离。 如中国专利 CN101809461公开了一种扫地机器人, 采用的是激光测 距传感器, 包含点激光源和图像传感器。 该激光测距传感器根据三角测距法计算障碍 物的距离信息。 为了得到整个室内障碍物的距离信息, 该扫地机器人上的激光探测器 还设置一个可旋转的底座,使得激光探测器可 持续的 360度对室内的障碍物进行扫描。 然而, 该旋转激光测距传感器的旋转陀机会引入噪声 , 系统不够稳定, 使用寿命较短 且成本较高。 另外, 中国专利 CN101210800也公开了一种线激光测距传感器, 包含线 激光源和相机。 该线激光测距传感器根据图像中的激光条纹像 素位置计算障碍物的距 离, 其测距方法是将整幅图像二值化后得到激光条 纹数据, 再对该数据后续处理后进 行三角测距计算障碍物距离。 但由于需要将完整的图像进行处理, 信息量大, 处理速 度缓慢。 发明内容

本发明所要解决的技术问题在于针对现有技术 的不足, 提供一种用于自移动机器 人的线激光测距方法, 该方法只对拍摄到的投射在目标物体上的线激 光条纹的图像进 行局部区域的处理, 使需要处理的数据大大缩减, 在不影响准确率的前提下, 提高系 统效率, 使得整个系统运行速度加倍, 节省工作时间且方便可靠。

本发明的所要解决的技术问题是通过如下技术 方案实现的:

一种用于自移动机器人的线激光测距方法, 该方法包括如下步骤:

步骤 100: 以设置在自移动机器人上的线激光器为光源, 发射线激光投射在目标 物体上, 图像传感器拍摄投射在目标物体上的含线激光 条纹的图像;

步骤 200: 在含线激光条纹的图像上确定图像处理局部区 域;

步骤 300: 对图像处理局部区域进行畸变校正, 确定线激光条纹在图像上的真实 位置;

步骤 400: 在畸变校正后的线激光条纹中寻找能量中心线 , 并确定该能量中心线 在图像上的位置;

步骤 500: 根据能量中心线在图像上的像素坐标, 得到自移动机器人距离目标物 体的实际距离。

所述步骤 200具体包括:

步骤 201 : 在拍摄到的含线激光条纹的图像中遍历每一行 , 寻找该行中激光灰度 值最大的一点;

步骤 202: 在每一行找到的灰度值最大的一点的两侧分别 各取 N1个像素, 形成图 像处理局部区域, 其中 10 N1 30。

所述步骤 400中采用质心算法寻找能量中心线, 具体包括:

步骤 401 : 在畸变校正后的线激光条纹的图像中, 遍历每一行, 寻找该行中激光 灰度值最大的一点;

步骤 402:在寻找到的激光灰度值最大的一点的两侧 别再各取 N2个像素,其中, 5^N2^20;

步骤 403 : 对这些像素做质心法获得线激光条纹的图像的 能量中心线;

质心算法公式为:

yi i=∑ (f (χ, yi) *yi) / ∑ f ( , yi)

其中: yi i是经过质心算法之后的像素列坐标位置, (x,yi)是原像素坐标 (经过 畸变矫正后得到的坐标), f (x,yi)是(x,yi)位置处的灰度值; 上式中所得到的 yi i 即是每一行的线激光条纹图像的能量中心点所 在的位置; 所有行的能量中心点组成能 量中心线。

所述步骤 400中还可采用曲线拟合法寻找线激光条纹的能 量中心线。

所述步骤 500具体包括: 根据三角测距原理, 建立三角关系公式, 求得自移动机 器人距离目标物体的实际距离9。

所述步骤 500具体包括:

步骤 501 : 测量 n 个实际距离 q 对应的线激光条纹的图像的能量中心列坐 标 yi i, 建立实际距离 q与能量中心列坐标的对照表;

步骤 502: 根据实际的线激光条纹的图像的能量中心列坐 标 yi i, 通过插值算法 得到实际距离 q。

所述步骤 501中的 n大于或等于 20。

综上所述, 本发明只对拍摄到的投射在目标物体上的线激 光条纹的图像进行局部 区域的处理, 使需要处理的数据大大缩减, 在不影响准确率的前提下, 提高系统效率, 使得整个系统运行速度加倍, 节省工作时间。

下面结合附图和具体实施例, 对本发明的技术方案进行详细地说明。 附图说明

图 1为本发明相似三角形原理示意图。 具体实施方式

图 1为本发明相似三角形原理示意图。 如图 1所示, 由光源 A发射出的光线照射 到目标物体 C上,通过图像传感器 B拍摄投射在目标物体 C上的含线激光条纹的图像。 在本发明中, 光源 A采用的是线激光器, 因此, 其投射在目标物体 C上的光斑形状为 条纹状。 由光源 A、 图像传感器 B和目标物体 C构成一个三角形 AABC。 当图像传感 器 B的拍摄焦距为 f时, 由于光源 A和图像传感器 B之间的相对位置是固定的, 则图 像传感器胶片上的起始位置 a确定, 此时, 由光源 A发出的发射光从目标物体 C反射 回来, 在胶片上的落点为 b, 则条纹图像和图像传感器之间构成另一个三角 形 AabB, 显然, AABC和 AabB为相似三角形, 彼此之间有确定的比例关系。 由于光源 A和图 像传感器 B都是设置在自移动机器人机体上的, 目标物体 C到两者连线之间的垂直距 离可以被认为是目标物体 C到自移动机器人之间的实际距离 q。 在 AABC中, 光源 A 和图像传感器 B之间的距离 s的数值是确定的, 在 AabB中, f 的数值是确定的, 而线 条纹图像的长度 X可以通过取值的方式固定下来,利用 AABC和 AabB为相似三角形, 彼此之间有确定的比例关系,即可求出目标物 体 C到自移动机器人之间的实际距离 q。

具体到光源 A和图像传感器 B在自移动机器人上的设置位置,可以将图像 感器 B 设置在自移动机器人的正前方, 使它与自移动机器人的主板相连, 并为主板提供当 前所在的位置信息, 以供主板进行处理和行动决策。 光源 A设置在自移动机器人前端 的顶部, 与图像传感器 B大致在同一竖直平面上。

基于上述的基本原理, 本发明提供一种用于自移动机器人的线激光测 距方法, 该 方法包括如下步骤:

步骤 100: 以设置在自移动机器人上的线激光器为光源, 发射线激光投射在目标 物体上, 图像传感器拍摄投射在目标物体上的含线激光 条纹的图像;

步骤 200: 在含线激光条纹的图像上确定图像处理局部区 域;

步骤 300: 对图像处理局部区域进行畸变校正, 确定线激光条纹在图像上的真实 位置;

步骤 400: 在畸变校正后的线激光条纹中寻找能量中心线 , 并确定该能量中心线 在图像上的位置;

步骤 500: 根据能量中心线在图像上的像素坐标, 得到自移动机器人距离目标物 体的实际距离。

所述步骤 200具体包括:

步骤 201 : 在拍摄到的线激光条纹的图像中遍历每一行, 寻找该行中激光灰度值 最大的一点;

步骤 202: 在每一行找到的灰度值最大的一点的两侧分别 各取 N1个像素, 形成图 像处理局部区域, 其中 10 N1 30。

所述步骤 400中采用质心算法寻找能量中心线, 具体包括:

步骤 401 : 在畸变校正后的线激光条纹的图像中, 遍历每一行, 寻找该行中激光 灰度值最大的一点; 步骤 402:在寻找到的激光灰度值最大的一点的两侧 别再各取 N2个像素,其中, 5 ^N2^20;

步骤 403 : 对这些像素做质心法获得线激光条纹的图像的 能量中心线;

质心算法公式为:

yi i=∑ (f (χ, yi) *yi) / ∑ f ( , yi)

其中: yi i是经过质心算法之后的像素列坐标位置, (x,yi)是原像素坐标 (经过 畸变矫正后得到的坐标), f (x,yi)是(x,yi)位置处的灰度值; 上式中所得到的 yi i 即是每一行的线激光条纹图像的能量中心点所 在的位置; 所有行的能量中心点组成能 量中心线。

所述步骤 500具体包括: 根据三角测距原理, 建立三角关系公式, 求得自移动机 器人距离目标物体的实际距离9。

所述步骤 500具体包括:

步骤 501 : 测量 n 个实际距离 q 对应的线激光条纹的图像的能量中心列坐 标 yi i, 建立实际距离 q与能量中心列坐标的对照表;

步骤 502: 根据实际的线激光条纹的图像的能量中心列坐 标 yi i, 通过插值算法 得到实际距离 q。

所述步骤 501中的 n大于或等于 20。

具体来说, 结合图 1所示, 本发明中的光源 A采用线激光器 (laser) , 发射线激 光投射在目标物体 C上, (图 1 中所示的是单点激光的图示, 线激光是点激光在垂直 于纸面方向上的扩展), 再采用 640 X 480的 CMOS图像传感器 (imager) 拍摄含线激 光条纹的图像。 按行扫描处理含线激光条纹图像的的每一行数 据, 将不需要的背景图 像抛除, 从而在图像传感器的列方向上形成线激光条纹 (如灰度值最大点及周边 30 个点), 再对线激光条纹处理以获得列方向上的激光条 纹能量中心线。根据处理精度和 速度的需要, 可适当选取或调整 Nl、 N2和 n的数值。

上述步骤 400中, 除了可以采用质心法寻找线激光条纹的能量中 心线之外, 还可 以采用曲线拟合算法等其他方法进行。 所述的曲线拟合法是利用了激光条纹的横截面 光强近似服从高斯分布的原理。 在横截面上光强分布的峰值点附近对像素点坐 标和灰 度值采用曲线拟合的方法得到亚像素级精度的 光条中心坐标。 具体步骤如下: (1 ) 对 已处理过的图像依次搜索每一行, 找到光强峰值点, 即: 该行中灰度值的最大点, 设 该点为 M。(x。,y。), 灰度值为 g。; (2) 选取 M。的左侧邻点 M- 2 (x。,y ), IVU (x。, y— 和右 侧邻点 Mi ^ y , M 2 (x。,y 2 ), 设其灰度值分别为 g— 2 , g- 1 ; gl , g 2 。 利用以上 5点, 根据最小二乘原理进行二次曲线拟合;(3 )由曲线拟合求出极大值点在 向的坐标 。 , 则 (x。, 。 即是所求的光条纹中心点。 拟合曲线方程可以是抛物线或者高斯曲线。 该方法适合于图像中法线方向变化不大的直线 光条纹。

通常情况下, 由于图像传感器中的摄像头内部本身存在的结 构缺陷, 会导致所拍 摄的图像在一定程度上发生变形, 尤其是越往图像边缘方向, 变形就越严重。 因此, 必须要通过畸变矫正的过程, 对变形的图像进行校正。 由于线激光充满了图像的某一 个方向, 所以矫正其变形得到真实的图像从而获得更精 确的测距精度是必不可少的。 通过畸变矫正处理, 可以将图像中变形的激光条纹, 比如两边的弯曲形状矫正成真实 的直线型。 但是, 如果像现有技术一样, 对图像传感器拍摄到的整体图像全部都进行 畸变矫正处理, 则需要对整幅图像遍历每一个像素, 这样一来, 就需要很大的数据和 信息处理量。 而本发明在步骤 200中, 先在含线激光条纹的图像上确定图像处理局部 区域, 再通过步骤 300, 对图像处理局部区域进行畸变校正, 确定线激光条纹在图像 上的真实位置。 这样的处理方式, 只对取到的局部图像使用畸变矫正算法, 可以大大 加快运算速度, 从而加快图像处理速度。

局部图像畸变校正, 具体包括:

首先, 拍摄到激光条纹灰度图像, 并在图像中遍历每一行寻找激光灰度值最大的 点;

其次, 在每一行的激光灰度值最大点两边分别各取 30个像素, 进行局部图像畸变 矫正处理, 当然, 所选取的像素个数并不仅限于 30个, 根据处理精度或速度的需要, 可以自行调整选取的个数多少;

畸变矫正算法公式为:

1 1 Γ '+ΙίζΓ 4 ½ 3 Γ +2*Pl (ΐ +2*χ )

( l+kir 2 +k 2 r 4 +k 3 r 6 ) +2*p 2 *xy+Pi* (r 2 +2

其中: (x, 是拍摄到的原始图像畸变点在图像传感器上的 原始位置, 。。 J是校正后的新位置;

、 、 和 分别是摄像头的畸变系数, 通过摄像头标定获得; 其中 r 2 = f。

本发明上述步骤 400中采用质心算法寻找激光条纹的能量中心线 , 具体来说是在 上一步骤中只获得了真实的激光条纹图像, 激光条纹在每一行中的数据都占据了好几 个像素的位置, 无法进行精确计算。 为了计算其对应的空间距离, 需要提取激光条纹 的能量中心线, 该能量中心线上的激光点在图像传感器上的像 素级别高, 通常是零点 几的像素级别, 能更加精确的对应空间距离。

通过上述各个步骤的处理, 获得相应的数据和信息之后, 便可以对自移动机器人 和目标物体 C之间的实际距离 q进行计算了。 可以通过如下两种方法进行计算。

具体来说, 第一方法是在得到条纹能量中心的坐标之后, 即可利用三角测距原理 获得激光条纹在列方向上的每一个中心点所对 应的空间距离, 即可得到激光线所对应 的剖面距离。 获得距离的方法还有根据上图的三角测距原理 , 建立三角关系公式, 其 中变量也是 yi i, 然后和其他已知参数进行计算求取距离。

另一种方法是利用査表法计算距离, 即每一个条文中心坐标对应一个空间距离, 在这个基础上测试建立一组由距离 Z和条纹中心列坐标 yi i组成的固定表, 也就是说 需要预先测量 n个距离 Z的数据, 以及与其对应的列坐标 yi i的数据, 由此得到列坐 标 yii对应距离 Z的线性关系, 从而建立一张可供参照计算的表格, 实际使用中, n根 据测量距离范围来定,例如 5米以内的测量范围至少需要测量 20组以上的对应关系数 据, 也就是说 n的取值要大于等于 20才较为可靠, 经过预先测试得到这张参照表后, 在实际测量时只需获得实际的条纹中心列坐标 , 然后经过插值算法就可对应一个空间 距离。

在得到所有空间距离之后, 自移动机器人就可以根据相关的信息进行路径 规划和 行走方式的控制了。

综上所述, 本发明提供的这种用于自移动机器人的线激光 测距方法, 通过线激光 测距传感器, 解决了现有自移动机器人非智能化的缺陷, 同时克服了现有测距技术中 单点激光与旋转装置带来的不稳定、 成本高且寿命短等问题, 本发明中的测距传感器 在室内 200mm-5000mm的短程测距应用中效率和性价比都很 高。

本发明的激光测距传感器使用线结构光作为光 源, 相对于点激光更易于校准、 调 整。线结构光与面阵 CMOS传感器配合,通过 CMOS图像中的二维灰度信息提取测量 目标的深度距离信息。 线结构光测距中摄像机需要进行标定, 来获得摄像机内部和外 部参数, 通过这些参数来矫正图像的变形从而获得真实 的激光条纹图像。 由于线结构 光受目标物体调制后显示的激光线段是有一定 宽度的激光条纹, 该激光条纹在横截面 上服从高斯分布, 所以在计算空间距离时, 需要在图像中提取线激光条纹的能量中心 线来进行计算。 线结构光传感器作为机器人的 "眼睛" 获得传感器设定范围内的二维 距离信息, 为机器人主机提供 "眼睛" 所看到的室内情况, 主机通过这些信息进行定 位、 规划路线并建立室内地图。 机器人会根据地图制定自己的路线去清扫地面 , 这使 得扫地机器人的工作绝对智能化, 且效率有很大提高。