Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VISUAL FLOOR SWEEPING ROBOT AND REPOSITIONING METHOD THEREOF
Document Type and Number:
WIPO Patent Application WO/2019/100404
Kind Code:
A1
Abstract:
Provided are a visual floor sweeping robot and a repositioning method thereof. A current magnetic field fingerprint at a current position is firstly matched with a magnetic field fingerprint map; since the computation amount of matching between magnetic field fingerprints is small, a position corresponding to the current magnetic field fingerprint can be found rapidly; and image information at the position is then compared with current image information on a visual map, and there is no need to compare same with image information on the visual map one by one, thereby increasing the speed of repositioning.

Inventors:
WANG SHENGPING (CN)
ZHANG LIXIN (CN)
Application Number:
PCT/CN2017/113203
Publication Date:
May 31, 2019
Filing Date:
November 27, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SHENZHEN WATER WORLD CO LTD (CN)
International Classes:
A47L11/24
Foreign References:
CN105722028A2016-06-29
CN105856229A2016-08-17
CN107363833A2017-11-21
CN105676172A2016-06-15
US20070027579A12007-02-01
Attorney, Agent or Firm:
SHENZHEN MINGRIJINDIAN INTELLECTUAL PROPERTY AGENCY FIRM (GENERAL) (CN)
Download PDF:
Claims:
\¥0 2019/100404 卩(:17 \2017/113203

权利要求书

[权利要求 1] 一种视觉扫地机器人的定位方法, 其特征在于, 所述视觉扫地机器人 中存储有磁场指纹地图和视觉地图; 所述重定位方法, 包括:

81、 获取所述视觉机器人当前位置的当前磁场指纹和当前图像信息; 2、 将所述当前磁场指纹分别与磁场指纹地图中的磁场指纹一一对比 , 建立当前磁场指纹与所述磁场指纹地图中的磁场指纹相似度由高到 低排序的相似度列表;

33、 按照预设规则提取所述相似度列表中的磁场指纹;

4、 判断提取的磁场指纹在所述视觉地图中对应的图像信息与当前图 像信息是否达到预设的匹配要求;

85、 若达到预设的匹配要求, 则判定提取的磁场指纹在所述视觉地图 中对应的图像信息所关联的位置信息为重新定位的位置信息; 若未达 到预设的匹配要求, 则返回步骤 3。

[权利要求 2] 根据权利要求 1所述的视觉扫地机器人的定位方法, 其特征在于, 所 述按照预设规则提取所述相似度列表中的磁场指纹的步骤33, 包括: 3301、 按照相似度列表中磁场指纹的排列顺序从高到低顺次提取所述 磁场指纹。

[权利要求 3] 根据权利要求 1所述的视觉扫地机器人的定位方法, 其特征在于, 所 述按照预设规则提取所述相似度列表中的磁场指纹的步骤33, 包括: 311、 提取相似度列表中除已提取过的磁场指纹之外排序最高的第一 磁场指纹, 以及提取以第一磁场指纹为参考点的指定范围内的第二磁 场指纹, 其中第二磁场指纹为未被提取过的磁场指纹。

[权利要求 4] 根据权利要求 3所述的视觉扫地机器人的定位方法, 其特征在于, 所 述参考点为指定范围的中心点。

[权利要求 5] 根据权利要求 1所述的视觉扫地机器人的重定位方法, 其特征在于, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前, 包括:

3101、 判断所述视觉扫地机器人采集的场景图像是否为连续场景; \¥0 2019/100404 卩(:17 \2017/113203

8102. 若所述场景图像不是连续场景, 则判定所述扫地机器人被劫持

3103、 判断所述扫地机器人被劫持状态是否结束;

8104. 若判定所述扫地机器人被劫持状态结束, 则生成重定位指令。

[权利要求 6] 根据权利要求 1所述的视觉扫地机器人的重定位方法, 其特征在于, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前, 包括:

3111、 视觉扫地机器人重新上电, 判断前一次清扫任务是否完成; 8112. 若未完成前一次的清扫任务, 则生成所述重定位指令。

[权利要求 7] 根据权利要求 1所述的视觉扫地机器人的重定位方法, 其特征在于, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁场 指纹和当前图像信息的步骤 之前, 包括:

8121. 所述视觉扫地机器人在全覆盖清扫策略下启动, 以起始位置开 始, 扫地机器人每行进第一指定距离采集一次图像信息, 并根据视觉 定位系统获取对应图像信息的位置信息, 将所述图像信息和位置信息 关联存储到第一数据库中, 第一数据库中的多组图像信息和其对应的 位置信息形成所述视觉地图; 以及, 以起始位置开始, 扫地机器人每 行进第二指定距离采集一次磁场指纹, 并将磁场指纹与当前视觉定位 系统获取的位置信息关联存储在第二数据库中, 第二数据库中的多组 磁场指纹和其关联的位置信息形成所述磁场地图。

[权利要求 8] 一种视觉扫地机器人, 其特征在于, 所述视觉扫地机器人中存储有磁 场指纹地图和视觉地图; 所述视觉扫地机器人, 包括:

获取单元, 用于获取所述视觉机器人当前位置的当前磁场指纹和当前 图像信息;

对比建立单元, 用于将所述当前磁场指纹分别与磁场指纹地图中的磁 场指纹一一对比, 建立当前磁场指纹与所述磁场指纹地图中的磁场指 纹相似度由高到低排序的相似度列表;

提取单元, 用于按照预设规则提取所述相似度列表中的磁场指纹; \¥0 2019/100404 卩(:17 \2017/113203 第一判断单元, 用于判断提取的磁场指纹在所述视觉地图中对应的图 像信息与当前图像信息是否达到预设的匹配要求; 判定单元, 用于若提取的磁场指纹在所述视觉地图中对应的图像信息 与当前图像信息达到预设的匹配要求, 则判定提取的磁场指纹在所述 视觉地图中对应的图像信息所关联的位置信息为重新定位的位置信息 ; 否则控制所述提取单元继续提取磁场指纹。

[权利要求 9] 根据权利要求 8所述的视觉扫地机器人, 其特征在于, 所述提取单元 , 包括:

第一提取模块, 用于按照相似度列表中磁场指纹的排列顺序从高到低 顺次提取所述磁场指纹。

[权利要求 10] 根据权利要求 8所述的视觉扫地机器人, 其特征在于, 所述提取单元 , 包括:

第二提取模块, 用于提取相似度列表中除已提取过的磁场指纹之外排 序最高的第一磁场指纹, 以及提取以第一磁场指纹为参考点的指定范 围内的第二磁场指纹, 其中第二磁场指纹为未被提取过的磁场指纹。

[权利要求 11] 根据权利要求 10所述的视觉扫地机器人, 其特征在于, 所述参考点为 指定范围的中心点。

[权利要求 12] 根据权利要求 8所述的视觉扫地机器人, 其特征在于, 还包括:

第二判断单元, 用于判断所述视觉扫地机器人采集的场景图像是否为 连续场景;

判定劫持单元, 用于若所述场景图像不是连续场景, 则判定所述扫地 机器人被劫持;

第三判断单元, 用于判断所述扫地机器人被劫持状态是否结束; 第一生成单元, 用于若判定所述扫地机器人被劫持状态结束, 则生成 重定位指令。

[权利要求 13] 根据权利要求 8所述的视觉扫地机器人, 其特征在于, 还包括:

任务判断单元, 用于视觉扫地机器人重新上电时, 判断前一次清扫任 务是否完成; \¥0 2019/100404 卩(:17 \2017/113203 第二生成单元, 用于若未完成前一次的清扫任务, 则生成所述重定位 指令。

[权利要求 14] 根据权利要求 8所述的视觉扫地机器人, 其特征在于, 还包括:

地图建立单元, 用于所述视觉扫地机器人在全覆盖清扫策略下启动, 以起始位置开始, 扫地机器人每行进第一指定距离采集一次图像信息 , 并根据视觉定位系统获取对应图像信息的位置信息, 将所述图像信 息和位置信息关联存储到第一数据库中, 第一数据库中的多组图像信 息和其对应的位置信息形成所述视觉地图; 以及, 以起始位置开始, 扫地机器人每行进第二指定距离采集一次磁场指纹, 并将磁场指纹与 当前视觉定位系统获取的位置信息关联存储在第二数据库中, 第二数 据库中的多组磁场指纹和其关联的位置信息形成所述磁场地图。

Description:
\¥0 2019/100404 卩(:17 謂17/113203

视觉扫地机器人及其重定位方法

技术领域

[0001] 本发明涉及到扫地机器人领域, 特别是涉及到一种视觉扫地机器人及其重定位 方法。

背景技术

[0002] 扫地机器人在清扫过程中, 可能被劫持 (外部因素将扫地机器人从行进路径上 移动到其他位置) , 此时扫地机器人需要重新定位, 以便于确定清扫过的区域 和待清扫的区域, 提高扫地机器人的清扫效率等。 现有的一种扫地机器人是视 觉扫地机器人, 其具有视觉定位系统, 通过视觉地图和当前图像实现重定位, 但是, 在重定位过程中, 需要将视觉地图中的全部图像分别与当前图像 进行比 较, 对比计算量大, 而且时间较长。

技术问题

[0003] 本发明的主要目的为提供一种提高重定位速度 的视觉扫地机器人及其重定位方 法。

问题的解决方案

技术解决方案

[0004] 为了实现上述发明目的, 本发明提出一种视觉扫地机器人的定位方法, 所述视 觉扫地机器人中存储有磁场指纹地图和视觉地 图; 所述重定位方法, 包括: [0005] 81、 获取所述视觉机器人当前位置的当前磁场指纹 和当前图像信息;

[0006] 2、 将所述当前磁场指纹分别与磁场指纹地图中的 磁场指纹 -对比, 建立当 前磁场指纹与所述磁场指纹地图中的磁场指纹 相似度由高到低排序的相似度列 表;

[0007] 33、 按照预设规则提取所述相似度列表中的磁场指 纹;

[0008] 4、 判断提取的磁场指纹在所述视觉地图中对应的 图像信息与当前图像信息是 否达到预设的匹配要求;

[0009] 85、 若达到预设的匹配要求, 则判定提取的磁场指纹在所述视觉地图中对应 的 图像信息所关联的位置信息为重新定位的位置 信息; 若未达到预设的匹配要求 , 则返回步骤 S3。

[0010] 进一步地, 所述按照预设规则提取所述相似度列表中的磁 场指纹的步骤 S3, 包 括:

[0011] S301、 按照相似度列表中磁场指纹的排列顺序从高到 低顺次提取所述磁场指纹

[0012] 进一步地, 所述按照预设规则提取所述相似度列表中的磁 场指纹的步骤 S3, 包 括:

[0013] S311、 提取相似度列表中除已提取过的磁场指纹之外 排序最高的第一磁场指纹

, 以及提取以第一磁场指纹为参考点的指定范围 内的第二磁场指纹, 其中第二 磁场指纹为未被提取过的磁场指纹。

[0014] 进一步地, 所述参考点为指定范围的中心点。

[0015] 进一步地, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前, 包括:

[0016] S101、 判断所述视觉扫地机器人采集的场景图像是否 为连续场景;

[0017] S102、 若所述场景图像不是连续场景, 则判定所述扫地机器人被劫持;

[0018] S103、 判断所述扫地机器人被劫持状态是否结束;

[0019] S104、 若判定所述扫地机器人被劫持状态结束, 则生成重定位指令。

[0020] 进一步地, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前, 包括:

[0021] sm、 视觉扫地机器人重新上电, 判断前一次清扫任务是否完成;

[0022] S112、 若未完成前一次的清扫任务, 则生成所述重定位指令。

[0023] 进一步地, 所述获取重定位指令, 根据所述重定位指令采集当前位置的当前磁 场指纹和当前图像信息的步骤 S1之前, 包括:

[0024] S121、 所述视觉扫地机器人在全覆盖清扫策略下启动 , 以起始位置开始, 扫地 机器人每行进第一指定距离采集一次图像信息 , 并根据视觉定位系统获取对应 图像信息的位置信息, 将所述图像信息和位置信息关联存储到第一数 据库中, 第一数据库中的多组图像信息和其对应的位置 信息形成所述视觉地图; 以及, \¥0 2019/100404 卩(:17 \2017/113203 以起始位置开始, 扫地机器人每行进第二指定距离采集一次磁场 指纹, 并将磁 场指纹与当前视觉定位系统获取的位置信息关 联存储在第二数据库中, 第二数 据库中的多组磁场指纹和其关联的位置信息形 成所述磁场地图。

[0025] 本发明还提供一种视觉扫地机器人, 所述视觉扫地机器人中存储有磁场指纹地 图和视觉地图; 所述视觉扫地机器人, 包括:

[0026] 获取单元, 用于获取所述视觉机器人当前位置的当前磁场 指纹和当前图像信息

[0027] 对比建立单元, 用于将所述当前磁场指纹分别与磁场指纹地图 中的磁场指纹一 一对比, 建立当前磁场指纹与所述磁场指纹地图中的磁 场指纹相似度由高到低 排序的相似度列表;

[0028] 提取单元, 用于按照预设规则提取所述相似度列表中的磁 场指纹;

[0029] 第一判断单元, 用于判断提取的磁场指纹在所述视觉地图中对 应的图像信息与 当前图像信息是否达到预设的匹配要求;

[0030] 判定单元, 用于若提取的磁场指纹在所述视觉地图中对应 的图像信息与当前图 像信息达到预设的匹配要求, 则判定提取的磁场指纹在所述视觉地图中对应 的 图像信息所关联的位置信息为重新定位的位置 信息; 否则控制所述提取单元继 续提取磁场指纹。

[0031] 进一步地, 所述提取单元, 包括:

[0032] 第一提取模块, 用于按照相似度列表中磁场指纹的排列顺序从 高到低顺次提取 所述磁场指纹。

[0033] 进一步地, 所述提取单元, 包括:

[0034] 第二提取模块, 用于提取相似度列表中除已提取过的磁场指纹 之外排序最高的 第一磁场指纹, 以及提取以第一磁场指纹为参考点的指定范围 内的第二磁场指 纹, 其中第二磁场指纹为未被提取过的磁场指纹。

[0035] 进一步地, 所述参考点为指定范围的中心点。

[0036] 进一步地, 所述视觉扫地机器人还包括:

[0037] 第二判断单元, 用于判断所述视觉扫地机器人采集的场景图像 是否为连续场景 \¥0 2019/100404 卩(:17 \2017/113203

[0038] 判定劫持单元, 用于若所述场景图像不是连续场景, 则判定所述扫地机器人被 劫持;

[0039] 第三判断单元, 用于判断所述扫地机器人被劫持状态是否结束 ;

[0040] 第一生成单元, 用于若判定所述扫地机器人被劫持状态结束, 则生成重定位指 令。

[0041] 进一步地, 所述视觉扫地机器人还包括:

[0042] 任务判断单元, 用于视觉扫地机器人重新上电时, 判断前一次清扫任务是否完 成;

[0043] 第二生成单元, 用于若未完成前一次的清扫任务, 则生成所述重定位指令。

[0044] 进一步地, 所述视觉扫地机器人还包括:

[0045] 地图建立单元, 用于所述视觉扫地机器人在全覆盖清扫策略下 启动, 以起始位 置开始, 扫地机器人每行进第一指定距离采集一次图像 信息, 并根据视觉定位 系统获取对应图像信息的位置信息, 将所述图像信息和位置信息关联存储到第 一数据库中, 第一数据库中的多组图像信息和其对应的位置 信息形成所述视觉 地图; 以及, 以起始位置开始, 扫地机器人每行进第二指定距离采集一次磁场 指纹, 并将磁场指纹与当前视觉定位系统获取的位置 信息关联存储在第二数据 库中, 第二数据库中的多组磁场指纹和其关联的位置 信息形成所述磁场地图。 发明的有益效果

有益效果

[0046] 本发明的视觉扫地机器人及其重定位方法, 先利用当前位置的当前磁场指纹在 磁场指纹地图进行匹配度的排序, 然后按照匹配度的高低顺序逐个提取磁场指 纹地图中磁场指纹, 根据提取的磁场指纹对应的位置信息, 在视觉地图中找到 对应的图像信息, 并将找到的图像信息与当前图像信息比较, 提高找到匹配度 达到要求的图像信息, 进而提高重定位的速度。 又因为当前磁场指纹与磁场指 纹地图匹配时, 计算量小, 所以可以快速地找到对应当前磁场指纹对应的 位置 , 然后在视觉地图上使用该位置的图像信息与当 前图像信息比较, 无需逐一地 与视觉地图中的图像信息比较, 降低视觉扫地机器人在重定位过程中的计算量 , 进一步地提高重定位的速度。 \¥0 2019/100404 卩(:17 謂17/113203 对附图的简要说明

附图说明

[0047] 图 1为本发明一实施例的视觉扫地机器人的重定 方法的流程示意图;

[0048] 图 2为本发明一实施例的生成重定位指令的流程 意图;

[0049] 图 3为本发明一实施例的判断扫地机器人被劫持 态是否结束的流程示意图; [0050] 图 4为本发明另一实施例的生成重定位指令的流 示意图;

[0051] 图 5为本发明一实施例的视觉机器人的结构示意 图;

[0052] 图 6为本发明一实施例的提取单元的结构示意框 ;

[0053] 图 7为本发明另一实施例的提取单元的结构示意 图;

[0054] 图 8为本发明一实施例的视觉机器人的结构示意 图;

[0055] 图 9为本发明一实施例的第三判断单元的结构示 框图;

[0056] 图 10为本发明一实施例的视觉机器人的结构示意 图。

[0057] 本发明目的的实现、 功能特点及优点将结合实施例, 参照附图做进一步说明。

实施该发明的最佳实施例

本发明的最佳实施方式

[0058] 应当理解, 此处所描述的具体实施例仅仅用以解释本发明 , 并不用于限定本发 明。

[0059] 参照图 1 本发明提供一种视觉扫地机器人的定位方法, 所述视觉扫地机器人 中存储有磁场指纹地图和视觉地图, 其中, 磁场指纹地图与视觉地图关联。 上 述磁场指纹地图是含有磁场指纹以及与所述磁 场指纹对应的位置信息的集合。 上述视觉地图是含有图像信息以及与所述图像 信息对应的位置信息的集合。 上 述磁场指纹地图与视觉地图关联是指, 磁场指纹地图中位置信息与视觉地图中 的位置信息关联, 根据磁场指纹可以查找到视觉地图在该位置的 图像信息等。

[0060] 上述重定位方法, 包括:

[0061] 81、 获取所述视觉机器人当前位置的当前磁场指纹 和当前图像信息.

[0062] 在步骤 中, 上述重定位指令是在触发需要重新定位的条件 时生成的指令, 比 如, 视觉扫地机器人被劫持结束后, 触发生成重定位指令。 上述当前磁场指纹 是指利用视觉扫地机器人上的磁场计获取当前 位置的多个角度上的磁场强度的 \¥0 2019/100404 卩(:17 \2017/113203 集合。 磁场计可以设置一个或多个, 视觉扫地机器人会根据预设的要求进行原 地转动等以获取指定的多个角度上的磁场强度 。 上述当前图像信息是指视觉扫 地机器人拍摄的图像以及拍摄图像的朝向等信 息组合在一起的图像信息。

[0063] 2、 将所述当前磁场指纹分别与磁场指纹地图中的 磁场指纹 -对比, 建立当 前磁场指纹与所述磁场指纹地图中的磁场指纹 相似度由高到低排序的相似度列 表。

[0064] 在步骤 32中, 上述相似度列表中包含有磁场指纹地图中的全 部的磁场指纹, 其 排列顺序是以与当前磁场指纹的相似度的高低 进行排序的, 相似度的判断, 可 以根据将当前磁场指纹中包含的各方向的磁场 强度与磁场指纹地图中的每一个 磁场指纹的各方向的磁场强度进行比较, 计算各方向磁场强度的差值并平均处 理, 平均值越小, 相似度越高等。

[0065] 33、 按照预设规则提取所述相似度列表中的磁场指 纹。

[0066] 在步骤 33中, 上述预设规则是指预先设置的提取相似度列表 中磁场指纹的规则 算法, 比如, 按照从高到低的顺序提取相似度列表中的磁场 指纹, 或者, 按照 从相似度列表的中间位置, 依次向两端提取磁场指纹等。

[0067] 4、 判断提取的磁场指纹在所述视觉地图中对应的 图像信息与当前图像信息是 否达到预设的匹配要求。

[0068] 在步骤 34中, 上述匹配要求即为设定一个相似度阈值, 比如提取的磁场指纹在 所述视觉地图中对应的图像信息中的特征点与 当前图像信息中的特征点的相似 度达到 99%, 而相似度阈值为 98%, 则判定提取的磁场指纹在所述视觉地图中对 应的图像信息与当前图像信息达到预设的匹配 要求。

[0069] 5、 若达到预设的匹配要求, 则判定提取的磁场指纹在所述视觉地图中对应 的 图像信息所关联的位置信息为重新定位的位置 信息; 若未达到预设的匹配要求 , 则返回步骤 3。

[0070] 在步骤 35中, 因为提取的磁场指纹在所述视觉地图中对应的 图像信息与当前图 像信息达到预设的匹配要求, 所以可以将提取的磁场指纹在所述视觉地图中 对 应的图像信息对应的位置信息认为是视觉扫地 机器人所处的位置信息, 完成视 觉扫地机器人的重定位。 因为提取的磁场指纹在所述视觉地图中对应的 图像信 \¥0 2019/100404 卩(:17 \2017/113203 息与当前图像信息未达到预设的匹配要求, 则需要继续寻找达到匹配要求的图 片信息, 因此重复上述 33、 34和35的步骤, 直到重定位成功为止。 当然, 如果 将相似度列表中全部磁场指纹全部提取一遍后 仍未重定位成功, 则说明视觉扫 地机器人被劫持到位置区域。

[0071] 本实施例中, 上述按照预设规则提取所述相似度列表中的磁 场指纹的步骤 3, 包括:

[0072] 3301、 按照相似度列表中磁场指纹的排列顺序从高到 低顺次提取所述磁场指纹

[0073] 在步骤 8301中, 与当前图像信息匹配度最高的磁场指纹, 其在磁场地图中对应 的位置信息与视觉机器人当前所述位置信息相 同的概率最高, 所以按照相似度 列表中磁场指纹的排列顺序从高到低顺次提取 所述磁场指纹, 可以提高提取的 磁场指纹在所述视觉地图中对应的图像信息与 当前图像信息达到预设的匹配要 求的概率, 进而提高重定位的速度。

[0074] 在另一实施例中, 上述按照预设规则提取所述相似度列表中的磁 场指纹的步骤 83 , 包括:

[0075] 3311、 提取相似度列表中除已提取过的磁场指纹之外 排序最高的第一磁场指纹

, 以及提取以第一磁场指纹为参考点的指定范围 内的第二磁场指纹, 其中第二 磁场指纹为未被提取过的磁场指纹。

[0076] 在步骤 3311中, 一般情况下, 视觉地图中的图像信息会对应磁场指纹地图中 的 多个磁场指纹, 比如建立视觉地图时, 每行进 1米采集一次图像信息, 而在建立 磁场指纹地图时, 每行进 0.2米记录一个磁场指纹, 此时, 磁场指纹地图会将多 个磁场指纹与对应的图像信息关联, 以得到图像信息关联的位置信息。 所以, 当提取一个位于相似度列表中没有被提取过的 、 且与当前磁场指纹相似度最高 的第一磁场指纹时, 同时提取第一磁场指纹指定范围内的第二磁场 指纹, 此时 , 可以进一步地提高查找与当前图像信息达到匹 配要求的图像信息, 进而提高 重定位的速度。 本实施例中, 上述参考点为指定范围的中心点。 在其它实施例 中, 也可以是一条直线上的某一段的中心点, 如在磁场指纹地图中在一条直线 上的多个位置对应的磁场指纹, 以第一磁场指纹对应的位置为中心, 其两端相 \¥0 2019/100404 卩(:17 \2017/113203 邻的相同数量的位置对应的磁场指纹为第二磁 场指纹。

[0077] 参照图 2, 本实施例中, 上述获取重定位指令, 根据所述重定位指令采集当前 位置的当前磁场指纹和当前图像信息的步骤31 前, 包括:

[0078] 3101、 判断所述视觉扫地机器人采集的场景图像是否 为连续场景;

[0079] 8102. 若所述场景图像不是连续场景, 则判定所述扫地机器人被劫持;

[0080] 3103、 判断所述扫地机器人被劫持状态是否结束;

[0081] 8104. 若判定所述扫地机器人被劫持状态结束, 则生成重定位指令。

[0082] 在步骤 3101、 8102. 3103和3104中, 视觉扫地机器人在清扫过程中会连续采集 场景图像, 所以场景图像的内容是连续的, 如果场景图像的风格或特征突然变 化 (正常的避障转弯引起的变化会被剔除) , 则说明视觉扫地机器人被劫持, 然后判断劫持状态是否结束, 如果劫持状态结束, 则生成重定位指令, 以便于 确定已清扫区域, 继续进行清扫任务。

[0083] 参照图 3, 本实施例中, 上述判断所述扫地机器人被劫持状态是否结束 的步骤 3 103, 包括:

[0084] 81031. 利用姿态传感器采所述扫地机器人的移动加速 度变化值和偏转角度变 化值;

[0085] 81032. 若所述移动加速度变化值和偏转角度变化值分 别小于预设的加速度阈 值和偏转角阈值, 则判定所述扫地机器人被劫持状态结束, 否则, 判定所述扫 地机器人人处于被劫持状态。

[0086] 在步骤 31031和31032中, 视觉扫地机器人劫持状态结束后, 其会被放置在清扫 地面上, 此时移动加速度会接近于零, 偏转角度也不会发生过大的变化, 所以 通过移动加速度变化值和偏转角度变化值即可 准确判断出劫持状态是否结束。 在其它实施例中, 因为扫地机器人被劫持, 所以运动系统仍在工作, 可以根据 扫地机器人的运动系统指定的移动方向和实际 移动方向进行比较, 如果两者相 同, 且移动速度与运动系统的里程计记录的数据相 匹配, 同样可以认为劫持状 态结束。

[0087] 参照图 4, 在另一实施例中, 上述获取重定位指令, 根据所述重定位指令采集 当前位置的当前磁场指纹和当前图像信息的步 骤 之前, 包括: [0088] sm、 视觉扫地机器人重新上电, 判断前一次清扫任务是否完成;

[0089] S112、 若未完成前一次的清扫任务, 则生成所述重定位指令。

[0090] 在步骤 Si l l和 S112中, 视觉扫地机器人在未完成清扫任务时, 可能被用户人为 断电或其它原因而停止清扫任务, 当再次上电时, 为了提高清扫效率, 要判断 前一次清扫任务是否完成, 如果没有完成, 则重新定位, 以便于找到上一次停 止清扫的位置, 以便于继续清扫。 在判断前一次清扫任务是否完成的步骤之前 , 一般还会先判断前一次清扫结束的时间, 如果距离当前时间的时间长度大于 预设时间长度, 则无需判断前一次清扫任务是否完成, 而是直接开始新的清扫 任务。

[0091] 本实施例中, 上述获取重定位指令, 根据所述重定位指令采集当前位置的当前 磁场指纹和当前图像信息的步骤 S1之前, 包括:

[0092] S121、 所述视觉扫地机器人在全覆盖清扫策略下启动 , 以起始位置开始, 扫地 机器人每行进第一指定距离采集一次图像信息 , 并根据视觉定位系统获取对应 图像信息的位置信息, 将所述图像信息和位置信息关联存储到第一数 据库中, 第一数据库中的多组图像信息和其对应的位置 信息形成所述视觉地图; 以及, 以起始位置开始, 扫地机器人每行进第二指定距离采集一次磁场 指纹, 并将磁 场指纹与当前视觉定位系统获取的位置信息关 联存储在第二数据库中, 第二数 据库中的多组磁场指纹和其关联的位置信息形 成所述磁场地图。

[0093] 在步骤 S121中, 即为建立磁场指纹地图和视觉地图的过程。 第一指定距离大于 第二指定距离。 在一具体实施例中, 第一指定距离是第二指定距离的整数倍。 视觉扫地机器人会在全覆盖清扫策略下实时建 立磁场指纹地图和视觉地图, 同 时将磁场指纹地图中的磁场指纹与视觉地图中 位置相关联, 进而可以根据磁场 指纹找到对应的图像信息。

[0094] 本发明的视觉扫地机器人的重定位方法, 先利用当前位置的当前磁场指纹在磁 场指纹地图进行匹配度的排序, 然后按照匹配度的高低顺序逐个提取磁场指纹 地图中磁场指纹, 根据提取的磁场指纹对应的位置信息, 在视觉地图中找到对 应的图像信息, 并将找到的图像信息与当前图像信息比较, 提高找到匹配度达 到要求的图像信息, 进而提高重定位的速度。 又因为当前磁场指纹与磁场指纹 \¥0 2019/100404 卩(:17 \2017/113203 地图匹配时, 计算量小, 所以可以快速地找到对应当前磁场指纹对应的 位置, 然后在视觉地图上使用该位置的图像信息与当 前图像信息比较, 无需逐一地与 视觉地图中的图像信息比较, 降低视觉扫地机器人在重定位过程中的计算量 , 进一步地提高重定位的速度。

[0095] 参照图 5 , 本发明实施例还提供一种视觉扫地机器人, 所述视觉扫地机器人中 存储有磁场指纹地图和视觉地图, 其中, 磁场指纹地图与视觉地图关联。 上述 磁场指纹地图是含有磁场指纹以及与所述磁场 指纹对应的位置信息的集合。 上 述视觉地图是含有图像信息以及与所述图像信 息对应的位置信息的集合。 上述 磁场指纹地图与视觉地图关联是指, 磁场指纹地图中位置信息与视觉地图中的 位置信息关联, 根据磁场指纹可以查找到视觉地图在该位置的 图像信息等。

[0096] 所述视觉扫地机器人包括:

[0097] 获取单元 10, 用于获取所述视觉机器人当前位置的当前磁场 指纹和当前图像信 息。

[0098] 在获取单元 10, 上述重定位指令是在触发需要重新定位的条件 时生成的指令, 比如, 视觉扫地机器人被劫持结束后, 触发生成重定位指令。 上述当前磁场指 纹是指利用视觉扫地机器人上的磁场计获取当 前位置的多个角度上的磁场强度 的集合。 磁场计可以设置一个或多个, 视觉扫地机器人会根据预设的要求进行 原地转动等以获取指定的多个角度上的磁场强 度。 上述当前图像信息是指视觉 扫地机器人拍摄的图像以及拍摄图像的朝向等 信息组合在一起的图像信息。

[0099] 对比建立单元 20, 用于将所述当前磁场指纹分别与磁场指纹地图 中的磁场指纹 一一对比, 建立当前磁场指纹与所述磁场指纹地图中的磁 场指纹相似度由高到 低排序的相似度列表。

[0100] 在上述对比建立单元 20中, 上述相似度列表中包含有磁场指纹地图中的全 部的 磁场指纹, 其排列顺序是以与当前磁场指纹的相似度的高 低进行排序的, 相似 度的判断, 可以根据将当前磁场指纹中包含的各方向的磁 场强度与磁场指纹地 图中的每一个磁场指纹的各方向的磁场强度进 行比较, 计算各方向磁场强度的 差值并平均处理, 平均值越小, 相似度越高等。

[0101] 提取单元 30, 用于按照预设规则提取所述相似度列表中的磁 场指纹。 [0102] 在上述提取单元 30中, 上述预设规则是指预先设置的提取相似度列表 中磁场指 纹的规则算法, 比如, 按照从高到低的顺序提取相似度列表中的磁场 指纹, 或 者, 按照从相似度列表的中间位置, 依次向两端提取磁场指纹等。

[0103] 第一判断单元 40, 用于判断提取的磁场指纹在所述视觉地图中对 应的图像信息 与当前图像信息是否达到预设的匹配要求。

[0104] 在上述第一判断单元 40中, 上述匹配要求即为设定一个相似度阈值, 比如提取 的磁场指纹在所述视觉地图中对应的图像信息 中的特征点与当前图像信息中的 特征点的相似度达到 99%, 而相似度阈值为 98%, 则判定提取的磁场指纹在所述 视觉地图中对应的图像信息与当前图像信息达 到预设的匹配要求。

[0105] 判定单元 50, 用于若提取的磁场指纹在所述视觉地图中对应 的图像信息与当前 图像信息达到预设的匹配要求, 则判定提取的磁场指纹在所述视觉地图中对应 的图像信息所关联的位置信息为重新定位的位 置信息; 否则控制所述提取单元 3 0继续提取磁场指纹。

[0106] 在上述判定单元 50中, 因为提取的磁场指纹在所述视觉地图中对应的 图像信息 与当前图像信息达到预设的匹配要求, 所以可以将提取的磁场指纹在所述视觉 地图中对应的图像信息对应的位置信息认为是 视觉扫地机器人所处的位置信息 , 完成视觉扫地机器人的重定位。 因为提取的磁场指纹在所述视觉地图中对应 的图像信息与当前图像信息未达到预设的匹配 要求, 则需要继续寻找达到匹配 要求的图片信息, 因此上述提取单元 30、 第一判断单元 40重复工作, 直到判定 单元 50重定位成功为止。 当然, 如果将相似度列表中全部磁场指纹全部提取一 遍后仍未重定位成功, 则说明视觉扫地机器人被劫持到位置区域。

[0107] 参照图 6, 本实施例中, 上述提取单元 30, 包括:

[0108] 第一提取模块 301, 用于按照相似度列表中磁场指纹的排列顺序从 高到低顺次 提取所述磁场指纹。

[0109] 在上述第一提取模块 301中, 与当前图像信息匹配度最高的磁场指纹, 其在磁 场地图中对应的位置信息与视觉机器人当前所 述位置信息相同的概率最高, 所 以按照相似度列表中磁场指纹的排列顺序从高 到低顺次提取所述磁场指纹, 可 以提高提取的磁场指纹在所述视觉地图中对应 的图像信息与当前图像信息达到 \¥0 2019/100404 卩(:17 \2017/113203 预设的匹配要求的概率, 进而提高重定位的速度。

[0110] 参照图 7, 在另一实施例中, 上述提取单元 30, 包括:

[0111] 第二提取模块 311, 用于提取相似度列表中除已提取过的磁场指纹 之外排序最 高的第一磁场指纹, 以及提取以第一磁场指纹为参考点的指定范围 内的第二磁 场指纹, 其中第二磁场指纹为未被提取过的磁场指纹。

[0112] 在上述第二提取单元 311中, 一般情况下, 视觉地图中的图像信息会对应磁场 指纹地图中的多个磁场指纹, 比如建立视觉地图时, 每行进 1米采集一次图像信 息, 而在建立磁场指纹地图时, 每行进 0.2米记录一个磁场指纹, 此时, 磁场指 纹地图会将多个磁场指纹与对应的图像信息关 联, 以得到图像信息关联的位置 信息。 所以, 当提取一个位于相似度列表中没有被提取过的 、 且与当前磁场指 纹相似度最高的第一磁场指纹时, 同时提取第一磁场指纹指定范围内的第二磁 场指纹, 此时, 可以进一步地提高查找与当前图像信息达到匹 配要求的图像信 息, 进而提高重定位的速度。 本实施例中, 上述参考点为指定范围的中心点。 在其它实施例中, 也可以是一条直线上的某一段的中心点, 如在磁场指纹地图 中在一条直线上的多个位置对应的磁场指纹, 以第一磁场指纹对应的位置为中 心, 其两端相邻的相同数量的位置对应的磁场指纹 为第二磁场指纹。

[0113] 参照图 8, 本实施例中, 上述视觉扫地机器人还包括:

[0114] 第二判断单元 101, 用于判断所述视觉扫地机器人采集的场景图像 是否为连续 场景;

[0115] 判定劫持单元 102, 用于若所述场景图像不是连续场景, 则判定所述扫地机器 人被劫持;

[0116] 第三判断单元 103 , 用于判断所述扫地机器人被劫持状态是否结束 ;

[0117] 第一生成单元 104, 用于若判定所述扫地机器人被劫持状态结束, 则生成重定 位指令。

[0118] 视觉扫地机器人在清扫过程中会连续采集场景 图像, 所以场景图像的内容是连 续的, 通过第二判断单元 101判断如果场景图像的风格或特征突然变化 (正常的 避障转弯引起的变化会被剔除) , 则判定劫持单元 102判定视觉扫地机器人被劫 持, 然后通过第三判断单元 103判断劫持状态是否结束, 如果劫持状态结束, 则 第一生成单元 104生成重定位指令, 以便于确定已清扫区域, 继续进行清扫任务

[0119] 参照图 9, 本实施例中, 上述第三判断单元 103, 包括:

[0120] 获取姿态模块 1031, 用于利用姿态传感器采所述扫地机器人的移动 加速度变化 值和偏转角度变化值;

[0121] 劫持结束判定模块 1032, 用于若所述移动加速度变化值和偏转角度变化 值分别 小于预设的加速度阈值和偏转角阈值, 则判定所述扫地机器人被劫持状态结束 , 否则, 判定所述扫地机器人人处于被劫持状态。

[0122] 视觉扫地机器人劫持状态结束后, 其会被放置在清扫地面上, 此时获取姿态模 块 1031获取到的移动加速度会接近于零, 偏转角度也不会发生过大的变化, 所 以劫持结束判定模块 1032通过移动加速度变化值和偏转角度变化值 可准确判 断出劫持状态是否结束。 在其它实施例中, 因为扫地机器人被劫持, 所以运动 系统仍在工作, 可以根据扫地机器人的运动系统指定的移动方 向和实际移动方 向进行比较, 如果两者相同, 且移动速度与运动系统的里程计记录的数据相 匹 配, 同样可以认为劫持状态结束。

[0123] 参照图 10, 在另一实施例中, 上述视觉扫地机器人还包括:

[0124] 任务判断单元 111, 用于视觉扫地机器人重新上电时, 判断前一次清扫任务是 否完成;

[0125] 第二生成单元 112, 用于若未完成前一次的清扫任务, 则生成所述重定位指令

[0126] 视觉扫地机器人在未完成清扫任务时, 可能被用户人为断电或其它原因而停止 清扫任务, 当再次上电时, 为了提高清扫效率, 任务判断单元 m要判断前一次 清扫任务是否完成, 如果没有完成, 第二生成单元 112生成重定位指令, 以重新 定位, 以便于找到上一次停止清扫的位置, 以便于继续清扫。 在判断前一次清 扫任务是否完成之前, 一般还会通过时间分析单元先判断前一次清扫 结束的时 间, 如果距离当前时间的时间长度大于预设时间长 度, 则无需判断前一次清扫 任务是否完成, 而是直接开始新的清扫任务。

[0127] 本实施例中, 上述视觉扫地机器人还包括: [0128] 地图建立单元, 用于所述视觉扫地机器人在全覆盖清扫策略下 启动, 以起始位 置开始, 扫地机器人每行进第一指定距离采集一次图像 信息, 并根据视觉定位 系统获取对应图像信息的位置信息, 将所述图像信息和位置信息关联存储到第 一数据库中, 第一数据库中的多组图像信息和其对应的位置 信息形成所述视觉 地图; 以及, 以起始位置开始, 扫地机器人每行进第二指定距离采集一次磁场 指纹, 并将磁场指纹与当前视觉定位系统获取的位置 信息关联存储在第二数据 库中, 第二数据库中的多组磁场指纹和其关联的位置 信息形成所述磁场地图。

[0129] 在地图建立单元中, 即为建立磁场指纹地图和视觉地图的过程。 第一指定距离 大于第二指定距离。 在一具体实施例中, 第一指定距离是第二指定距离的整数 倍。 视觉扫地机器人会在全覆盖清扫策略下实时建 立磁场指纹地图和视觉地图 , 同时将磁场指纹地图中的磁场指纹与视觉地图 中位置相关联, 进而可以根据 磁场指纹找到对应的图像信息。

[0130] 本发明的视觉扫地机器人, 先利用当前位置的当前磁场指纹在磁场指纹地 图进 行匹配度的排序, 然后按照匹配度的高低顺序逐个提取磁场指纹 地图中磁场指 纹, 根据提取的磁场指纹对应的位置信息, 在视觉地图中找到对应的图像信息 , 并将找到的图像信息与当前图像信息比较, 提高找到匹配度达到要求的图像 信息, 进而提高重定位的速度。 又因为当前磁场指纹与磁场指纹地图匹配时, 计算量小, 所以可以快速地找到对应当前磁场指纹对应的 位置, 然后在视觉地 图上使用该位置的图像信息与当前图像信息比 较, 无需逐一地与视觉地图中的 图像信息比较, 降低视觉扫地机器人在重定位过程中的计算量 , 进一步地提高 重定位的速度。

[0131] 以上所述仅为本发明的优选实施例, 并非因此限制本发明的专利范围, 凡是利 用本发明说明书及附图内容所作的等效结构或 等效流程变换, 或直接或间接运 用在其他相关的技术领域, 均同理包括在本发明的专利保护范围内。